Локальные нейросети: что они реально могут на домашнем компьютере
Про локальные нейросети снимают ролики с обещанием «заменил все подписки». Я потратил на них неделю и специально взял ноутбук помощнее. Рассказываю, что вышло на самом деле и для каких задач локальная модель всё-таки нужна.
- Заменить облачную модель домашней у меня не вышло — и это после недели тестов и покупки ноутбука помощнее.
- Упирается всё в память: в домашние 48 ГБ влезает модель на 30b, и она заметно слабее облачной.
- Локально имеет смысл три вещи: приватные данные, распознавание речи и массовая примитивная работа.
- Дешёвый облачный API почти всегда выигрывает — и по цене, и по качеству, и без покупки железа.
Содержание статьи
Локальные нейросети — это модели, которые ставятся на ваш компьютер и работают без интернета и подписок. В роликах это подаётся как способ отказаться от платных сервисов. Я потратил на проверку неделю и специально купил ноутбук помощнее.
Короткий ответ: настроить так, чтобы это заменило облачную модель, у меня не вышло. Дальше — почему, и что с этим делать.
Во что упирается домашнее железо
Модель нужно целиком поместить в память. Арифметика простая и неумолимая:
| Что | Сколько занимает |
|---|---|
| Модель на 30 млрд параметров | ~20 ГБ |
| Контекст (то, что вы ей дали) | несколько ГБ |
| Система и всё остальное | несколько ГБ |
| Итого на домашних 48 ГБ | заполнено под завязку |
То есть максимум, что реально влезает в мощный домашний компьютер, — модель на 30b. И она заметно слабее того, к чему привыкли по облачным чатам. Для моделей уровня топовых нужны сотни гигабайт видеопамяти: это многомиллионные системы, которые ещё надо охлаждать и обслуживать. Дома такого не будет.
Что показала неделя тестов
Я смотрел гиковский YouTube, добавился в чаты к умельцам, расспрашивал тех, кто этим живёт. Итог: даже на 48 ГБ памяти модель остаётся слабой и требует большой возни — точных инструкций, декомпозиции задачи на мелкие шаги и проверки за ней. То есть работу, которую в облаке делает сама модель, приходится делать вам.
Проверяю инструменты до того, как советовать
В канале выкладываю результаты своих тестов — включая те, где потратил неделю и получил «не работает».
Где локальная модель всё-таки выигрывает
Три сценария, где она уместна.
Приватные данные. Код или документы, которые нельзя отправлять наружу ни при каких условиях. Здесь вопрос не в цене, а в том, что альтернативы нет.
Распознавание речи. Это исключение: расшифровка аудио локально работает отлично и быстро, я делаю так каждый день. Модель весит около трёх гигабайт, и её тянет даже слабый ноутбук — платить за облачную транскрибацию нет никакого смысла.
Массовая примитивная работа. Разобрать четыреста видеофайлов и понять, что на кадрах; разложить картинки по признаку; отсортировать файлы. Я так делал — работает нормально даже на моделях для компьютера с 16 ГБ.
Проверка на осмысленность
Прежде чем отдавать задачу локальной модели, спросите себя: а не решается ли она обычным скриптом вообще без нейросети? В большинстве «примеров экономии» из роликов ответ — решается. Тогда локальная модель не экономит, а добавляет слой, который может ошибиться.
Что делать вместо этого
Дешёвые облачные модели закрывают почти всё, ради чего люди ставят локальные. Токены стоят копейки, скорость выше, качество несопоставимо. Такую модель можно поставить на недорогой сервер и общаться с ней хоть из Telegram — у меня так работает личный агент на DeepSeek.
Более интересная схема — оркестратор:
- Сильная модель выступает капитаном: разбирает задачу, планирует, проверяет результат.
- Средние и дешёвые модели делают основную рутину.
- Локальная модель забирает совсем простое и массовое — там, где важен объём, а не голова.
Это действительно снижает расход токенов. Но это не «80% задач на локалке», а разумное распределение по стоимости.
Гораздо сильнее на расход влияет не выбор модели, а то, сколько лишнего она читает при каждом запросе. Аккуратная база знаний с оглавлением экономит больше токенов, чем перевод части задач на домашнее железо.
Честная оценка расходов
Подписки на ИИ у меня выходят в заметную сумму каждый месяц, и я не раз считал, окупится ли железо вместо них. Не окупается: чтобы получить дома качество уровня облачной модели, нужна система стоимостью в годы этих подписок, которая к тому же устареет за пару лет. Ноутбук помощнее я в итоге использую для другого — он не пропал зря, но задачу «уйти от подписок» не решил.
- 1КапитанСильная облачная модель: разбирает задачу, планирует, проверяет
- 2РутинаСредние и дешёвые модели по API: тексты, разборы, отчёты
- 3ОбъёмЛокальная модель: массовое и простое, где важен не ум, а количество
- 4РечьЛокальная модель распознавания — здесь она не уступает облаку
Итог
Локальная LLM теряет смысл, если у вас нет суперприватных данных. Ставьте локально то, что локально хорошо работает — распознавание речи, простую массовую обработку, — а думать поручайте облаку.
И относитесь скептически к роликам, где обещают полную замену подпискам: обычно автор показывает демо на задаче, где разница между слабой и сильной моделью не видна. Как быстро проверять такие обещания — писал в разборе о том, зачем модели контекст, а не заклинания.
- Перед тем как отдавать задачу локальной модели, спросите: не решается ли она обычным скриптом?
- Расшифровка речи — исключение: локально работает отлично и бесплатно.
- Оркестратор (сильная модель планирует, дешёвые делают объём) экономит больше, чем перевод задач на домашнее железо.
- Ещё сильнее на расход влияет то, сколько лишнего модель читает при каждом запросе.
- К роликам «заменил все подписки» относитесь скептически: демо обычно на задаче, где разница моделей не видна.
Гайд «Второй мозг в Claude Code»
Каркас базы знаний и мост памяти: ИИ помнит все проекты и решения. Забрать в боте. Бесплатно, отдаёт бот в Telegram.
Частые вопросы
Можно ли поставить нейросеть на свой компьютер?
Да, технически это делается за вечер. Вопрос не в установке, а в том, какая модель поместится: в домашние 32–48 ГБ памяти влезает модель примерно на 30 миллиардов параметров, и она заметно слабее облачных.
Сколько памяти нужно для локальной модели?
Модель на 30b занимает около 20 ГБ, плюс память под контекст и систему — так 48 ГБ оказываются заполнены почти целиком. Для моделей уровня топовых облачных нужны сотни гигабайт видеопамяти, то есть система стоимостью как автомобиль.
Зачем тогда локальные модели вообще нужны?
Для приватных данных, которые нельзя отправлять наружу, и для простых массовых задач: разобрать кадры видео, отсортировать файлы, классифицировать картинки. На таком объёме экономия на токенах становится ощутимой.
Что дешевле — локальная модель или API?
Почти всегда API. Дешёвые модели вроде DeepSeek стоят копейки за миллион токенов, работают быстро и не требуют железа. Локальная модель окупается только приватностью или очень большим потоком примитивных задач.
Правда, что можно перевести 80% задач на локальные модели?
По моему опыту — нет. Задачи, которые локальная модель выполняет уверенно, обычно решаются обычным скриптом вообще без нейросети. А там, где нужна голова, домашняя модель требует такой декомпозиции и проверки, что экономия исчезает.
10 лет в маркетинге и онлайн-образовании. Запускаю проекты в одиночку на Claude Code и показываю экономику как есть. Все методы из блога сначала обкатываю на своих проектах и только потом описываю.