Локальная нейросеть на компьютере: зачем нужна, как выбрать и сколько весит

Локальная нейросеть — это не «ChatGPT, который каким-то чудом поселился в ноутбуке». Вы скачиваете файл с весами модели, запускаете его через специальную программу, а компьютер сам считает ответ. Интернет после загрузки может вообще не понадобиться.

Звучит заманчиво: данные остаются у вас, подписка не тикает, лимитов на сообщения нет. Но есть вторая половина картины. Модель занимает гигабайты, съедает оперативную или видеопамять, греет компьютер и обычно уступает сильным облачным системам в сложных задачах. А если в приложении выбрать облачную модель, приватность локального интерфейса исчезает одним кликом.

Короткий вердикт: для первого запуска на компьютере с 16 ГБ памяти берите не самую большую модель, которая теоретически помещается, а разумную 4–9B-модель в 4-битной версии. Для обычного человека проще LM Studio. Для автоматизаций и локального API — Ollama. А llama.cpp нужен, когда вы уже понимаете, зачем вам ручной контроль. Ниже разберём выбор без магии и без выдуманных тестов скорости.

Короткий ответ: что ставить на компьютер

Если вы пока путаетесь в названиях и режимах, начните с маршрута по нейросетям с нуля. Локальная установка — второй шаг. Сначала стоит понять задачу, потом выбирать железо и модель.

Что именно означает «локальная нейросеть»

У локального решения есть три независимые части:

1. Модель — файл с весами: например, Gemma 4, Qwen 3.5 или gpt-oss.
2. Движок — программа, которая загружает эти веса в память и считает токены: llama.cpp, MLX и другие.
3. Интерфейс — чат, командная строка или API: LM Studio и Ollama объединяют несколько частей в удобный продукт.

Важно: «открытые веса» не всегда означают «полностью открытый исходный код», а условия коммерческого использования зависят от лицензии конкретной модели. LM Studio прямо советует различать open source и open weights в базовой инструкции по локальным моделям. Перед внедрением в продукт откройте карточку выбранной модели и прочитайте лицензию, а не доверяйте слову «open» в каталоге.

И ещё одно разграничение. В этой статье речь прежде всего о языковых и мультимодальных моделях, которые отвечают текстом, читают документы и иногда изображения. Локальная генерация картинок, видео, музыки и голоса — другие стеки с другими требованиями. Один небольшой LLM-файл может весить 3–7 ГБ, а видеопайплайн легко потребует десятки гигабайт моделей и гораздо более мощную GPU.

Зачем ставить нейросеть на компьютер

Конфиденциальные черновики

Главный аргумент — контроль над потоком данных. После загрузки модели вы можете отключить сеть и обрабатывать документы на устройстве. LM Studio указывает, что чат с локальными моделями, работа с документами и локальный сервер могут работать полностью офлайн; введённые данные не покидают устройство в локальном режиме. Это описано в официальной памятке об офлайн-работе.

Но локальная модель не превращает любой документ в безопасный. Файл всё равно лежит на диске, история чата сохраняется в приложении, а доступ к компьютеру может быть у других пользователей или вредоносного ПО. Для рабочих данных нужны шифрование диска, отдельная учётная запись, резервное копирование и понятная политика хранения.

Работа без стабильного интернета

После загрузки весов локальный чат работает в самолёте, на объекте, в закрытой сети и при проблемах с доступом к зарубежным сервисам. Это особенно полезно для шаблонных задач: классифицировать обращения, переписать заметку, извлечь поля из документа, сделать черновик ответа.

Если вопрос только в доступности бесплатных веб-сервисов, локальный запуск может оказаться лишним усложнением. Сначала посмотрите карту бесплатных нейросетей, доступных в России, а уже потом решайте, нужен ли вам собственный стек.

Предсказуемая стоимость при регулярной нагрузке

За локальную генерацию нет платы за каждый токен. Но «бесплатно» — неточное слово. Вы платите за компьютер, электроэнергию, настройку, обновления, хранение нескольких версий и время на исправление несовместимостей.

Если вы открываете чат дважды в неделю, подписка или API могут быть дешевле вашего времени. Локальная экономика раскрывается на регулярной, понятной и повторяемой нагрузке: внутри компании, в автоматизации или в продукте, где контролируются модель и данные.

Интеграция с собственными инструментами

Локальную модель можно подключить к редактору кода, внутренней базе знаний или скрипту через API на localhost. Здесь локальный запуск становится не игрушкой, а инфраструктурой. Для программирования имеет смысл отдельно проверить требования к контексту и качеству: они выше, чем у обычного чата. В сравнении нейросетей для кода я подробно разбираю, почему «модель умеет писать код» ещё не означает, что ей можно доверить репозиторий.

Где локальная модель проигрывает облаку

Смотрите, локальность решает вопрос размещения вычислений. Она не гарантирует лучший интеллект.

• Качество. На ноутбуке обычно запускают компактную или сильно сжатую модель. Она чаще теряет инструкции, хуже проверяет длинную логику и увереннее ошибается в редких темах.
• Актуальность. Веса не знают свежие новости после обучения. Веб-поиск можно подключить, но тогда часть данных уходит наружу, а система усложняется.
• Длинные документы. Заявленное окно в 128K или 256K токенов не означает, что ваш компьютер сможет обслужить его с приемлемой памятью и скоростью.
• Мультимодальность. Локальная модель может принимать изображение, но это не равенство с сильным облачным продуктом, где объединены распознавание, поиск, код, инструменты и безопасная инфраструктура.
• Поддержка. Когда что-то не запускается, администратор — вы.

Мой совет простой: не выбирайте локальный вариант из идеологии. Выберите одну задачу, где приватность, офлайн или контроль действительно стоят настройки. Всё остальное оставьте облаку. Гибридная схема обычно честнее лозунга «всё только локально».

Локально не всегда значит приватно

В 2026 году локальные приложения всё чаще показывают локальные и облачные модели в одном окне. Ollama сообщает, что при локальном запуске не видит промпты и ответы. Но для облачных моделей запрос обрабатывается сервисом; облачные функции можно отключить параметром disable_ollama_cloud или переменной OLLAMA_NO_CLOUD=1. Это не слух, а официальный ответ Ollama о данных и cloud-режиме.

Проверяйте четыре вещи:

1. В названии модели нет суффикса cloud, а в приложении выбран режим local/on-device.
2. После загрузки модель отвечает при отключённом интернете.
3. Веб-поиск, удалённые плагины, телеметрия и синхронизация либо отключены, либо осознанно разрешены.
4. Локальный API слушает только 127.0.0.1, если доступ из сети не нужен.

Последний пункт часто пропускают. LM Studio предупреждает: если сервер привязан не к 127.0.0.1, он становится доступен за пределами компьютера, и тогда нужно включать аутентификацию. Настройка описана в руководстве по доступу из локальной сети. Слово «локальный» не должно означать «открытый всем соседям по Wi-Fi».

Сколько весит локальная нейросеть

Ответ зависит не только от числа параметров. Один и тот же 9B-модельный набор может храниться в 16-битном виде, 8-битном или 4-битном. Квантование уменьшает точность чисел в весах, поэтому модель занимает меньше места и быстрее запускается, но иногда теряет качество. llama.cpp поддерживает множество вариантов от 1,5 до 8 бит и гибридную работу CPU+GPU; краткое описание есть в официальном репозитории llama.cpp.

Для первого знакомства чаще всего разумен формат GGUF и квантование Q4_K_M. Это не магический «лучший вариант», а практичная точка старта между размером и качеством.

Файл на диске и память — не одно и то же

На диске хранится файл весов. При запуске он загружается в RAM, VRAM или unified memory, а затем рядом появляется KV-кэш — память для контекста разговора. Чем длиннее переписка или документ, тем больше этот дополнительный слой.

Google приводит полезные ориентиры для Gemma 4 с 20-процентным запасом на загрузку весов: Q4_0-версия E2B требует примерно 2,9 ГБ, E4B — 4,5 ГБ, 12B — 6,7 ГБ, 26B A4B — 14,4 ГБ, 31B — 17,5 ГБ. И отдельно предупреждает, что эти числа не включают память для контекстного окна. Сверяйте их в актуальной таблице требований Gemma 4.

Для Qwen 3.5 каталог Ollama на 3 сентября 2026 года показывает такие размеры готовых сборок: 4B — 3,4 ГБ, 9B Q4_K_M — 6,6 ГБ, 27B — 17 ГБ, 35B — 24 ГБ, 122B — 81 ГБ. Это размеры скачиваемых вариантов, а не обещание, что компьютер с ровно таким объёмом RAM будет работать комфортно. Теги и размеры можно проверить в каталоге Qwen 3.5 для Ollama.

Наконец, gpt-oss-20b поставляется с весами около 14 ГБ и заявлен для систем с 16 ГБ памяти. gpt-oss-120b требует около 80 ГБ памяти; файл в Ollama занимает примерно 65 ГБ. Официальный анонс OpenAI говорит о минимуме, а не о том, что на ноутбуке с 16 ГБ одновременно останется место для браузера, операционной системы и большого контекста.

Практическое правило: оставляйте запас. Если модельный файл занимает 14 ГБ, компьютер с 16 ГБ общей памяти — не «идеальное совпадение», а край режима. Для обычной работы лучше выбрать меньшую модель или машину с 24–32 ГБ.

Как подобрать модель под RAM и VRAM

На Mac с Apple Silicon CPU и GPU используют общую unified memory: это удобно, но система тоже живёт в этом объёме. На Windows или Linux с дискретной NVIDIA-картой главный ограничитель скорости — VRAM. Если модель не помещается целиком, llama.cpp умеет разделить вычисления между GPU и CPU, но скорость обычно снижается.

LM Studio официально рекомендует 16 ГБ RAM и больше; для Windows — хотя бы 4 ГБ выделенной VRAM, а на Mac поддерживает Apple Silicon и macOS 14+. Точные платформенные условия лучше проверить на странице системных требований LM Studio перед скачиванием.

Какую модель выбрать в 2026 году

Не начинайте с рейтинга. Начните с задачи и только потом подберите размер.

Для обычного русского текста и документов

Попробуйте Qwen 3.5 4B или 9B. В готовых сборках Ollama обе модели принимают текст и изображения, а веса Qwen 3.5 опубликованы под Apache 2.0. На 16 ГБ разумнее начать с 4B, проверить качество на своих материалах и лишь затем скачивать 9B.

Если основная работа — статьи, письма и служебные документы, используйте тот же редакторский цикл, что и с облаком: запрос, черновик, проверка фактов, правка тона. Подробный чек-лист есть в статье о нейросетях для текстов и документов.

Для мультимодальных задач на слабом устройстве

Gemma 4 E2B и E4B рассчитаны на edge-сценарии; семейство понимает текст, изображения и аудио. Q4-оценки Google — 2,9 и 4,5 ГБ памяти только для базовой загрузки. Это хороший класс для локальной сортировки, извлечения и простого анализа, но не надо ждать от E2B того же уровня рассуждения, что от крупной облачной модели.

Для рассуждений на 16–32 ГБ

gpt-oss-20b интересен открытыми весами и сильной ориентацией на рассуждение и инструменты. Но его 14-гигабайтный файл на машине с 16 ГБ оставляет слишком мало воздуха. На 24–32 ГБ он выглядит практичнее.

Альтернатива — Gemma 4 12B или 26B A4B в 4-битной версии. У MoE-модели активна только часть параметров на каждом токене, однако загрузить в память всё равно нужно все веса. Обозначение A4B не превращает 26B-файл в обычную 4B-модель.

Для кода и локальных агентов

Сначала выясните, сколько контекста реально нужно редактору или агенту. Ollama пишет, что задачи веб-поиска, агентские сценарии и инструменты для кода могут требовать как минимум 64K токенов, а увеличение контекста повышает расход памяти. Это описано на странице настройки длины контекста.

Вот где начинается неприятная арифметика: модель помещается, но репозиторий — уже нет. Поэтому для 16 ГБ лучше небольшой кодовый помощник с точечно выбранными файлами, а не агент, которому вы пытаетесь отдать весь проект.

LM Studio, Ollama или llama.cpp

Мой выбор для первого дня — LM Studio. Вы видите размер файла, ожидаемую совместимость и загрузку памяти до запуска. Если затем нужен локальный API для сценариев, ставьте Ollama. Переходить к llama.cpp имеет смысл, когда конкретно не хватает скорости, формата или контроля, а не ради ощущения «я всё сделал из исходников».

Как запустить локальную нейросеть в LM Studio

1. Сверьте компьютер с официальными системными требованиями.
2. Установите LM Studio с сайта разработчика.
3. В разделе Discover найдите модель от официального автора или проверенного издателя сборки.
4. Для первого запуска выберите GGUF Q4-вариант, который занимает не больше примерно половины доступной общей памяти.
5. Загрузите модель в Chat и оставьте контекст скромным: 4–8K токенов достаточно для проверки.
6. Отключите интернет и задайте простой вопрос. Если ответ продолжает генерироваться, выбран локальный путь.
7. Только после этого добавляйте документ, увеличивайте контекст или запускайте API.

Не скачивайте сразу пять квантов одной модели. На диске они не «улучшают друг друга», а просто лежат отдельными многогигабайтными файлами. Оставьте тот вариант, который прошёл ваши задачи, остальные удалите через менеджер приложения.

Как запустить локальную нейросеть в Ollama

Google описывает установку Ollama для Windows, macOS и Linux и запуск Gemma без отдельной GPU в официальной инструкции. После установки базовый путь выглядит так:

ollama run qwen3.5:4b
ollama ls
ollama ps

Первая команда скачает модель и откроет чат. Вторая покажет, что хранится на диске. Третья — где запущенная модель размещена: на GPU, CPU или частично там и там.

Для строгого локального режима отключите облачные функции в ~/.ollama/server.json:

{
  "disable_ollama_cloud": true
}

После перезапуска проверьте логи и снова протестируйте работу без интернета. Для удаления модели используйте ollama rm qwen3.5:4b. Полный список команд есть в официальной справке Ollama CLI.

Честный тест на среднем компьютере

Я не буду ставить в таблицу чужие значения token/s под видом собственного опыта. В этой статье не проводился одинаковый прогон нескольких моделей на одном заранее подготовленном компьютере, поэтому рейтинга скорости здесь нет.

Зато есть воспроизводимый тест, который за 30 минут покажет больше любой чужой таблицы. Возьмите свой реальный компьютер, закройте тяжёлые приложения и прогоните одну модель на трёх задачах:

1. Короткий текст. «Сократи заметку до пяти тезисов, не добавляй новых фактов» — дайте 800–1200 слов.
2. Извлечение. Попросите вернуть из небольшого документа пять полей в JSON.
3. Проверка инструкции. Дайте семь ограничений: тон, объём, формат, запрет на домыслы, обязательные факты, аудитория и критерий завершения.

Для Ollama используйте API с stream:false, чтобы получить метрики:

curl http://localhost:11434/api/generate 
  -d '{
    "model": "qwen3.5:4b",
    "prompt": "Сократи текст до пяти тезисов. Не добавляй фактов: ...",
    "stream": false,
    "options": {"num_ctx": 4096}
  }'

Ответ Ollama содержит load_duration, prompt_eval_duration, eval_count и eval_duration. Скорость генерации считается так:

токенов в секунду = eval_count / (eval_duration / 1 000 000 000)

Сделайте один холодный запуск и три тёплых. Запишите не только скорость, но и четыре оценки по десятибалльной шкале: соблюдение ограничений, точность извлечения, отсутствие добавленных фактов и пригодность черновика без переписывания.

Если 9B-модель даёт 20% больше качества, но блокирует компьютер и экономит две минуты редактуры, это плохая сделка. Если компактная 4B стабильно извлекает нужные поля, её недостаток «интеллекта» может вообще не иметь значения.

Как работать с документами локально

Вопрос «можно ли загрузить PDF» состоит из двух частей. Интерфейс должен уметь разобрать файл, а модель — получить нужные фрагменты. Обычно приложение строит локальный индекс и подставляет релевантные куски в промпт. Это RAG, а не магическое запоминание всей папки.

Для надёжной работы:

• начните с одного чистого документа, а не с архива на 30 ГБ;
• задайте вопрос, ответ на который можно проверить в конкретном абзаце;
• попросите показывать имя файла и фрагмент-основание;
• отдельно проверьте таблицы, сканы и сложную вёрстку;
• не увеличивайте контекст до максимума, пока маленькое значение справляется.

Локальный RAG полезен для инструкций, регламентов и внутренней базы знаний. Но он не гарантирует, что модель процитирует правильный фрагмент или не придумает связку между двумя документами. Проверка источника остаётся обязательной.

Безопасность локального запуска: короткий чек-лист

1. Скачивайте приложение с официального сайта, а модель — из официального репозитория автора или проверенного каталога.
2. Читайте лицензию и карточку модели перед коммерческим использованием.
3. Держите API на 127.0.0.1, если сетевой доступ не нужен.
4. При доступе из сети включайте токены, firewall и отдельную учётную запись сервиса.
5. Не давайте модели произвольный доступ ко всей файловой системе и терминалу.
6. Отключайте облачные модели, веб-поиск и удалённые плагины для чувствительных данных.
7. Шифруйте диск и определите срок хранения истории чатов и загруженных документов.
8. Обновляйте движок отдельно от модели и проверяйте совместимость перед рабочим развёртыванием.

Особенно осторожно подключайте инструменты и MCP-серверы. Способность модели вызвать команду — это не интеллект службы безопасности. Ограничивайте доступ конкретной папкой и списком разрешённых действий.

Частые вопросы

Можно ли пользоваться локальной нейросетью без видеокарты?

Да. llama.cpp и Ollama умеют считать на CPU, а Apple Silicon использует общую память и Metal. Но скорость зависит от модели, процессора и контекста. Для первого опыта выбирайте 2–4B Q4, а не огромную модель с частичной выгрузкой на диск.

Хватит ли 8 ГБ оперативной памяти?

Для маленьких моделей и коротких задач — иногда да. LM Studio допускает запуск на 8-гигабайтных Mac, но рекомендует небольшие модели и скромный контекст; официальная общая рекомендация — 16 ГБ и больше. Не держите одновременно десятки вкладок и тяжёлый редактор.

Сколько места оставить на диске?

Минимум — размер модели плюс приложение и временные файлы. Практически оставьте в два раза больше размера выбранного файла, особенно если будете сравнивать квантования. Для модели на 6,6 ГБ свободные 12–15 ГБ — разумный старт, но не универсальная гарантия.

Можно ли скачать ChatGPT на компьютер?

Приложение ChatGPT можно установить, но это не делает закрытые модели ChatGPT локальными. Для вычислений на устройстве нужны модели с доступными весами: gpt-oss, Gemma, Qwen и другие. Не путайте десктопный клиент облачного сервиса с локальным inference.

Будет ли локальная модель знать мои файлы?

Нет, пока вы не передадите ей текст или не построите локальный RAG-индекс. Простое размещение GGUF рядом с папкой документов ничего не обучает и не даёт модели доступа к данным.

Нужно ли обучать модель под себя?

В большинстве задач — нет. Сначала попробуйте системный промпт, шаблон ответа и RAG. Дообучение нужно, когда есть качественный набор примеров и измеримая задача, которую не решают более простые способы.

Что выбрать именно вам

Если у вас 8–16 ГБ памяти и хочется просто попробовать — LM Studio плюс Qwen 3.5 4B или Gemma 4 E2B/E4B. Если нужен API для скрипта — Ollama с той же небольшой моделью. Если работаете с документами компании — сначала настройте офлайн-режим, хранение и сетевые границы, потом загружайте данные.

Если вы выбираете между десятками облачных и локальных вариантов, используйте матрицу выбора нейросети по задаче. Там проще увидеть, где локальность действительно приносит пользу, а где становится дорогой формой прокрастинации.

Мой финальный вердикт: локальная нейросеть нужна не всем. Она сильна там, где у вас есть повторяемая задача, чувствительные данные, необходимость работать офлайн или желание встроить модель в собственный процесс. Для случайных запросов и максимально сильного качества облако обычно рациональнее.

Хотите собрать рабочий процесс, а не коллекцию моделей на диске? Посмотрите программу курса «НейроЦЕХ». Начинайте с задачи и критерия качества, затем выбирайте модель, память и интерфейс. Этот порядок экономит больше времени, чем бесконечная охота за «самой умной» локальной сборкой.

Об авторе: Илья Шведков — эксперт по практическому применению нейросетей, автоматизации контента и внедрению ИИ в рабочие процессы.