Содержание6 разделов
Коротко
- Главное ограничение в памяти: видеопамять на ПК или общая память на Mac.
- Модель на 7-9 млрд параметров в сжатом виде занимает 5-6 ГБ и идёт на большинстве современных ноутбуков.
- Начать проще всего с LM Studio (с интерфейсом) или Ollama (из командной строки).
- До флагманских облачных моделей локальные не дотягивают, но для пересказов, черновиков и документов их часто хватает.
Облачные нейросети удобны, но у них три минуса. Нужна подписка, нужен интернет, и все ваши тексты уходят на сервер чужой компании. Открытые модели, которые можно скачать и запустить у себя, закрывают все три проблемы разом. Пару лет назад это было занятием для энтузиастов с мощными видеокартами. Сейчас на установку уходит минут пятнадцать, и справится человек, который ни разу не открывал терминал.
Сколько памяти нужно для локальной нейросети
Размер модели меряют в параметрах: 3, 8, 14, 32, 70 млрд и больше. Чем больше параметров, тем модель умнее и тем больше памяти ей нужно. В исходном виде каждый параметр занимает 2 байта, так что модели на 8 млрд нужно около 16 ГБ.
Выручает квантизация, то есть сжатие весов до 4-5 бит на параметр. Качество падает несильно, а объём сокращается в три-четыре раза. Большинство моделей для домашнего запуска уже выложены в таком виде, часто в формате GGUF.
| Размер модели | Памяти нужно (4 бита) | Где пойдёт |
|---|---|---|
| 3-4 млрд | около 3 ГБ | Почти любой ноутбук, даже без видеокарты |
| 7-9 млрд | 5-6 ГБ | Видеокарта на 8 ГБ или Mac с 16 ГБ |
| 12-14 млрд | 9-10 ГБ | Видеокарта на 12 ГБ или Mac с 16-24 ГБ |
| 30-32 млрд | около 20 ГБ | Видеокарта на 24 ГБ или Mac с 32 ГБ |
| 70 млрд | 40 ГБ и больше | Несколько видеокарт или Mac с 64 ГБ и больше |
Цифры примерные. К весам добавляется память под контекст, то есть под текст диалога и документы, которые вы даёте модели. Чем длиннее документ, тем больше памяти нужно сверх таблицы.
У Mac на чипах Apple память общая для процессора и графики, поэтому на них удобно запускать крупные модели. Именно поэтому, кстати, новые Mac Studio с 256 ГБ памяти так заинтересовали разработчиков. На обычном ПК важна видеопамять. Модель, которая в неё не влезла, будет работать на процессоре в разы медленнее, и ответ из пары абзацев придётся ждать минуту.
Какую программу выбрать для запуска нейросети на компьютере
LM Studio это приложение с привычным окном чата и каталогом моделей внутри. Программа сама подсказывает, какие модели пойдут на вашем железе, так что ошибиться сложно. Для первого знакомства мы советуем её.
Ollama работает из командной строки: одна команда скачивает модель, вторая запускает. Она удобна, если модель нужно подключать к другим программам, у Ollama есть локальный API. Ещё есть Jan и GPT4All, тоже бесплатные и с интерфейсом.
Какую локальную модель выбрать
Открытые модели выпускают Alibaba (Qwen), Google (Gemma), Mistral, DeepSeek и другие компании. Новые версии выходят каждые несколько месяцев, поэтому конкретные названия быстро устаревают. Практичный подход такой. Берите самую свежую модель подходящего размера от одного из крупных разработчиков. Проверьте, как она пишет по-русски: у разных семейств с этим очень по-разному, и одна и та же модель может отлично писать код и коряво строить русские фразы. Для программирования берите версии с пометкой coder.
Как запустить нейросеть в LM Studio
- Скачайте программу с официального сайта lmstudio.ai и установите её.
- Откройте поиск моделей и введите название семейства, например Qwen.
- Выберите вариант с пометкой Q4_K_M, это хороший баланс размера и качества.
- Нажмите «Скачать», дождитесь загрузки и откройте чат.
Первый ответ может прийти не сразу, модель загружается в память. Дальше будет быстрее.
Чего ждать от локальной нейросети
Модель на 8 млрд параметров не заменит флагманские облачные сервисы в сложных рассуждениях и коде, тут чудес не будет. Зато она хорошо справляется с пересказом, переводом, черновиками писем, сортировкой обращений и вытаскиванием данных из текста. И главное: всё, что вы ей отправляете, остаётся на вашем компьютере. Для договоров, медицинских или личных данных это решающий аргумент, подробнее в статье про то, что нельзя отправлять в чат-бот.
Следующий шаг после первого знакомства обычно дать модели свои документы, чтобы она отвечала по ним. Как это устроено, мы разобрали в статье про RAG.
Частые вопросы о локальных нейросетях
Нужен ли интернет для локальной нейросети?
Только чтобы скачать программу и модель. Дальше всё работает офлайн, хоть в самолёте.
Законно ли запускать нейросеть на своём компьютере?
Да. Открытые модели распространяются под лицензиями, которые разрешают личное использование, а многие и коммерческое. Условия конкретной модели написаны на её странице, для бизнеса их стоит прочитать.
Сильно ли греется ноутбук при работе нейросети?
Во время ответа да, вентиляторы зашумят. В простое модель ресурсов почти не ест.
Вы уже запускали нейросеть у себя? На каком железе и какую модель?
Как вам материал?
Комментарии