Запуск мощных нейросетей локально (прямо на домашнем ПК, без интернета) — это сейчас один из главных трендов в мире технологий: это удивительный процесс, который стал намного проще, чем был еще пару лет назад.

https://dzen.ru/a/aamGNcmAxFQ6PZw3

Если вы ещё вдруг не наткнулись на новость о выходе Qwen3.5 от Alibaba:

https://news.google.com/stories/CAAqNggKIjBDQklTSGpvSmMzUnZjbmt0TXpZd1NoRUtEd2kzNUluQ0VCRkpUSU9MMFlXRkZTZ0FQAQ?hl=en-IL&gl=IL&ceid=IL%3Aen

1. Что внутри: знания или методология?

Это именно база знаний, а не просто алгоритм. Когда разработчики тренируют такую модель, она «прочитывает» терабайты информации из интернета, книг и кода.

Однако модель не сохраняет эти тексты в виде архива (как скачанная Википедия). Она сжимает всю эту информацию в математические связи (так называемые «веса» или параметры). Поэтому скачанный файл:

• Знает факты: Может рассказать историю Рима, написать код на Python или перевести текст.
• Не требует интернета: Вся база для генерации ответов уже зашита внутри файла.
• Может фантазировать: Так как знания хранятся в виде вероятностей, а не точных цитат, локальная модель (как и облачная) может иногда ошибаться или «галлюцинировать».

2. Сколько они весят?

Вес модели зависит от количества её параметров (измеряется в миллиардах — Billion или "B") и от того, насколько сильно этот файл сжали (это называется квантованием).

• Маленькие модели (7B - 8B параметров): Весят около 4–6 ГБ. Отлично подходят для простых задач, работают даже на обычных ноутбуках.
• Средние модели (Medium, от 14B до 32B): Весят от 10 до 25 ГБ. Именно о таких пишут в статье: они уже могут соревноваться с большими облачными версиями, отлично пишут код и понимают контекст.
• Гигантские модели (70B и выше): Весят от 40 ГБ и больше. Требуют мощных серверов или топовых геймерских компьютеров.

3. Как их скачивают и устанавливают?

Раньше для этого нужно было быть программистом, но сейчас всё делается буквально в пару кликов, почти как установка игры. Сами файлы моделей обычно хранятся на сайте Hugging Face (это такой бесплатный каталог для AI-разработчиков), но вам туда заходить необязательно.

Для обычных пользователей созданы специальные программы-оболочки. Самые популярные:

• LM Studio или GPT4All: Вы скачиваете программу (она выглядит как окно обычного чата). Внутри есть встроенный «магазин» моделей. Вы вводите в поиск, например, Qwen, нажимаете кнопку «Скачать», ждете загрузки файла и сразу можете с ним переписываться.
• Ollama: Удобная утилита, которая позволяет скачивать и запускать модели одной простой командой в терминале (например, ollama run qwen).