Что такое локальный ИИ и зачем он нужен
Локальная модель работает на вашем компьютере: без подписки, без интернета и без передачи данных наружу. Запросы никуда не уходят, платить за них не нужно, а лимитов нет вовсе.
Взамен вы платите железом и качеством. Модель, которая помещается в память домашней машины, заметно слабее облачной — это не повод отказываться, но повод трезво выбирать задачи.
Локальная модель хорошо справляется с пересказом, переводом, разбором почты, сортировкой файлов и простыми ответами по вашим документам. Плохо — со сложным кодом, длинными рассуждениями и всем, где нужна эрудиция.
С чего начать
- Поставьте Ollama — инструкция для Windows, macOS и Linux. Это самый короткий путь: одна команда, дальше модели ставятся по имени.
- Подберите модель под железо. Главное правило — модель должна помещаться в память целиком, иначе скорость падает в разы. Девять рабочих семейств с весом файлов в гигабайтах — в подборке.
- Проверьте на своей задаче, а не на абстрактной. Две-три пробы, и станет ясно, где ваш баланс скорости и качества.
Главная ловушка каталога
Половина того, что стоит в топе каталога Ollama, локально не запускается вовсе: у этих моделей стоит метка cloud, и весов для локального запуска не опубликовано. Именно их чаще всего пытаются поставить на ноутбук, увидев в новостях.
Проверяется просто: у локальной модели указаны размеры (3b, 12b, 27b) и вес файла на странице тегов. Нет размеров — модель облачная.
Локальная модель как мозг агента
Отдельный сценарий, ради которого локальный ИИ обычно и заводят: агент, который работает целиком у вас. Здесь появляется требование, о котором забывают: модель должна уметь вызывать инструменты. Без этого агент не сможет ничего сделать — только поговорить.
Как связать Ollama с OpenClaw — в отдельном разборе.
Если железо не тянет
Не повод бросать идею. Рабочий компромисс — гибрид: маленькая локальная модель для приватного и рутинного, облачная — для сложного. Как получить доступ к облачной из России и сколько это стоит в рублях — десять способов.