Разбор практического опыта развертывания агента для написания кода на базе локальной модели NorthMiniCode с использованием потребительских видеокарт.
3 мин
Суть Индустрия разработки программного обеспечения постепенно осваивает автономных ИИ-агентов. В то время как крупные корпорации предлагают облачные решения, независимые разработчики успешно тестируют локальные альтернативы. Недавний опыт показывает, что связка инструмента OpenCode и специализированной модели NorthMiniCode позволяет создать работоспособного помощника программиста прямо на домашнем компьютере, используя потребительские видеокарты.
Контекст Долгое время дискуссии об ИИ-агентах для написания кода вращались вокруг облачных продуктов, таких как Claude Code, Codex или Gemini CLI. Однако использование этих инструментов сопряжено с рисками: платформы могут ограничивать доступ по географическому признаку, а корпоративные правила безопасности часто запрещают передачу проприетарного кода на сторонние серверы. Это формирует устойчивый спрос на локальные решения, которые не зависят от интернет-соединения и политик крупных технологических компаний.
Модель NorthMiniCode была разработана специально для агентских циклов: она оптимизирована для планирования задач, использования внешних инструментов, редактирования файлов и работы в терминале. В отличие от универсальных больших языковых моделей (LLM), ее архитектура изначально заточена под нужды разработчика.
Решение по компоновке было временным, но стало постоянным, лишь добавилась крышка под углом для защиты от животных
Детали Для развертывания системы потребовался домашний сервер на базе процессора Ryzen 7 с 64 гигабайтами оперативной памяти. Главная вычислительная нагрузка легла на две графические карты (GPU) разного уровня: RTX 5060 Ti с 16 гигабайтами видеопамяти и RTX 3060 с 12 гигабайтами. Операционной системой выступила Ubuntu 24.04 LTS.
Ключевым программным компонентом стал сервер llama.cpp. Поскольку архитектура модели на момент тестирования была относительно новой, потребовалась сборка сервера из исходных кодов. Важным техническим нюансом стало правильное распределение нагрузки между двумя разными видеокартами. С помощью параметра разделения тензоров (tensor-split) веса модели были распределены пропорционально объему памяти: 57% на более мощную карту и 43% на младшую.
Особого внимания потребовала настройка контекстного окна. Каждое увеличение контекста требует дополнительной памяти для хранения промежуточных вычислений (KV Cache). Попытка выделить слишком большой контекст или запустить несколько параллельных сессий приводила к нехватке видеопамяти. Оптимальным решением стало ограничение контекста до 65 тысяч токенов и отключение параллельной обработки запросов. Подключение к OpenCode было реализовано через стандартный интерфейс прикладного программирования (API), совместимый с форматом OpenAI.
Зациклилось
Анализ Результаты тестирования показывают, что локальные агенты уже способны решать реальные задачи в проектах, близких к производственным (production). Скорость генерации составила около 84 токенов в секунду, что является комфортным показателем для работы.
Система успешно справилась с анализом существующей кодовой базы, определением недостающих конечных точек (endpoints) на сервере и написанием логики. Однако качество кода пока не идеально: модель может оставлять неиспользуемые импорты или слегка нарушать архитектурные границы проекта. Инструмент требует обязательного контроля со стороны человека, выступая скорее в роли исполнительного, но неопытного программиста, которому нужно подробное техническое задание и тщательная проверка результатов (code review).
Перспектива Сам факт возможности запустить полноценного ИИ-агента на домашнем оборудовании свидетельствует о быстрой демократизации технологий искусственного интеллекта. По мере развития методов квантования (сжатия моделей с минимальной потерей качества) и оптимизации программного обеспечения вроде llama.cpp, требования к аппаратному обеспечению будут снижаться.
В ближайшем будущем мы увидим рост популярности автономных (self-hosted) решений. Они не смогут полностью заменить мощные облачные модели в сложных архитектурных задачах, но станут незаменимыми для рутинного рефакторинга, написания тестов и автоматизации небольших изменений в коде, обеспечивая при этом полную конфиденциальность данных.
Логи llama сервера
nvtop: Сверху 5060, снизу 3060, оранжевое — память, голубое — загрузка gpu
Агент в процессе работы
Все готово (почти)
Изображение из источника
Хабр Карьера Курсы
Локальные ИИ-агенты для написания кода достигли уровня, позволяющего использовать их на домашних ПК для решения реальных задач разработки, снижая зависимость от облачных сервисов.
Главным ограничением при локальном запуске агентов становится не вычислительная мощность чипов, а объем видеопамяти, необходимый для хранения контекста (KV Cache) при анализе больших проектов.
