Poolside AI обошла модели в 10 раз крупнее: 8 млрд параметров и 70 исследователей

Poolside AI основал Эйсо Кант, который начал строить языковые модели для кода ещё в 2015 году, вдохновившись работами Андрея Карпатого по рекуррентным нейросетям (RNN). До появления ChatGPT компания потратила четыре года и 12 миллионов долларов на направление, которое рынок не замечал. Выход ChatGPT стал точкой разворота: Poolside AI вернулась к открытой модели разработки и привлекла 500 миллионов долларов инвестиций. Подкаст Latent Space, где сооснователь компании подробно рассказал о технологии и стратегии, стал основой для этого разбора.

Что именно построила Poolside AI?

Ключевой актив Poolside AI называется Model Factory, «фабрика моделей». Это не одна нейросеть, а инженерная система полного цикла: от предварительного обучения (pre-training, первичная тренировка модели на больших объёмах данных) до выпуска готового продукта.

Фабрика работает на нескольких принципах:

• Потоковая подача данных. Обучающие данные (training data) подаются в модель в реальном времени, а не загружаются заранее одним пакетом. Это ускоряет эксперименты.
• Воспроизводимость. Каждый эксперимент фиксируется: неизменяемые данные, версионированный код, журнал запусков. Любой результат можно повторить.
• Обучение с низкой точностью вычислений. Модели тренируют на числах с меньшей разрядностью, что экономит вычислительные ресурсы без критической потери качества.
• ИИ-агенты внутри фабрики. Агенты (программы, которые действуют сами, без пошаговых команд) уже пишут код, запускают задачи, оценивают результаты и модифицируют пайплайны обучения следующих моделей.

Благодаря этой системе Poolside AI сократила цикл выпуска модели с шести месяцев до пяти и восьми недель. Качество нового чекпоинта (контрольной точки обучения) команда оценивает в первые 30 минут после его создания.

Что обнаружили в Laguna S 2.1?

Laguna S использует архитектуру с 118 миллиардами параметров, из которых активны только 8 миллиардов. Это значит, что модель по размеру сопоставима с компактными решениями, но по структуре и обучению использует ресурсы крупной модели. Результаты, которые выделяет команда:

• Малая модель обходит большие. Laguna S 2.1 показала результаты лучше, чем недавний релиз Thinking Machines, модель почти в десять раз крупнее по активным параметрам. По данным технического отчёта Poolside AI.
• Настойчивость важнее «сырого» интеллекта. Эйсо Кант утверждает, что механизмы верификации (проверки собственных ответов), возврата к предыдущим шагам (backtracking) и упорного повторения попыток дают модели больше, чем простое увеличение числа параметров.
• Компактные модели способны на большее. По словам Канта, малые модели могут справляться с гораздо большим объёмом «работы со знаниями», чем считалось ранее.
• Обучение с подкреплением сдвигается раньше. Reinforcement learning (обучение, при котором модель получает награду за правильные действия и штраф за ошибки) в Poolside AI применяют уже на этапе предварительного обучения, а не только на финальной доводке.
• Предсказание следующего токена недостаточно. Кант считает, что стандартный метод обучения, предсказание следующего слова, извлекает слишком мало знаний из веб-данных.

Что это значит для тех, кто работает с ИИ в России?

Стратегия Poolside AI интересна не самой моделью, а тем, как она построена.

Авторам и контент-мейкерам. Появление конкурентоспособных компактных моделей с открытыми весами (open weights, когда параметры модели можно скачать и запустить у себя) означает, что инструменты для генерации и проверки кода перестают быть монополией пяти крупных компаний. Если Laguna S или её потомки станут доступны для локального запуска, это путь к персональным ИИ-ассистентам без подписки.

Разработчикам и техническим командам. Подход «фабрики моделей», 10 000 экспериментов в месяц силами менее 70 человек, показывает, что автоматизация самого процесса обучения (а не только результата) даёт кратное ускорение. Для команд, работающих с дообучением (fine-tuning) моделей под свои задачи, это ориентир.

Предпринимателям. Poolside AI принципиально строит исследовательскую команду за пределами Кремниевой долины, избегая «войны за таланты» в Сан-Франциско. Для российских и региональных команд это подтверждение: географическая удалённость от центров ИИ не приговор, если выстроена инженерная культура. Из доступных в РФ моделей для работы с кодом можно смотреть на решения от Сбера (GigaCode) и открытые модели семейства Qwen и DeepSeek.

Кант также предупреждает: открытые модели скоро станут настолько способными, что выпускать их без ограничений будет нельзя. А односторонние меры по безопасности ИИ не работают в глобально конкурентной среде, и жёсткое регулирование рискует зацементировать олигополию из двух или трёх компаний. Вопрос не в том, будут ли компактные модели конкурировать с крупными. Вопрос в том, кто первым научится выпускать их быстрее, чем конкуренты успевают обучить одну большую.

По данным Latent Space Podcast