Y Combinator требует легализовать дистилляцию моделей ИИ: монополия опаснее утечки знаний

Гарри Тан, глава Y Combinator, в интервью CNBC и TechCrunch заявил, что американским ИИ-лабораториям нужно разрешить свободно использовать дистилляцию моделей ИИ крупных разработчиков, вместо того чтобы запрещать эту практику на фоне обвинений в адрес китайских компаний.

Что такое дистилляция и почему вокруг неё спор?

Дистилляция моделей ИИ (distillation) — это когда один разработчик отправляет множество промптов (запросов) к чужой модели, чтобы по её ответам обучить свою, более компактную модель. По сути, ученик «срисовывает» логику учителя.

• Anthropic на той же неделе опубликовала второй отчёт с обвинениями в том, что китайские лаборатории скрывают свою личность и используют украденные учётные данные, чтобы дистиллировать модели Anthropic без разрешения. Глава Anthropic Дарио Амодеи ранее публично призвал регуляторов ужесточить контроль.
• Гарри Тан занял противоположную позицию. Он считает, что регуляторам не нужно вмешиваться. Его формулировка в интервью CNBC: «Я бы ничего не делал. Можно было бы создать американский режим дистилляции».
• Тан не призывает к краже. Он подчеркнул TechCrunch, что речь не о ворованных учётных записях, а о праве легально обращаться к API закрытых моделей (closed-source, то есть моделей с закрытым кодом) и использовать полученную информацию для обучения собственных.

Два аргумента Тана

Первый: крупные ИИ-лаборатории, по его словам, не вправе диктовать клиентам, что делать с информацией, которую модель выдаёт в ответ на запрос.

Второй: сами эти лаборатории при обучении своих моделей массово собирали данные из интернета, включая защищённый авторским правом контент, и разрешения у правообладателей не спрашивали.

Контролировать, что пользователи и клиенты делают с ответами закрытых моделей, кажется чрезмерным. Интеллект, обученный на общедоступных данных, сам должен быть скорее общественным благом, а не чем-то запертым за ограничительными условиями использования. : Гарри Тан, глава Y Combinator, TechCrunch

Почему Тан боится монополии больше, чем дистилляции?

Для Тана главная угроза не утечка знаний из больших моделей, а концентрация всей мощи ИИ в руках одной компании.

Кошмарный сценарий для ИИ — это когда остаётся одна компания. У неё лучший доступ к капиталу, лучшие исследователи. Она уходит в отрыв, и внезапно появляется один монолит. Это было бы плохо. : Гарри Тан, глава Y Combinator, CNBC

Именно поэтому он выступает за баланс между крупными лабораториями (которые двигают границу возможного) и малыми командами, работающими с открытыми весами (open weights, когда параметры модели доступны публично). Сильные открытые модели дают пользователям свободу выбора и снижают зависимость от одного поставщика.

Как это выглядит на фоне российского рынка?

В России крупные модели, YandexGPT и GigaChat от Сбера, работают как закрытые. API доступен, но условия использования запрещают дистилляцию. Открытых российских моделей уровня Llama или Qwen пока мало. Позиция Тана, если бы подобный режим появился в США, косвенно повлияла бы и на доступность открытых моделей для разработчиков по всему миру, включая РФ и СНГ: чем больше сильных открытых моделей выходит из американских лабораторий, тем шире выбор у тех, кто не может пользоваться закрытыми API из-за санкций или цены.

Что делать с этим прямо сейчас?

• Автору Дзена. Следите за появлением новых открытых моделей, обученных методом дистилляции. Если режим легализуют, таких моделей станет больше, и среди них будут компактные варианты, которые можно запустить локально для генерации текстов и изображений.
• Маркетологу. Дистилляция моделей ИИ удешевляет инференс (inference, процесс генерации ответа моделью): маленькая модель-ученик отвечает дешевле и быстрее, чем большая модель-учитель. Это значит более низкую стоимость автоматизации рутины.
• Предпринимателю в РФ. Пока это политическая дискуссия в США, не закон. Но если режим дистилляции утвердят, ждите волну новых открытых моделей, которые можно будет дообучать (fine-tuning, обучение модели на ваших примерах под узкую задачу) под свои задачи без оглядки на лицензию.

Частые вопросы

Дистилляция моделей ИИ — это воровство?

Технически нет. Дистилляция — легальная техника обучения, которую используют сами крупные лаборатории. Проблема возникает, когда для доступа к модели используют украденные учётные данные или нарушают условия сервиса. Тан предлагает убрать именно эти ограничения в условиях, а не поощрять кражу.

Повлияет ли это на доступность моделей в России?

Напрямую нет: речь о регулировании внутри США. Но косвенно, да: если американские стартапы получат право дистиллировать, на рынке появится больше открытых моделей с открытыми весами, а они доступны из любой точки мира.

Когда ждать конкретных решений?

Гарри Тан высказал позицию, а не представил законопроект. Конкретных сроков и предложений на уровне регуляторов пока нет.