Кодекс этики искусственного интеллекта бессилен перед локальными моделями: спор Хотца и Platformer

Джордж Хотц, основатель Comma AI и известный джейлбрейкер (человек, снимающий программные ограничения), в начале июня 2025 года опубликовал манифест: ИИ должен выполнять любую просьбу владельца, включая помощь в планировании убийства или заказ оборудования для нарколаборатории, и это, по его мнению, вопрос свободы, а не этики.

Поводом стала публикация программного документа «AI 2040: Plan A» от AI Futures Project. Авторы предлагают мировому научному сообществу добровольно замедлить разработку ИИ на 14 лет ради коллективной безопасности. Хотц отверг саму идею коллективного контроля и предложил альтернативу: локальные модели, которые работают на устройстве пользователя и подчиняются только ему. Автор колонки в Platformer Кейси Ньютон разобрал аргументы обеих сторон и объяснил, почему полная свобода локального ИИ звучит привлекательно, но ломается при столкновении с реальностью.

Что предлагает Хотц и почему это радикально?

Хотц выстраивает цепочку из трёх тезисов:

• Сценарий «быстрого взлёта» неправдоподобен. По его мнению, ИИ не обретёт сверхчеловеческие способности мгновенно, поэтому глобальный мораторий не нужен.
• Безопасность обеспечивается локальностью. Модель, работающая на устройстве владельца и подчинённая его интересам, безопаснее централизованных сервисов вроде ChatGPT или Claude.
• ИИ должен быть как оружие. Хотц прямо сравнивает пользовательскую модель с пистолетом: оружие не спрашивает, зачем вы его берёте. Модель обязана помочь заказать реактивы для метамфетаминовой лаборатории, если владелец попросил.

Хотц заявляет, что готов умереть за этот принцип. «Мы либо живём в мире со свободой, либо нет», пишет он.

Почему аргумент «свобода или ничего» не работает?

Автор колонки в Platformer соглашается с Хотцем в одном: централизация ИИ вокруг нескольких облачных сервисов создаёт реальные проблемы. Дорогие модели размещаются на серверах корпораций, и большинство пользователей загружают их недостаточно плотно, чтобы оправдать по-настоящему персональный ИИ. Но по мере удешевления технологии это ограничение уходит, и локальный ИИ становится практичнее.

Однако дальше Ньютон фиксирует ключевой изъян позиции Хотца. Любая система, в которой участвует много людей, требует баланса интересов: рынок, корпорация, общество. Тот, кто выпускает массовый продукт, обязан думать не только о свободе конкретного пользователя, но и об интересах тех, кого этот пользователь может обмануть, ограбить или убить.

Свобода, которой наслаждается Хотц, возможна именно благодаря коллективным договорённостям. Если каждый пользователь станет «маленьким Наполеоном с ИИ», это пространство свободы исчезнет за ночь.

Кодекс этики искусственного интеллекта: декорация или реальный ограничитель?

Дискуссия Хотца и Ньютона проявляет неудобный вопрос: любой кодекс этики искусственного интеллекта, будь то добровольный свод правил компании или государственный документ, работает только до тех пор, пока модель остаётся под контролем разработчика. Локальная модель с открытыми весами (open weights, когда параметры модели публикуются и пользователь может запустить её на своём железе) технически не обязана подчиняться никакому кодексу.

Это не теоретическая проблема. Модели с открытыми весами уже существуют и доступны для скачивания. Ограничения в них снимаются за несколько минут.

Что это значит для вас?

Авторам Дзена и копирайтерам. Дебат напрямую касается инструментов, которыми вы пользуетесь каждый день. Централизованные сервисы (ChatGPT, Claude, в России YandexGPT и GigaChat) фильтруют запросы: отказываются писать об опасных темах, ставят предупреждения. Если индустрия сдвинется к локальным моделям без ограничений, фильтры исчезнут, но вместе с ними исчезнет и защита от галлюцинаций (когда модель уверенно выдумывает факты). Проверять каждый факт за моделью придётся самостоятельно.

Маркетологам. Регуляторные риски растут. Если вы используете локальную модель для генерации контента и она выдаёт юридически опасный текст, отвечаете вы, а не разработчик модели. Централизованные сервисы хотя бы логируют запросы и могут стать аргументом в вашу защиту.

Предпринимателям в РФ и СНГ. Дебат о децентрализации ИИ звучит актуально на фоне санкций и ограничения доступа к зарубежным облачным моделям. Локальный ИИ привлекателен: не зависит от чужих серверов, работает без VPN. Но позиция «модель делает всё, что попросит владелец» конфликтует с российским законодательством так же прямо, как и с американским. Уголовный кодекс не делает скидку на то, что инструкцию по синтезу запрещённых веществ выдала нейросеть, а не человек.

Манифест Хотца полезно прочитать целиком, даже если вы с ним не согласны: он честно формулирует то, о чём многие разработчики локальных моделей думают, но не говорят вслух. А дальше стоит задать себе вопрос: вы готовы отвечать за всё, что ваша нейросеть сделает по вашей просьбе? Потому что именно так устроен мир, в котором кодекс этики искусственного интеллекта перестаёт действовать.

По данным Platformer