9 ошибок при внедрении AI в продукте: чек-лист из провалов российского EdTech

Материал ценен тем, что автор говорит не абстрактно, а показывает конкретные провалы из российского EdTech: бот-«карьерный консультант», которого никто не просил, помощник, рекомендующий устаревшие системы, и акция с тестированием, где расходы на токены (единицы текста, за которые платят при обращении к языковой модели) вышли из-под контроля за несколько дней. Для компаний РФ и СНГ, где бюджеты на эксперименты ограничены, такой чек-лист экономит и деньги, и репутацию.

Девять ошибок: что именно идёт не так?

• AI ради AI. Команда добавляет чат-бота, потому что «у конкурентов уже есть», а не потому что пользователю нужен диалог. В примере автора онлайн-школа запустила «карьерного консультанта» на базе ИИ-агента, но опрос показал: выпускникам нужен простой чек-лист с навыками и ссылками на курсы, а не разговор с ботом.

• Мусор на входе. Языковую модель (LLM, large language model, программа, обученная на огромном массиве текстов и способная генерировать связные ответы) подключают к базе знаний, не проверив её актуальность. Результат: бот уверенно советует изучать информационные системы, которые в России уже не применяются.

• Метрики активности вместо метрик пользы. Команда радуется тысячам запросов к ИИ-помощнику, но нагрузка на тьюторов (сотрудников, которые сопровождают слушателей в учебном процессе) не падает: студенты всё равно переспрашивают у людей, не доверяя боту.

• Нет «человека в контуре» (Human in the loop). ИИ-система автоматически оценивает эссе, ставит неудовлетворительную оценку, а кнопки «уточнить оценку» или канала апелляции к преподавателю нет. Итог: негативный отзыв слушателя.

• Недооценка экономики. Онлайн-школа запустила акцию «Пройди тестирование по навыкам» с вызовами к внешней LLM. Пользователи проходили тест повторно ради бейджа, расход токенов вышел из-под контроля, и LLM пришлось срочно убирать из процесса.

Автор описывает ещё четыре ошибки (всего девять), но даже первые пять дают понятный паттерн: каждый раз AI в продукте внедряется без ответа на вопрос «какую конкретную проблему пользователя мы решаем?».

Как использовать этот чек-лист?

1. Откройте бэклог своего продукта и найдите все задачи, связанные с ИИ. По каждой задаче ответьте письменно: какую проблему пользователя она решает и станет ли процесс быстрее, дешевле или качественнее по сравнению с текущим решением без ИИ. Если ответа нет, задачу можно отложить.

2. Проверьте базу знаний, к которой подключён или будет подключён ваш бот. По рекомендации автора, каждый фрагмент контента должен быть актуальным, размеченным (структурированным для машинного чтения) и содержать ссылку на конкретный урок или раздел курса.

3. Замените метрики активности (количество запросов к боту) на метрики процесса: среднее время проверки домашних заданий, загрузка тьюторов, процент слушателей, завершивших курс в срок.

4. Убедитесь, что в каждом сценарии с ИИ-оценкой или ИИ-рекомендацией есть видимая кнопка эскалации на человека.

Есть ли аналогичные инструменты в России?

Российские команды чаще всего строят ИИ-ботов на базе YandexGPT или GigaChat. Ошибки, описанные Коптеловым, не зависят от конкретной модели: и YandexGPT, и GigaChat, и любая внешняя LLM одинаково уверенно «галлюцинируют» (выдают правдоподобный, но выдуманный ответ), если база знаний не вычищена. Экономика токенов тоже актуальна для обеих платформ: тарифы привязаны к объёму текста, и неконтролируемый повторный вызов раздувает счёт.

Для тех, кто работает на Дзене или в контент-маркетинге: чек-лист Коптелова переносится напрямую. Если вы встраиваете ИИ-генерацию в процесс подготовки публикаций, задайте себе тот же вопрос: автор получает реальную экономию времени или просто нажимает лишнюю кнопку?

Частые вопросы

Подходит ли этот чек-лист только для образовательных продуктов?

Нет. Автор использует примеры из EdTech, потому что это его область, но сами ошибки (бот ради бота, грязные данные, ложные метрики) встречаются в любой нише: от интернет-магазинов до медиа. Если вы встраиваете ИИ-агента в воронку продаж или в редакционный процесс, проверяйте бэклог по тем же пунктам.

Нужно ли вообще внедрять ИИ, если бюджет маленький?

Коптелов не говорит «не внедряйте». Он говорит: сначала убедитесь, что задача существует и что ИИ решает её лучше простого инструмента. Чек-лист с навыками стоит почти ноль, а чат-бот с внешней LLM генерирует ежедневные расходы на токены. Маленький бюджет как раз требует этой проверки до старта разработки.

Где прочитать все девять ошибок целиком?

Полный разбор с примерами и рекомендациями опубликован Андреем Коптеловым на Хабре. В нём, помимо пяти ошибок, подробно разобранных выше, описаны ещё четыре: от пренебрежения промпт-инжинирингом (настройкой текстовых инструкций для модели) до отсутствия плана отката на случай сбоя.