Telegram бот с LLM и RAG: один разработчик собирал 6 лет, теперь хватит выходных

Разработчик под ником автора бота «Ио» опубликовал подробный разбор шестилетней истории проекта. «Ио» живёт в нескольких десятках Telegram-чатов, умеет отвечать на текст, распознавать изображения и голосовые сообщения, учитывать историю переписки и хранить информацию о каждом пользователе. Проект прошёл три крупных этапа: токенайзер (токенизатор, разбиватель текста на отдельные слова и части) без нейросетей, первые попытки с GPT-3.5 Turbo и полноценная система с RAG и векторной базой.

Что понадобится?

• Telegram Bot API и токен от @BotFather
• Доступ к LLM через API: автор использовал GPT-3.5 Turbo, затем GPT-4o mini. Для России подойдут YandexGPT или GigaChat, если нужна локальная альтернатива
• База данных для хранения сообщений и метаинформации о пользователях
• Стеммер для русского языка (PorterStemmerRu), если строите прототип без LLM
• Сервисы распознавания: Яндекс для голоса и перевода, FFmpeg для извлечения аудио из видеокружков
• DaData для распознавания названий городов в разных написаниях
• OpenWeather для прогноза погоды (бесплатный тариф)
• Время: автор потратил шесть лет, но с нынешними инструментами рабочий прототип реально собрать за выходные

Пошаговая инструкция

1. Начните с простого токенайзера, чтобы понять проблемы русского языка.

Автор в 2020 году удалял из текста ссылки, разбивал его на предложения по знакам препинания, затем предложения на слова, переводил в нижний регистр и применял стеммер (алгоритм, который отрезает окончания слов и оставляет основу).

Слова «расскажи» и «рассказать» превращались в основу «расска», а «погода» и «погоду» в «погод». Это сокращало количество вариантов команд, но не решало проблему полностью: русские склонения и падежи всё равно ломали логику.

switch (nextWorld) {
  case PorterStemmerRu.stem('мин'):
  case PorterStemmerRu.stem('минут'):
    return number * 60;
  case PorterStemmerRu.stem('час'):
    return number * 60 * 60;
  case PorterStemmerRu.stem('дня'):
  case PorterStemmerRu.stem('дней'):
  case PorterStemmerRu.stem('день'):
    return number * 60 * 60 * 24;
}

Этот этап можно пропустить, если сразу идёте на LLM, но он полезен для понимания, почему для русского языка стеммирование (приведение слов к основе) работает хуже, чем для английского.

2. Подключите LLM и организуйте хранение контекста.

Первый вариант с GPT-3.5 Turbo хранил контекст в оперативной памяти. После перезапуска всё пропадало, бот работал только внутри одного треда. Автор перенёс все сообщения в базу данных, где каждое сообщение ссылалось на реплай (ответ). Получилось дерево диалога.

Такая структура дала неожиданный бонус: пользователь мог ответить на любое сообщение из истории, и бот продолжал диалог именно с этой точки, не затрагивая другие ветки.

3. Добавьте Tool Calling вместо самодельного парсера команд.

После перехода на GPT-4o mini автор подключил Tool Calling (механизм, при котором модель сама решает, какую функцию вызвать). Все костыли с токенайзером стали не нужны, и модель сама выбирала, когда показать погоду, когда перевести текст, когда просто ответить.

4. Обработку изображений вынесите в отдельный этап.

Отправлять ссылку на картинку в каждый запрос к модели оказалось дорого. Автор сделал иначе: при получении фото бот сразу прогоняет его через модель, получает текстовое описание и сохраняет в базу. Когда картинка позже попадает в контекст, используется уже готовое описание. По словам автора, расход на модели составлял от 10 до 20 долларов в месяц даже с ограничением обработки изображений только доверенными чатами.

5. Реализуйте память о пользователях, начните без векторов.

В 2025 году автор добавил в базу поле metaInfo с JSON, где хранилась собранная информация о пользователе. Раз в десять сообщений поле обновлялось запросом к модели, а собранные факты добавлялись в системный промпт (системный промпт, это постоянная инструкция, которую модель получает перед каждым ответом).

6. Переходите к RAG и векторной базе, когда простая память перестанет справляться.

К 2026 году автор перешёл на полноценный RAG с векторной базой. Снижение порога входа в агентные (агентный, когда ИИ сам выбирает действия и инструменты) инструменты сделало это реальным для одиночного разработчика.

Что делать с этим прямо сейчас?

Авторам Дзена. Telegram бот с памятью о подписчиках может стать бот поддержки Telegram для вашего канала: отвечать на частые вопросы, помнить, кто что спрашивал, и не повторяться. Начните с простого поля метаинформации, без векторных баз.

Маркетологам. Tool Calling позволяет боту самому выбирать, какую функцию запустить. Это значит, что один бот может и отвечать на вопросы клиентов, и показывать статус заказа, и подтягивать данные из CRM. Экономия на линии поддержки реальна, но бюджет на API модели считайте заранее: даже 10 долларов в месяц при масштабировании на сотни чатов превращаются в ощутимую сумму.

Предпринимателям в РФ. Автор использовал API OpenAI, но для российского рынка доступны YandexGPT и GigaChat с локальными API. DaData для распознавания городов и сервисы Яндекса для голоса работают без ограничений. FFmpeg открытый и бесплатный. Весь стек, кроме LLM, доступен в России без VPN.

Кейс «Ио» показывает одно: бот поддержки Telegram с настоящей памятью и пониманием русского языка реален для одиночного разработчика, но требует готовности чинить то, что LLM ломает в кириллице, и закладывать бюджет на API с первого дня.