Память человека в отличие от памяти ИИ: конвейер превращает Telegram-чаты в базу знаний за $10

Автор сервиса, который сам себя называет «второй памятью», отказался от стандартного подхода с векторной базой и RAG (retrieval-augmented generation, когда ИИ ищет ответ по заранее нарезанным кускам текста). Вместо этого он заставляет DeepSeek (открытая модель, доступная из России без VPN через API) разбирать диалоги и возвращать строгий JSON с темами, людьми, проектами, фактами и связями между ними. Результат выгружается в Markdown-файлы, которые открываются в Obsidian, бесплатном редакторе заметок.

Ниже разберём, что для этого нужно и как повторить.

Что понадобится

• Сервер или компьютер, который может работать ночью (подойдёт даже дешёвый VPS)
• Telegram-аккаунт и библиотека Telethon для доступа к сообщениям через API Telegram
• Ключ API DeepSeek (регистрация на сайте DeepSeek, оплата в долларах, по тарифам на момент теста обработка обходится дешевле десяти долларов за десятки тысяч сообщений)
• PostgreSQL или SQLite для таблицы состояния сообщений
• Obsidian (бесплатный) для просмотра итоговых заметок
• Около 2 часов на настройку конвейера и написание промпта

Пошаговая инструкция

1. Подключите Telethon к вашему Telegram-аккаунту. Укажите, какие чаты и папки забирать. Можно подключить папку целиком, можно отдельные чаты. Каждое сообщение получает запись в таблице состояния: «ожидает», «в процессе», «обработано», «ошибка». При следующем прогоне планировщик берёт только новые сообщения, так вы не платите дважды за одно и то же.

2. Сгруппируйте сообщения по ключу «источник:чат». Отсортируйте по дате и нарежьте на куски по 100 сообщений. Внутри куска должен быть только один чат, чтобы модель видела связный диалог. Из куска соберите транскрипт в формате:

[дата] Отправитель: текст

Обрезайте транскрипт по 30 тысячам символов, иначе контекстное окно переполнится.

1. Отправьте каждый кусок в DeepSeek одним вызовом API. В промпте попросите модель вернуть строгий JSON с полями:

{
  "daily_note": { "title": "...", "summary": "..." },
  "topics": [{ "name": "...", "summary": "...", "facts": ["..."] }],
  "people": [{ "name": "...", "summary": "...", "action_items": ["..."] }],
  "projects": [{ "name": "...", "summary": "...", "action_items": ["..."] }],
  "links": [{ "from": "...", "to": "...", "type": "related_to" }]
}

1. Подложите в промпт список уже известных сущностей. Это критический шаг. Без него один и тот же проект каждый прогон получает новое имя, и база превращается в свалку дублей. Модель должна переиспользовать каноническое имя, а не придумывать новое.

2. Запустите слияние (merge). Сущности ищите по ключу «пользователь, тип, каноническое имя». Повторные упоминания не создают дублей, а обновляют описание. Факты и задачи привязываются к сущностям, связи уходят в отдельную таблицу, а каждая запись ссылается на ID исходных сообщений.

3. Выгрузите результат в Markdown-файлы. Четыре типа заметок: Daily (дневные), Knowledge (темы), People (люди), Projects (проекты). Ссылки между заметками оформляйте как [[wiki-links]], тогда всё откроется в Obsidian. Перед записью блока считайте его sha256: если такой блок уже выгружался, пропускайте. Это делает экспорт идемпотентным, повторный запуск не портит файлы.

4. Настройте cron или планировщик на запуск конвейера ночью. По данным автора, одно задание (все новые сообщения одного пользователя за прогон) идёт в среднем 205 секунд, самое долгое заняло почти 12 минут.

# Поездка в Анталью
## Update
Собирались в Анталью в сентябре, бюджет около 350 000 ₽ на двоих.
[[Аня]] предложила даты, [[Саша]] уточнил расклад по отелю и перелёту.

- Отель: около 180 000 ₽
- Перелёт: около 70 000 ₽
- [ ] Уточнить даты у Ани

Что делать с этим прямо сейчас?

Авторам Дзена: если вы ведёте тематические чаты с читателями или координируете редакцию через Telegram, этот конвейер автоматически соберёт все обсуждённые темы, договорённости и задачи в структурированную базу. Через месяц вы не будете искать «что мы решили по рубрике» вручную.

Маркетологам и контент-менеджерам: десятки рабочих чатов с подрядчиками, клиентами и командой превращаются в поисковую базу с фактами и суммами. Себестоимость обработки, меньше тысячи рублей за десятки тысяч сообщений.

Предпринимателям в РФ: DeepSeek доступен из России без VPN (API), что выгодно отличает его от GPT-4 и Claude. Однако для Telegram API вам потребуется прокси или VPN на стороне сервера. Из российских аналогов для подобных задач можно попробовать YandexGPT, но автор конвейера использовал именно DeepSeek и описывал затраты по его тарифам.

Конвейер, который каждую ночь за тысячу рублей собирает из хаотичной переписки базу знаний с людьми, проектами и задачами, это не теория, а работающая система с конкретными цифрами. Если у вас есть Python и сервер, вы можете развернуть его за вечер и к утру получить первые карточки.