36 000 файлов за день: создание ИИ-агентов для разбора архива на 222 ГБ

Автор материала на Habr описал кейс, который знаком каждому: файлы копятся годами, лежат в трёх-четырёх сервисах, имена вроде «IMG_4348.JPG», EXIF-данные (метаданные снимка с датой и камерой) частично потеряны. Разобрать руками означает «когда-нибудь», то есть никогда. Триггером стало банальное уведомление «в почте кончается место». Вместо покупки квоты автор запустил агента и за один подход разобрал почту, вытащил фото из писем и причесал архив в OneDrive.

Что понадобится?

• ИИ-агент-оркестратор. В кейсе использовался Claude Code с моделью Opus 4.8 (закрытая модель Anthropic). Подойдёт любой агентный инструмент, умеющий писать и запускать скрипты: Cursor, Windsurf, аналогичные среды
• Локальные модели для тяжёлой работы. CLIP (open_clip, ViT-B-32) для грубых тегов содержимого. Запускаются на вашем железе, токены не тратятся
• Доступ к API сервисов. Gmail API для анализа и чистки почты, OneDrive для загрузки архива, Apple Photos для финального импорта
• Инструмент дедупликации. czkawka (бесплатный, опенсорсный) для поиска визуальных дублей через перцептивный хэш (сравнение не байт в байт, а по тому, насколько картинки похожи глазу)
• Время. Настройка и первый прогон заняли один рабочий день. Ручной просмотр 36 000 файлов занял бы недели

Пошаговая инструкция

1. Начните с почты, а не с архива. Дайте агенту доступ к Gmail API и попросите проанализировать ящик. Агент вернёт раскладку: сколько писем по отправителям, размерам, годам. Это занимает минуты и сразу показывает масштаб проблемы

Проанализируй мой ящик Gmail через API.
Покажи топ-20 отправителей по объёму,
разбивку по годам и типам вложений.
Отдельно выдели письма тяжелее 5 МБ.

1. Вычистите спам, но только в корзину. Агент определит явный мусор (рекламу, уведомления). В описанном кейсе это было около 9 500 писем. Критически важно: удаляйте только в корзину, не насовсем. Автор кейса чуть не потерял рабочую переписку интернет-магазина, которая формально выглядела как спам. Восстановили одной командой, отправителя занесли в исключения

2. Вытащите фото из тяжёлых писем и сгруппируйте по событиям. Здесь агент делает больше, чем простое извлечение вложений. Он анализирует темы и содержание писем, выборочно смотрит сами фотографии и предлагает структуру. Файлы из четырёх разных писем с пометками «часть 1», «часть 2» он объединяет в одно событие. Результат: не «папка на письмо», а «папка на реальное событие»

3. Уберите дубли до любой сортировки. Первое правило большого архива: сначала дедупликация, потом всё остальное. Точные дубли по хэшу не ловят пересохранения и ресайзы. Перцептивный хэш через czkawka сравнивает сами изображения. Агент дополнительно собрал браузерную страничку для ревью: группы похожих кадров с миниатюрами в ряд, лучший по разрешению предвыбран. Остальные уходят в карантин, не удаляются

4. Протегируйте содержимое локальной моделью. Свалки без имён и дат нельзя разложить по событиям, пока не понимаешь, что на снимках. Модель CLIP (ViT-B-32) запускается локально и присваивает каждому файлу грубые теги содержимого. Фронтирная модель при этом не тратит токены на перебор 36 000 файлов, она только оркестрирует процесс и проверяет качество

5. Перенесите результат в целевое хранилище. В описанном кейсе всё переезжало в Apple Photos. С массовым импортом скриптом возникли проблемы (Apple Photos плохо дружит с автоматическим импортом), но агент помог их решить. После переноса автор смог отказаться от подписки OneDrive

Главный архитектурный принцип: разделение труда

Агент сам предложил не гнать 36 000 файлов через фронтирную модель. Дословно: «Это и в контекст не влезет, и по токенам разорит». Вместо этого сложилась трёхуровневая схема:

• Локальные модели перемалывают десятки тысяч файлов почти бесплатно
• Фронтирный агент пишет одноразовый скрипт под каждый шаг, склеивает инструменты, сам проверяет результат
• Человек принимает финальные решения и ловит то, что машина знать не может

Именно это делает создание ИИ-агентов для обработки файлов экономически разумным: дорогая модель тратится на логику, дешёвая берёт объём.

Что делать с этим прямо сейчас?

Авторам Дзена. Если у вас накопились тысячи скриншотов, референсов и черновых изображений для статей, попробуйте тот же подход: агент плюс локальная модель для тегирования. Результат применим сразу: найти нужное фото к публикации за секунды вместо минут.

Маркетологам. Архивы рекламных креативов, баннеров, фото для соцсетей копятся точно так же. Создание ИИ-агентов для файловой рутины освобождает часы, которые уходят на поиск «того самого макета из прошлого года».

Предпринимателям в РФ и СНГ. Claude Code пока требует VPN для доступа. Из доступных в России агентных сред можно попробовать Cursor или аналогичные IDE с ИИ-помощником. Для локальных моделей ограничений нет: CLIP и czkawka работают на любом железе без привязки к региону.

По материалам Habr ML