Decodo дала ИИ-агентам свежие данные из сети: 10 000 запросов в месяц бесплатно и без карты

Языковые модели учатся на «снимке» интернета, сделанном на определённую дату. Агенту, который следит за компанией, лентой новостей или прайс-листом, нужны данные на сегодня. Об этом пишет Search Engine Journal, рассказывая о запуске Web Data API.

Чтобы разобраться, что такое ИИ-агент в этой истории: это программа на основе нейросети, которая сама выполняет цепочку действий. Например, она находит страницу, читает её и делает вывод. Такой же зависимости от свежести подвержен RAG, то есть генерация ответа с опорой на найденные документы, как у студента, который отвечает со шпаргалкой. Если шпаргалка устарела, ответ тоже устарел.

Что нового в Web Data API?

API здесь означает способ, которым одна программа обращается к другой: разработчик отправляет запрос и получает готовые данные. Decodo собрала под одним ключом четыре таких точки входа:

• Scrape вытаскивает чистый текст одной страницы, даже если сайт защищается от роботов.
• Search выдаёт живые результаты веб-поиска. Он заменил прежний сервис компании Fast Search API.
• Map показывает структуру сайта. Один запрос возвращает до 147 000 адресов страниц.
• Crawl сам ходит по ссылкам сайта и собирает до 10 000 страниц за одно задание.

Все четыре работают через сеть прокси Decodo. Прокси это промежуточные адреса, через которые идут запросы. В сети более 125 млн IP-адресов в более чем 195 локациях. Команда получает один счёт, одну панель и одно место для учёта расхода.

Поиск не просто добавили в набор, им заменили старый продукт. Компания перестраивает линейку вокруг одного ключа, а не выпускает рядом ещё один сервис.

«У ИИ-стартапов нет времени строить собственную инфраструктуру для сбора данных. Web Data API даёт им один ключ для сбора, поиска, картирования и обхода сайтов. Это меньше времени на инфраструктуру и больше на продукт». : Вайдотас Юкнис, генеральный директор Decodo

От чего избавляет сервис

Самостоятельный сбор страниц означает смену IP-адресов, обход капчи и защиты от ботов. Потом нужно чистить результат от меню, рекламы и шаблонного текста. На это уходит время инженеров, которое могло пойти на сам продукт.

По данным источника, команды используют четыре инструмента так:

• команды RAG одним заданием обхода превращают сайт документации в чистый Markdown (простой текстовый формат с разметкой) для загрузки в модель;
• разработчики инструментов для программистов подтягивают живой поиск в среду разработки или в агента;
• юристы и исследователи сначала строят карту сайта регулятора, потом собирают нужные документы;
• аналитики конкурентов регулярно повторяют карту и обход, чтобы следить за каталогом соперника.

Как попробовать бесплатно и без карты?

1. Зарегистрируйте аккаунт Decodo. Карту при этом не требуют.
2. Получите один API-ключ, он открывает все четыре инструмента.
3. Распределите месячную квоту в 10 000 запросов: она общая на все четыре инструмента и обновляется каждый месяц.
4. Прогоните пилот на своих задачах и только потом решайте насчёт платного тарифа.

Есть ли российский аналог?

Прямого аналога источник не называет. Из доступных в РФ языковых моделей можно назвать YandexGPT и GigaChat, но это «мозг», который пишет и рассуждает. Web Data API работает как «подвоз продуктов»: он добывает свежие страницы, которые потом можно скормить модели.

Что делать с этим прямо сейчас, по ролям

Разработчику и стартапу. Прогоните бесплатную квоту на русских сайтах из вашей ниши: новостных, маркетплейсах, сайтах ведомств. Отдельно проверьте, как сервис справляется с кириллицей и российской защитой от ботов.

Автору Дзена. Сами вы API не подключите, зато поймёте, на чём держатся ассистенты с «живым» поиском. Если подрядчик предлагает бота для мониторинга темы, спросите, откуда он берёт свежие данные.

Маркетологу. Связка карты и обхода сайта даёт регулярный срез каталога конкурента. Экономика простая: один поставщик вместо нескольких и пилот без вложений.

Предпринимателю РФ и СНГ. До решения о платном тарифе проверьте два момента: проходит ли оплата и не нарушает ли сбор данных правила целевых сайтов.

Частые вопросы

Что такое ИИ-агент и зачем ему Web Data API?

ИИ-агент сам выполняет цепочку действий, но знает мир только на дату обучения модели. Web Data API даёт ему свежие страницы, поиск и структуру сайтов через один ключ.

Нужно ли уметь программировать?

Да. Сервис подключается через код, готового приложения для обычного пользователя в источнике нет.

Сколько это стоит?

До 10 000 запросов в месяц бесплатно, квота общая на все инструменты. Цены платных тарифов Decodo не раскрыла, поэтому сначала проведите пилот, а о деньгах говорите, когда увидите результат на своих сайтах.