ChatGPT Search нашёл сотни миллионов новых страниц: пилот с Cloudflare открыл путь малым сайтам
ChatGPT Search получил доступ к сотням миллионов новых страниц благодаря пилоту с Cloudflare, и это меняет шансы небольших сайтов попасть в ответы нейросети.
Раньше поисковый бот OpenAI находил страницы преимущественно по ссылкам с других сайтов. Теперь сигналы Cloudflare подсказывают ему полезные страницы, на которые почти никто не ссылается, от инструкции к стиральной машине до меню ресторана. Для авторов и владельцев небольших сайтов это первый механизм, позволяющий попасть в индекс ChatGPT Search без наращивания ссылочной массы.
15 октября 2025 года Cloudflare и OpenAI опубликовали совместный пост в блоге Cloudflare с промежуточными результатами исследовательского пилота, стартовавшего 8 июля. В пилоте участвовал примерно 1% сети Cloudflare, и даже на этой выборке OpenAI обнаружила и проиндексировала сотни миллионов ранее неизвестных веб-страниц. Публикацию написали совместно сотрудники обеих компаний.
| Показатель | Значение | Источник |
|---|---|---|
| Доля сети Cloudflare в пилоте | Около 1% | Блог Cloudflare, 15 октября 2025 |
| Новых страниц обнаружено | Сотни миллионов | Блог Cloudflare, 15 октября 2025 |
| Пилот запущен | 8 июля 2025 | Анонс Cloudflare, 8 июля 2025 |
| Широкий доступ к технологии | До конца 2026 года | Блог Cloudflare, 1 июля 2025 |
| Данные о переходах на сайты | Не раскрыты | Блог Cloudflare, 15 октября 2025 |
Что именно измеряли?
Суть пилота проста: Cloudflare передаёт OpenAI не содержимое страниц, а метаданные (данные о данных), сигналы о том, какие страницы существуют, как давно обновлялись, какой трафик идёт на сайт и что именно менялось на странице. Это похоже на библиотечную картотеку: карточка сообщает, что книга есть и когда её последний раз переиздали, но не показывает сам текст.
OpenAI использует эти сигналы, чтобы решить, какие страницы стоит обойти поисковым ботом OAI-SearchBot. Компании подчёркивают: сигнал о странице не даёт разрешения на доступ к ней. Настройки robots.txt (файл, в котором владелец сайта указывает, каких ботов пускать) по-прежнему решают, попадёт ли страница в индекс.
Что обнаружили?
- Сотни миллионов новых страниц найдены при участии всего 1% сети Cloudflare. Масштаб при полном развёртывании может вырасти на порядки.
- Страницы без входящих ссылок стали видимыми. В блоге приведены примеры: инструкция к конкретной стиральной машине, актуальные требования к паспорту и сборы, меню и часы работы ресторана. Всё это контент, который «может быть ценным, даже если на него почти не ссылаются другие сайты».
- Сигналы помогают снизить бесполезную нагрузку. Боты часто стучатся за несуществующими файлами, попадают на редиректы на главную или обходят дубли. Сигналы об изменениях подсказывают, стоит ли заходить повторно.
- Тестируется обнаружение вредоносных страниц. Пример: фишинговая форма логина, встроенная злоумышленником на одну страницу легитимного сайта. Цель: пометить именно эту страницу, а не весь домен. Ранние результаты, по словам авторов, обнадёживают.
- Рост обходов возможен. Блог прямо предупреждает: «Обнаружение новых страниц может поначалу увеличить объём краулинга, пока эти страницы оцениваются и индексируются».
Важная деталь, которую легко пропустить: публикация не сообщает, как часто новые страницы цитировались в ответах ChatGPT и сколько переходов они принесли сайтам. То есть «проиндексировано» не равно «показано пользователю».
Пилот охватил лишь 1% сети Cloudflare, и авторы не раскрыли, кто именно участвовал и были ли новые страницы на сайтах участников. Данных о реальных цитированиях и переходах из ChatGPT нет. OpenAI самостоятельно оценивает и ранжирует страницы, поэтому попадание в индекс не гарантирует появления в ответах. Кроме того, по данным Search Engine Journal от 15 октября, часть ссылок из ChatGPT не содержала UTM-меток и реферера, что мешало отслеживать визиты. Аналитик сообщил, что исправление начали раскатывать в тот же день.
Как работает разделение ботов OpenAI?
У OpenAI два отдельных бота с раздельными директивами в robots.txt:
- OAI-SearchBot обходит страницы для поиска в ChatGPT. Заблокируете его, и сайт не появится в поисковой выдаче ChatGPT, хотя может остаться в виде навигационной ссылки.
- GPTBot собирает контент, который может использоваться для обучения модели. Если вы разрешили оба бота, OpenAI может использовать данные одного обхода для обеих задач.
OpenAI сама приводит конфигурацию: разрешить OAI-SearchBot и заблокировать GPTBot. Так сайт остаётся в поиске ChatGPT, но контент не идёт на дообучение (обучение модели на ваших данных под её задачи).
Блог также напоминает про AI Crawl Control от Cloudflare, инструмент, доступный на любом тарифе. Он показывает, какие ИИ-сервисы обращаются к вашему сайту, и позволяет разрешить или заблокировать каждого бота отдельно.
Что это значит для вас?
Автору Дзена и владельцу сайта. Если ваш контент размещён за Cloudflare, проверьте настройки AI Crawl Control и robots.txt. Разрешите OAI-SearchBot, заблокируйте GPTBot, и ваши страницы смогут попадать в поисковые ответы ChatGPT без риска утечки текстов в обучающие данные. Полезные, но малоизвестные страницы (инструкции, FAQ, прайсы) впервые получают шанс быть найденными без ссылочного продвижения.
Маркетологу. Следите за серверными логами: активность OAI-SearchBot покажет, какие страницы бот обходит. Пока UTM-метки из ChatGPT работают нестабильно, логи остаются надёжным источником. Из доступных в РФ аналогов: Яндекс Вебмастер показывает обходы ботов Яндекса, но для ИИ-ботов отдельного инструмента пока нет.
Предпринимателю в РФ и СНГ. ChatGPT Search доступен российским пользователям через VPN, но основная аудитория, англоязычная. Если вы работаете на экспортный рынок или ведёте англоязычную версию сайта, настройка ботов OpenAI уже актуальна. Для рунета YandexGPT и GigaChat пока не предлагают аналогичного механизма обнаружения страниц через CDN-сигналы.
Пилот с 1% сети и сотнями миллионов новых страниц выглядит убедительно по масштабу, но пуст по главному вопросу: сколько из этих страниц реально цитируются в ответах и приносят переходы. Пока OpenAI не покажет эти цифры, речь идёт об обещании, а не о результате для владельцев сайтов. Я бы не торопился перестраивать стратегию под ChatGPT Search, но настроить robots.txt и AI Crawl Control стоит уже сейчас: это занимает пять минут, а отменить решение можно в любой момент. Cloudflare обещает широкий доступ к технологии сигналов до конца 2026 года, но конкретной даты нет. Будем следить.
Пока цифр о переходах нет, самое разумное действие: зайти в AI Crawl Control, проверить, кто уже обходит ваш сайт, и выставить нужные разрешения.
По данным Search Engine Journal
Основатель dzen.guru. Эксперт по монетизации и продвижению на Дзен. Автор курса «Старт на Дзен 2026».
Читайте также
Google Ads забрал у рекламодателя все рычаги: как не слить бюджет на фейковые лиды
Google Ads автоматизирует всё больше решений за рекламодателя, и если не выстроить собственную систему измерения результатов, алгоритм будет оптимизировать…
DeepSeek открыла поисковый API за $0,75: тест выявил дыры в фильтрации спама
DeepSeek 17 октября 2026 года открыла публичный доступ к поисковому API, который показывает оценку авторитетности каждого результата и, по заявлению компании,…
Что такое ИИ-агент от Meta и OpenAI: боты ходят по сайтам, а robots.txt их не видит
Персональные ИИ-агенты уже ходят по сайтам вместо покупателей, и ваш robots.txt их не видит: первый детальный разбор того, как Muse от Meta и Dots от OpenAI…
Комментарии