Когда нейросеть отвечает с доступом к поиску, она показывает ссылки на материалы, из которых взяла сведения. Попасть в этот список может любой сайт, и требования здесь во многом совпадают с обычной технической гигиеной. Разница в деталях, которые раньше казались второстепенными.
У ассистентов с поиском свои краулеры. OpenAI, например, разделяет их по задачам: OAI-SearchBot индексирует сайты для поиска в ChatGPT, GPTBot собирает данные для обучения, ChatGPT-User открывает адрес, когда об этом просит пользователь. Каждого можно разрешить или запретить в robots.txt отдельно.
Проблема обычно не в robots.txt, а в защите от ботов. Некоторые CDN и файрволы режут неизвестных роботов по умолчанию, и владелец узнаёт об этом, только когда начинает разбирать логи.
Многие ИИ-краулеры не выполняют JavaScript. Если основной текст подгружается скриптом уже после загрузки, такой робот видит почти пустой документ. Надёжнее отдавать содержимое в HTML сразу, через серверный рендеринг или статическую генерацию. Проверка занимает минуту: открыть исходный код и поискать в нём первый абзац статьи.
Нейросеть редко пересказывает материал целиком. Она берёт фрагмент, который отвечает на вопрос, поэтому выигрывают тексты, где ответ стоит сразу под заголовком, а подробности идут ниже. Помогают и обычные элементы вёрстки: заголовки, списки, таблицы с подписями. Разметка Schema.org для статей, организаций и вопросов с ответами упрощает разбор.
Цифры с источником, дата обновления, имя автора, точные названия моделей и версий повышают шанс, что фрагмент сочтут надёжным. Расплывчатые формулировки без конкретики цитируют реже: из них нечего взять.
Для владельцев сайтов эта работа выделилась в отдельное направление. Его называют AEO или продвижение в нейросетях: разбирают, по каким вопросам сайт уже цитируют, переписывают тексты так, чтобы ответ читался с первого абзаца, и замеряют долю упоминаний.
Первый признак заметен в логах сервера: визиты OAI-SearchBot и ChatGPT-User к конкретным адресам. Второй появляется в аналитике. ChatGPT добавляет к исходящим ссылкам метку источника со своим доменом, и переходы из ответов можно выделить в отдельный канал трафика.
Ответ нейросети при этом не заменяет поиск. Ассистент цитирует то, что уже нашёл и счёл понятным, поэтому работа над цитированием начинается с того же, с чего начинается любая оптимизация: с доступной роботу страницы и ясного текста.
***