Если Google robots.txt не писан...

Когда страницы вашего сайта долго не индексируются поисковыми машинами - это плохо... Но когда одновременно Гугл присылает сообщения об ошибках, дескать - Новые причины, из-за которых не индексируются страницы с вашего сайта... и какие это причины? А вот - Проиндексировано, несмотря на блокировку в файле robots.txt

Вас ничто не смущает? Меня смущает сразу всё. Запретил индексацию определенных страниц в robots.txt - например - print... это дубли статей, для печати... Гугл негодует - новые причины, дескать... индексировать не дают! И тут же - оно оказывается все равно проиндексировано, несмотря на запрет... так в чем проблема тогда?!

Разберемся

Это довольно распространенная ситуация, когда страницы вашего сайта попадают в индекс поисковых систем, даже если вы явно запретили их индексацию в файле robots.txt. Давайте разберемся, почему это происходит и как это исправить.

Причины

Файл robots.txt - это рекомендация, а не приказ. Поисковые роботы обычно уважают директивы в robots.txt, но технически они не обязаны это делать. В некоторых случаях, например, если на заблокированную страницу есть ссылки с других сайтов, поисковик может решить проиндексировать ее, несмотря на запрет.

Возможно, в вашем файле robots.txt есть ошибки или неточности, из-за которых поисковые роботы неправильно интерпретируют ваши директивы.

Иногда поисковые системы сохраняют старые версии страниц в своем кэше, даже если эти страницы были впоследствии заблокированы в robots.txt.

Есть и другие, менее распространенные причины, по которым страницы могут быть проиндексированы, несмотря на блокировку в robots.txt. Например, это может произойти из-за наличия карты сайта (sitemap.xml), содержащей ссылки на заблокированные страницы, или из-за использования нестандартных директив в robots.txt, которые поисковые роботы не понимают.

Как это исправить?

Убедитесь, что в вашем файле robots.txt нет опечаток, синтаксических ошибок или неточностей. Вы можете использовать специальные инструменты для проверки robots.txt, например, тот, что предоставляется в Google Search Console.

Используйте мета-тег robots или HTTP-заголовок X-Robots-Tag. Если вы хотите гарантировать, что страница не будет проиндексирована, добавьте на нее мета-тег <meta name="robots" content="noindex"> или настройте сервер так, чтобы он отправлял HTTP-заголовок X-Robots-Tag: noindex для этой страницы. Это более надежный способ запретить индексацию, чем использование robots.txt.

Удалите страницу из индекса вручную. Если страница уже проиндексирована, вы можете запросить ее удаление из индекса поисковой системы с помощью специальных инструментов, таких как Google Search Console или Яндекс.Вебмастер.

Если на заблокированные страницы есть ссылки с других сайтов, попробуйте связаться с владельцами этих сайтов и попросить их удалить эти ссылки. Если вы хотите полностью закрыть доступ к определенным страницам, защитите их паролем.

Надо понимать...

Поисковые системы могут потребовать некоторое время, чтобы удалить страницу из индекса, даже если вы явно запретили ее индексацию. Будьте терпеливы и регулярно проверяйте статус индексации ваших страниц.

Если вы внесли изменения в robots.txt, дайте поисковым системам время, чтобы они переобновили свои данные. Обычно это занимает несколько дней или недель.

Ну и разумеется, всегда имейте в виду - это не мы диктуем Поисковикам свои правила, а наоборот - они нам их диктуют. И в данном случае они могут преследовать свои цели. Ну и кроме того, как в данном случае - нет конкретики и налицо явные баги в программном обеспечении Гугла или Яндекса... так сказать – кривые алгоритмы поиска.

***