Добавляю страницу на сайт, добавляю ее в sitemap, добавляю через Яндекс Вебмастер - Индексирование - Переобход страниц. Через несколько дней проверяю: копирую адрес сайта в адресной строке браузера и вставляю в поиск Яндекса - Энтер! Но... ничего нет... Захожу в Яндекс Вебмастер - Проверить статус URL - вбиваю этот адрес. И выдает: Проверено. Страница обходится роботом и находится в поиске...
Понять логику Яндекса здесь нереально. Иной раз они неизвестно что умудряются индексировать, и одновременно выбрасывая из индекса сотни статей с высокой посещаемостью и высоким цитированием по причине, как они пишут "невостребованный или малоценный контент"...
У яндекса много проблем... а главная - жадность. Они по сути до ума даже основу свою не довели - Поисковик. А уже и яндекс-такси и яндекс-еда, скоро будет яндекс-дворники и яндекс-шлюхи... и везде они пытаются деньги слупить и - везде как обычно до ума не доводят.
Сайту пять лет, достаточно много статей, добавляю новый материал один раз в 2-3 дня, иногда и реже. И вот уже 1,5 месяца новые статьи не проиндексированы Яндексом. Сайт не под санкциями, нарушений и претензий нет. Вернее - как у всех, по-мелочи: не адаптирован под мобильные устройства, есть дубли - укажите каноническую страницу, тег дескрипшин не заполнен на некоторых страницах. И все.
Посещаемость сайта не падает, растет. Но почему страницы не индексируются? Написал в поддержку Яндекса - молчат. Пришло письмо от робота и все, дескать - ваше обращение принято, ждите ответа. Как соловей лета?
SOPOT, в первую очередь надо посмотреть на хостинг, какие настройки сервера - может быть ваш хостер выставил через чур серьезные блокировки, из-за атак на сервера? И теперь поисковые машины не могут зайти?
Потом, вы случайно не трогали такие файлы в корне своего сайта, как pobots.txt или .htaccess - ошибка в них может много бед наделать...
Это Яндекс Вебмастер, там свой сайт надо добавить, потом их код на сайте разместить (это как обычно). Добавление новой страницы: левая колонка с пунктами навигации, выбираем - Индексирование. В открывшемся списке выбираем - Переобход страниц. И там уже можно добавлять URL новых страниц, в день не более 200 страниц.
Но это не гарантия индексации страниц. Очень быстро появляется - "Робот обошел", через час или два, или через день, страница может появиться в индексе, но это всего лишь предварительно. Поисковик Яндекса изучает востребованность страницы - если начинаются хорошие клики и переходы на неё, то индексирует окончательно сразу. Если кликов мало - откладывает на потом, если никто не переходит на эту страницу и поисковых запросов мало - откладывает вообще на очень долго... и может даже отнести страницу к "Маловостребованным или малоценным" и вообще её не индексировать, даже если сам сайт высоко в рейтинге.
Это конечно косяк. Этим пользуются так называемые SEO-специалисты. Они сочиняют кликбейтные заголовки, они насыщают текст не полезным смыслом или содержанием, а высококотируемыми ключевыми словами и трах-тиби-дох волшебство - они попадают в ТОП. Хотя их страница - мусор. А страницы, как уже говорилось на форуме, например о классической музыке, или об узкоспециальных, но уникальных вещах - по мнению Яндекса "малоценные"... и он их отбрасывает на обочину.
Эти СЕОшники если надо, через время начинают накручивать посетителей, пока страница в предварительном Индексе. В то время как реально талантливый автор, пишет от души и от сердца, и о таких изворотливых хитростях не слышал даже.
Интернет за последние лет 10 здорово просел в своей самоценности - он погряз в коммерции и фальши, обманах и мошеннических схемах. И огромную роль в этом сыграли эти самые Поисковики. Они ввели эту систему - кто платит, тот и танцует. Все ради грошей - ради прибыли! Нет денег - ты какашка! И чхать на Льва Толстого и на нашего, дорогого, Уильяма, понимаш, Шекспира!