Есть разные боты в интернете. Например боты Яндекса и Гугла - они индексируют наши сайты.
А есть куча прочих ботов, которые пользы нам не приносят, но вред очевидный - они делают кучу запросов и нагружают сервер и хостер вводит ограничения (ваш сайт исчерпал выделенные лимиты) - и если такое происходит часто, хостер может вообще вас заблокировать.
Недавно такое со мной сотворил Amazonbot - это я вычислил его по логам. Он буквально за полчаса напакостил так, что у меня сутки сайт был недоступен...
А вот на днях этим занялся и GPTBot - бот ИИ от Илона Маска и его приятелей (ChatGPT) - интеллект он таким методом "развивает", по сути крадет информацию и потом её интерпретирует имитируя интеллект.
Как вы боретесь с этой заразой? Помогают ли записи в robots.txt или в .htaccess ?
robot.txt не указ поисковикам, а нижайшая просьба. Поисковики работают по своей программе, а владельцы сайтов управлять ими не могут. Другое дело htaccess - это инициализационный файл своего сервера и он обязан исполнять инструкции этого файла.
Перейти на форум:
Google
Авторизация
Вы не зарегистрированы? Нажмите здесь для регистрации.
