---

Есть разные боты в интернете. Например боты Яндекса и Гугла - они индексируют наши сайты.

А есть куча прочих ботов, которые пользы нам не приносят, но вред очевидный - они делают кучу запросов и нагружают сервер и хостер вводит ограничения (ваш сайт исчерпал выделенные лимиты) - и если такое происходит часто, хостер может вообще вас заблокировать.

Недавно такое со мной сотворил Amazonbot - это я вычислил его по логам. Он буквально за полчаса напакостил так, что у меня сутки сайт был недоступен...

А вот на днях этим занялся и GPTBot - бот ИИ от Илона Маска и его приятелей (ChatGPT) - интеллект он таким методом "развивает", по сути крадет информацию и потом её интерпретирует имитируя интеллект.

Как вы боретесь с этой заразой? Помогают ли записи в robots.txt или в .htaccess ?

---

Ну в принципе все это уже давно известно - в файле robots.txt и в .htaccess прописываются запрещения для этих ботов и проблема в 99% решена.

---

robot.txt не указ поисковикам, а нижайшая просьба. Поисковики работают по своей программе, а владельцы сайтов управлять ими не могут. Другое дело htaccess - это инициализационный файл своего сервера и он обязан исполнять инструкции этого файла.