Мне несколько раз написали, что на одном моем (который я веду) сайте много "мертвых" ссылок на внешние ресурсы - вручную их искать невозможно. Там много страниц, форум, комментарии и так далее.
Есть такая программа Xenu - маленькая и удаленькая. Она сканирует весь сайт на предмет ссылок, отмечает все нормальные и все неработающие... битые... и где сайт по ссылке вовремя не ответил... В общем, полезный инструмент.
И я прогнал этот сайт через Xenu - там несколько тысяч страниц, как говорил - это статьи, каталоги, форум, фотогалерея, скачивание файлов, новости... проверка прошла быстро. На удивление!
Но, я быстро понял, что-то идет не так! Примерно треть страниц высветилась красным - error 507... Серверу не хватает ресурсов. Но каких ресурсов?
Прогнал этой программой еще один сайт - результат тот же. Показал битые ссылки и много страниц с ошибкой 507... Что за напасть?
Зашел в панель управления сайтом на хостинге - это Гудхост. Смотрю использование ресурсов - "Ваш сайт достиг лимитов ресурсов в течение последних 24 часов"... CPU Usage - 100%... и по времени как раз, когда я Xenu запустил проверять этот сайт...
Это называется "Парсинг информации с сайта" - программа Xenu сканирует сайт и создает повышенную нагрузку на сервер. Радовался скорости работы? Ну вот локти кусай! Пусть она бы час-два сканировала, но без такой пиковой нагрузки!
Теперь надо немного разобраться с этой программой - наверное настройки есть соответствующие...
Но зато заодно я почистил сайт от хлама... там файл error.log один только весил 1,7 Гб...
Но походу что-то не то щелкнуло... бац - сайт пропал! Вместо него вот такая синяя заставка нарисовалась, с приглашением воспользоваться конструктором сайтов.. В общем, геморрой. В итоге, вместе с техподдержкой Гудхоста все исправил - был поврежден/заменен этим конструктором файл index.php - его закачал с копии сайта на компе и все заработало...
