Сегодня занимался блокировкой “плохих” ботов на своем сайте. По статистике, некоторые умудрялись генерировать обращения к различным страницам с интервалов в 10 секунд. Самым “наглым” закрыл доступ через .htaccess.
В основном, блокировал по User Agent и IP. Для проверки работоспособности защиты написал на Delphi небольшую софтинку, которая возвращает ответ сервера при обращении с выбранного User Agent.
Программа получила говорящее название – Agent Tester.
Если кому-то понадобится – качайте на здоровье.
agenttester.rar (232,8 КиБ, 1 118 hits)
А можно было поступить и без написания программы, достаточно воспользоваться curl, у нее есть опция -A, которая позволяет подставить свой user-agent в запрос
вот только не у всех пользователей есть под рукой веб-сервер