Shvonder ну распознать то их можно напремер по отправляемой им информации на сервер, на подобии как отправляет браузер (User Agent), только же они тоже могут маскироватся =) (
а вычислять их, как многократные переходы с одного айпи по вашему сайту, так вы таким образом забаните всех поисковиков
Например, этот сайт оснащен такой защитой, но она не блокирует, так у меня каждый 10-й пользователь с каким либо прибомбасом, кто с качалкой, кто вебкопие,...