Блокирование и клоакинг по агенту пользователя

На уровне сервера можно определить агента пользователя и ограничить ему доступ к страницам или web-сайтам (на основе его идентификации). Например, если web-сайт обнаружил нестандартного робота, то вы можете дополнительно проверить его подлинность перед тем, как разрешить доступ. Все поисковые движки используют одинаковый протокол для проверки их агентов пользователя через Интернет: обратный запрос DNS, за которым следует соответствующий прямой запрос DNS. Пример для Google выглядит следующим образом:

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-l.googlebot.com.

> host crawl-66-249-66-l.googlebot.com crawl-66-249-66-l.googlebot.com has address 66.249.66.1

Обратного запроса DNS может быть недостаточно, поскольку паук мог установить обратный DNS на xyz.googlebot.com или любой другой адрес.

Оцените статью: (0 голосов)
0 5 0

Статьи из раздела Продвижение сайтов на эту тему:
Java, изображения, аудио и видео
JavaScript и AJAX
Mod_rewrite и ISAPI_Rewrite для перезаписи и перенаправления URL
URL
XML Sitemap