Для чего нужен запрет сканирования

Некоторые веб-файлы, например элементы каталогов cgi-bin, не имеют важного значения для поисковых систем. Когда ваши целевые пользователи осуществляют поиск какой-либо информации, их не интересует, какие программы создают на вашем сайте формы для заполнения или раскрывающиеся меню. Их также не интересуют страницы с надписью «Under construction» («В разработке»). Ваших целевых пользователей интересуют лишь товары или услуги, предлагаемые на веб-сайте.

Применяя протокол запрета сканирования, вы избежите появления ненужной информации в результатах поиска - например, что ваши страницы сейчас «на ремонте». Проверьте, чтобы протокол запрета сканирования был помещен на ваш сервер в первую очередь - до того, как там разместятся разделы-исключения. Почему? Иногда поисковые роботы приходят на ваш сайт еще до того, как у вас появится возможность поместить протокол запрета на свой сервер. Роботу достаточно нескольких секунд для сбора информации о ваших страницах.

Другая ситуация, когда может понадобиться запрет сканирования, -наличие динамически генерируемых страниц, способных стать ловушкой для робота, страниц-версий для печати и страниц, содержащих одинаковые данные, но организованных по-разному.

Оцените статью: (0 голосов)
0 5 0

Статьи из раздела Продвижение сайтов на эту тему:
Атрибут title гиперссылки
Внутренняя поисковая система веб-сайта
Естественные темы
Замена проблемных символов в URL
Звуковые эффекты