Метатег robots

Метатег robots имеет три компонента: cache, index и follow. Компонент cache дает указание поисковому движку о том, может ли он хранить в публичном индексе движка страницу, доступ к которой осуществляется через ссылку cached snapshot в результатах поиска.
Второй компонент index говорит движку о том, разрешается ли просматривать эту страницу и сохранять ее в каком-либо виде. Помеченная как Noindex страница будет полностью исключена поисковыми движками. По умолчанию это значение равно index, что говорит поисковым движкам: "Да, просматривайте, пожалуйста, эту страницу и включите ее в ваш индекс". Таким образом, размещать эту директиву на каждой странице не нужно.

Робот по странице все равно будет ползать, и страница может по-прежнему аккумулировать и передавать "сок ссылок" другим страницам, но она не появится в индексах поисковых движков.

Последняя инструкция, которая имеется в метатеге robots, — это follow. Эта команда (подобно index) имеет по умолчанию значение yes ("ползать по ссылкам на данной странице и передавать "сок ссылок" между ними"). Применение NoFollow говорит поисковому движку о том, что ссылки на данной странице не должны передавать стоимость ссылок или подвергаться просмотру.


В общем и целом неразумно использовать эту директиву как способ предотвращения перемещения по ссылкам. Поскольку люди все равно смогут попадать на эти страницы и смогут сделать ссылки на них с других сайтов, то NoFollow (в метатеге robots) мало что дает в смысле ограничения просмотра или доступа пауков. Единственное его назначение — предотвращение распыления "сока ссылок", что имеет весьма ограниченное применение, поскольку в 2005 г. был введен атрибут rel="nofoliow" (который мы уже обсуждали), позволяющий размещать эту директиву в отдельных ссылках.

Когда вы применяете метатег NoFollow на странице, то поисковый движок все равно просмотрит страницу и поместит ее в свой индекс. Однако все ссылки (и внутренние, и внешние) этой страницы не смогут передавать "сок ссылок" другим страницам.

Хорошим применением для Noindex является размещение этого тега на HTML-странице с картой сайта. Эта страница создана для навигационной помощи пользователям и паукам поисковых движков, чтобы они могли эффективно обнаруживать контент вашего сайта. И, несмотря на то, что на некоторых сайтах эти страницы вряд ли могут получить хоть какой-то заметный рейтинг в поисковых движках, вы все равно хотите, чтобы они передавали "сок ссылок" тем страницам, на которые они ссылаются. Размещение на этих страницах Noindex не позволяет включать эти HTML-карты в индексы (и проблема таким образом решается). Убедитесь в том, что вы не применяете метатег NoFollow на этих страницах или атрибут NoFollow в ссылках на эти страницы, поскольку это не позволит страницам передавать "сок ссылок".

Оцените статью: (0 голосов)
0 5 0

Статьи из раздела Продвижение сайтов на эту тему:
Java, изображения, аудио и видео
JavaScript и AJAX
Mod_rewrite и ISAPI_Rewrite для перезаписи и перенаправления URL
URL
XML Sitemap