Оптимизация мета-тегов: как работать с мета-тегом <robots>?

Данный мета-тег позволяет контролировать сканирование и индексирование сайта поисковыми системами. По умолчанию задаются значения «index, follow» (то же самое, что «all») — дополнительно их прописывать не нужно.

Разные поисковики распознают разные значения тега, но универсальными являются два:

• noindex: запрещает индексирование страницы,
• nofollow: запрещает роботу переходить по ссылкам с этой страницы.

Эти значения можно комбинировать, разделяя их запятыми. Например, комбинация <meta name="robots" content="noindex, follow«/> заставит робот поисковиков перейти по всем ссылкам на странице, но не индексировать ее содержимое.

Нужно отметить, что использование данного мета-тега, как правило свидетельствует о проблемах со структурой сайта. С такими проблемами еще можно мириться на огромном портале, где регулярно возникают трудноустранимые с программной точки зрения «тупики» (страницы, представляющие мало интереса для пользователей и возникающие вследствие несовершенства структуры сайта). Но для небольшого проекта это недопустимо.

Данное правило является частным случаем другого, более универсального принципа, который звучит так: «Пользователи и поисковики должны видеть одинаковый контент». Если на сайте возникают страницы, содержимое которых нецелесообразно индексировать поисковому роботу, задумайтесь: а стоит ли их «индексировать» пользователям сайта и какое впечатление такие страницы на них произведут? Не проще ли просто убрать их с сайта?

Остается добавить, что использование данного тега для управления индексированием менее предпочтительно по сравнению с правильным формированием файла robots.txt (о нем мы поговорим позже). Поэтому я советую использовать прежде всего его.

Больше информации:

• продвижение сайтов
• создание продающих сайтов
• оставить комментарий к этой статье в ЖЖ.