Поиск и устранение дублей: 301 редирект и атрибут rel=“canonical”

Поиск и устранение дублей: ошибки движка сайта Поиск и устранение дублей: robots.txt

301 редирект

301 переадресацию (жарг. «301 редирект») используют при смене URL страницы. Почему этот способ считается лучшим, мы выясним чуть позже, а пока давайте разберемся, как 301 редирект помогает бороться с дублями.

Код статуса 301 означает, что запрашиваемая страница окончательно перемещена в новое местоположение. Поэтому если настроить 301 редирект с дубля на основной документ, дубль пропадет из индекса.

Настройте постраничный 301 редирект:

  • C домена без «www» на домен с «www» (или наоборот в зависимости от того, что лучше проиндексировано поисковиками, накопленной ссылочной массы и собственных предпочтений).
  • Со страниц без слэша («/») на конце на страницы со слэшем (или наоборот в зависимости от сервера и собственных предпочтений). Отмечу, что в своих проектах я предпочитаю адреса без косой черты на конце (так как косая черта ассоциируется с каталогом, а не конечной страницей на сайте).
    То же самое актуально для станиц вида «.htm» и «.html» соответственно.
  • С версии «http» на версию «https» (или наоборот). Сейчас это особенно актуально, так как поисковые системы по умолчанию проверяют доступность для индексации версии сайта с «https», что может привести к дублированию.
  • С дублей главной страницы сайта (вида «index.php», «index.html», «default.html» и тп) на главную. Если такой редирект невозможен из-за особенностей системы, запретите дубли в файле robots.txt.
    Проверьте, актуальна ли данная проблема для других разделов сайта.
  • После настройки ЧПУ (о чем мы поговорим позже), страницы сайта могут быть доступны и по старым, техническим адресам. Если это так, настройте 301 редирект на страницы с ЧПУ.

Атрибут rel="canonical"

Часто на сайте присутствуют группы страниц с частичным дублированием контента. Например, это могут быть карточки товаров, отличающиеся только отдельными параметрами (например, один и тот же стол с разной длиной столешницы) или страницы блога с одной и той же статьей, но разными URL-адресами.

В этом случае рекомендуется оптимизировать индексацию страниц сайта с использованием атрибута rel=canonical, с помощью которого можно указать предпочитаемый (канонический) адрес, который будет участвовать в поиске. Рекомендация актуальна и для больших, и для маленьких сайтов, но для маленьких часто так и остается только рекомендацией из-за трудностей реализации.

Правильно настроенный атрибут rel="canonical" для тега <link> помогает:
— Существенно упросить настройку индексации сайта.
— Устранить дубликаты страниц для корректного учёта всех поведенческих и ссылочных метрик документов. Другими словам, поисковики «склеют» страницы с частично дублированным контентом вместе со всеми метриками. Особенно это актуально при проведении рекламных кампаний, например, с использование UTM-меткок.

В общем, нужно проанализировать сайт и определить страницы с частично дублированным контентом (страницы с параметрами в URL, дубли одной страницы в разных категориях, похожие товары и проч). Далее из группы похожих страниц выбираем каноническую и добавляем в код неканоничных страниц атрибут rel="canonical". Желательно, чтобы атрибут ставил автоматически — это существенно облегчит администрирование сайта.

Остается добавить, что из-за несовершенства алгоритмов rel="canonical" всегда обрабатывается корректно (особенно грешит этим Яндекс). Это приводит к отсутствию «склейки» поведенческих и ссылочных факторов ранжирования. Поэтому надежнее использовать 301 редиректа везде, где это только возможно.

301 редирект или rel="canonical"?

Остановимся на этой теме подробнее и определим, что и когда лучше использовать.

301 редирект лучше:
— Просто по умолчанию. Это более предпочтительный метод из-за того, что rel="canonical" не всегда обрабатывается корректно.
— Если у страницы навсегда изменился адрес.
— Если сайт переехал на новый домен (продажа сайта, ребрендинг и проч)
— Если вы удалили какую-то страницу, но вместо 404 ошибки хотите показать другую, схожую с удаленной информацию (например, другой товар взамен удаленного).
rel="canonical" лучше:
— Когда 301 редиректы не может быть реализован или его внедрение потребует слишком больших затрат.
— Когда вы хотите показывать частично дублированный контент пользователям (например, несколько страниц стола с разной длиной столешницы имеет смысл показывать в расчете на более высокую конверсию. Особенно — если на эти страницы ведут специальные объявления и систем контекстной рекламы).
— Когда нужно показывать страницы с почти одинаковым содержимым (например, сортировки каталога, отслеживания партнерских ссылок, ...).
— Для кросс-доменов, когда оба сайта похожи, но похожий контент нужно оставить на каждом из доменов. Эта ситуация может быть опасна из-за аффилирования (об этом поговорим позже).

Ошибки при использовании редиректов

Закрывая тему редиректов, хочется рассказать об ошибках, которых стоит избегать.

  • Делайте правильный выбор между 301 редиректом и rel="canonical".
  • Избегайте любых многошаговых редиректов. Одношаговый редирект быстрее работает и сохраняет максимум ссылочного веса. Кроме того, если на сайте будут замечены многошаговые редиректы, поисковик может решить, что ваша страница — дорвей. А это повлечет серьезнейшие санкции для сайта.

Дорвей (от англ. doorway — входная дверь, портал) или входная страница — один из видов поискового спама. Это веб-страница, специально оптимизированная под один или несколько поисковых запросов с целью её попадания на высокие места в результатах поиска по этим запросам и дальнейшего перенаправления посетителей на другой сайт или страницу.

Дорвей не представляет никакой ценности, и пользователь даже не успевает его рассмотреть — его сразу перенаправляют на другой сайт. Контент дорвея, как правило, лишён смысла и генерируется автоматически по специальным алгоритмам (писать руками слишком затратно). Часто это просто набор фраз, в который внедрены ключевые слова.

Дорвеи — это по сути веб-мусор, поэтому все поисковые машины беспощадно с ними борются.

  • Применяйте правильные виды редиректов, чтобы не запутать поискового робота.
  • При внедрении редиректа позаботьтесь о том, чтобы на сайте не осталось ссылок со старым URL-адресом (с которого и выполняется перенаправление).
  • Редирект желательно ставить на максимально релевантную страницу. Например, на похожую карточку товара или ветку каталога, к которому принадлежала страница. Если это невозможно, лучше отдавать 404 ошибку.
  • Редирект должен вести на действующую страницу (с кодом ответа 200 ОК). Иначе возвращайте 404 ошибку.

Больше информации:

30 июля, 2016

Теги: поиск и устранение дублей, техническая оптимизация, поисковое продвижение, методы продвижения