Война с дубликатами. как нужно и как не нужно канонизировать url

Содержание

Использование атрибута rel=canonical. Продвинутый уровень.

Канонические ссылки в заголовках HTTP

В поисковой системе Google также предусмотрена поддержка канонических ссылок в заголовках HTTP. Такой заголовок выглядит следующим образом:


Link: <http://www.example.com/white-paper.pdf>; rel=»canonical»

Заголовки HTTP с каноническими ссылками могут быть весьма полезны для канонизации таких файлов, как PDF, поэтому имеет смысл знать о их существовании.

Атрибут rel=canonical для не очень похожих страниц

Хотя подобное не рекомендую, знайте, что вам подвластно пользоваться атрибутом rel=canonical в очень агрессивной манере. Google чтит канонизацию почти до безумия, так что можете связывать через атрибут rel=canonical страницы с совершенно разным контентом. Однако, если поисковик Google вас застукает, он перестанет доверять каноническим ссылкам вашего сайта и тем самым вы нанесете себе больше вреда…

Сочетание атрибутов rel=canonical и hreflang

Также мы упоминаем о канонических ссылках в нашей статье «Атрибут hreflang и как его использовать»

Все потому, что при использовании этого атрибута очень важно, чтобы все канонические ссылки страниц, написанных на других языках, вели на свою оригинальную страницу. Перед тем, как внедрять в жизнь атрибут hreflang, убедитесь в том, что хорошо понимаете, как пользоваться каноническими ссылками

В противном случае ваш опыт в этом может оказаться провальным.

Что такое rel canonical и каноническая страница?

Дубли – настоящий страшный сон СЕО-специалиста! Так называют страницы, которые при разных url содержат идентичный контент. Каждая из них продвигается по чуть-чуть, но ни одна в итоге – полноценно. Если в индексе уйма дублей, рассчитывать на хорошие позиции сайта совершенно бессмысленно.

Есть несколько способов борьбы с дублями. Страницы-«близнецы», например, можно закрыть от индексации в файле robots.txt. Но тогда не удастся использовать впрок их ссылочный вес. Альтернатива – применение rel=”canonical”.

Используя канонические ссылки, можно сохранить и передать не только ссылочный вес, но и иные характеристики (вроде RageRank).

Применение Каноникала даёт синергический эффект. Вес всех дублей суммируется и присваивается одной – той, которую признали «адресатом» при проставлении тега. Эта страница называется канонической. Именно она будет индексироваться поисковой системой. Дубли останутся «за бортом» и не станут мешать продвижению.

Как делать НЕ нужно

1. НЕ канонизируйте несколько дубликатов разными способами. Предположим, у вас есть страницы А и В с одинаковым контентом. В body страницы А вы добавляете тег rel=canonical, а страницу В указываете в sitemap (напоминаю, что все страницы в sitemap бот считает каноническими). Теперь бот запутался и потратил время и ресурсы, пытаясь понять, какой же контент считать оригинальным. Не надо так.

2. НЕ используйте rel=canonical link tag/ HTTP header на страницах категорий товаров и фильтров. На коммерческих сайтах товары можно отсортировать по цвету, размеру, бренду и т.д. Если на каждой странице поставить тег canonical, то бот будет ходить по каждому параметру URL-а и тратить краулинговый бюджет там. Страницы сортировки лучше закрыть в robots.txt или в meta “noindex”, в зависимости от размера сайта и его специфики.

3. Не используйте robots.txt для канонизации. Директивы в robots.txt показывают, какие страницы/папки нужно краулить боту, а какие нет. Однако вебмастер Google не рекомендует таким образом канонизировать страницы, ведь бот не может даже зайти на страницу и понять, что это дубликат/оригинал. 

Джон Мюллер: 

4. НЕ линкуйте дубликаты URL-ов внутри вашего сайта

Если вы канонизируете страницу, вы считаете ее более важной. Согласитесь, это странно, если вы ссылаетесь на неканонические/менее важные версии страниц

5. НЕ вписывайте дубликаты в URL removal tool в Google Search Console. Этот метод временно блокирует доступ ботов не только к дублям, но и к оригинальным версиям.

6. НЕ канонизируйте HTTP, если на сайте есть версия страницы с HTTPS-протоколом. Наличие SSL-сертификата (который поддерживает HTTP) является одним из факторов ранжирования Google, поэтому переход на протокол HTTPS повышает позиции страницы в поиске.

Главные ошибки при использовании rel=”canonical”

1. Использование на странице пагинации

Очень часто при пагинации или с некоторыми сериями страниц на сайте, для всех страниц этой серии предписывается первая каноническая страница. Это неправильно, потому что подобное препятствует индексированию всех страниц серии.

2. Каноническая ссылка не индексируется

Если мы проставляем каноническую ссылку на другую страницу, следует убедиться, что эта страница индексируется:

  • страница отдает 200 код ответа сервера.
  • на странице не запрещена индексация (через мета-тег robots и noindex).

Найдите неиндексируемые страницы

Запустите аудит и узнайте какие из канонических ссылок запрещены к сканированию поисковыми ботами

3. Несколько ссылок rel=”canonical” со страницы

Для одной страницы должна быть одна каноническая ссылка

Если указано несколько страниц, будет приниматься во внимание только первая инструкция

4. Разные канонические URL-адреса

Всегда указывайте одни и те же канонические страницы для разных вариантов реализаций (например, через xml-карту сайта или через rel=”canonical” на самой странице).

5. Неправильное использование относительных ссылок

При указании канонических ссылок лучше всегда предписывать абсолютные ссылки

поскольку, когда вы указываете относительные ссылки, существует очень высокая вероятность ошибки:

Тогда поисковые системы просто проигнорируют эти инструкции.

Nataliya Fialkovskaya

SEO specialist

Nataliya is SEO expert at Sitechecker. She is responsible for blog. Can’t live without creating valuable content about SEO and Digital Marketing.

Для чего выбирать канонический URL?

Указывать каноническую страницу из числа одинаковых или похожих стоит в следующих случаях:

  • Если нужно выбрать, какой URL следует показывать в результатах поиска. Предположим, вы хотите, чтобы посетители переходили на страницу с описанием платьев зеленого цвета по адресу , а не .
  • Для консолидации переходов на одинаковые или повторяющиеся страницы. Это поможет поисковым системам связать материалы, опубликованные на разных страницах, с одним основным адресом. В результате ссылки с других сайтов на страницу будут объединены со ссылками на .
  • Чтобы упростить получение статистики по отдельным товарам или темам. Если контент размещен на нескольких страницах с разными URL, это затрудняет получение обобщенной статистики по нему.
  • Для управления скопированным контентом. Если вы размещаете свои материалы по различным URL, потребуется задать самый высокий рейтинг для исходной страницы.
  • Чтобы оптимизировать затраты ресурсов на сканирование повторяющихся страниц. Желательно, чтобы роботу Googlebot не приходилось сканировать множество вариантов страниц, например предназначенных для разных типов устройств или обновляемых. В противном случае поисковая индексация вашего сайта не будет выполняться эффективно.

Как указать каноническую страницу

Существует несколько способов указать каноническую страницу из числа повторяющихся:

Способ Описание
Общие положения Все способы канонизации URL приведены по этой ссылке.
Указание основного домена

В Search Console вы можете указать URL в одном домене как канонический для аналогичных страниц в другом домене, например example.com для www.example.com. Этот способ подходит, только если у вас есть два похожих сайта, которые отличаются лишь доменом. Не используйте этот способ для URL, отличающихся протоколом – http и https.


Плюсы

  • Очень легко реализовать и изменять.
  • Применимо, если у вас идентичные сайты в разных доменах.

Минусы

  • Работает только на уровне домена. Чтобы страницы распознавались как повторяющиеся, у них должны быть одинаковые адреса и названия.
  • Каждая страница на одном домене может соответствовать лишь одной странице на другом домене, при этом их пути должны совпадать.
Тег rel=canonical <link>

Добавьте в код всех повторяющихся страниц тег <link>.

Плюсы

Так можно пометить сколько угодно страниц.

Минусы

  • Увеличивает размер страницы.
  • Разметка на крупных сайтах или ресурсах, на которых URL часто меняются, отнимает много усилий.
  • Работает только с HTML-страницами, но не с файлами, такими как PDF. Для последних можно использовать атрибут rel=canonical в HTTP-заголовке.
HTTP-заголовок rel=canonical

Включите в ответ страницы заголовок rel=canonical.

Плюсы

  • Не увеличивает размер страницы.
  • Так можно пометить сколько угодно страниц.

Минусы

Разметка на крупных сайтах или ресурсах, на которых URL часто меняются, отнимает много усилий.

Файл Sitemap

Укажите канонические страницы в файле Sitemap.

Плюсы

Легко настроить и обновлять, особенно на крупных сайтах.

Минусы

  • Роботу Googlebot тем не менее нужно определить повторяющуюся страницу для каждой канонической, которую вы укажете в файле Sitemap.
  • Менее значимый сигнал для робота Googlebot, чем атрибут rel=canonical.
Код статуса 301 Используйте код статуса 301, чтобы сообщить роботу Googlebot, что URL, заданный в качестве нового адреса страницы, ведет на ее более актуальную версию.
Вариант страницы в формате AMP Если один из вариантов страницы – AMP, укажите каноническую страницу и ее варианты согласно инструкциям для AMP.

Мы рекомендуем использовать перечисленные выше методы, однако ни один из них не является обязательным. Если вы не укажете канонический URL, мы попытаемся определить его самостоятельно.

How to Audit Your Canonical Tags for SEO

When auditing your canonical tags, there are a number of things worth checking for optimal SEO performance. Here’s a checklist:

  • Does the page have a canonical tag?
  • Does the canonical point to the right page?
  • Are the pages crawlable and indexable?

A common mistake is to point the canonical at a URL that is either blocked by robots.txt, or is set to «noindex».  This can send mixed and confusing signals to search engines. A few common ways to inspect and audit your canonical tags are below. 

1. View-source

In most browsers, you can right-click to view-source, or simply type it into the address bar, like this: view-source:https://moz.com/learn/seo/cano… the source code, search for canonical tag in the <head>. If present, it should look like this:

2. Use the MozBar

The MozBar is a free SEO toolbar that will easily show you the canonical tag on any given page. After installation, simply hit the Page Analysis tab, then click on «General Attributes» to view any canonical information.

3. Audit in Bulk with Software Solutions

Most SEO site audit software allows you to audit canonical tags in bulk. Moz Pro checks for missing canonical tags, and can do so for 100s of thousand of pages at a time.

Learn More:

  • SEO Best Practices for Canonical URLs + the Rel=Canonical Tag
  • Using the Cross Domain Rel=Canonical to Maximize the SEO Value of Cross-Posted Content
  • Rel=Confused? Answers to Your Rel=Canonical Questions

Когда нужно использовать канонические ссылки

Если вы точно знаете в каком случае у вас на сайте появляются дубли

Если вы четко понимаете причину возникновения похожих или очень схожих страниц у вас на сайте и, при этом, каждая такая страница должна существовать на сайте, то желательно определиться какая из этих страниц серии является основной и со всех других страниц проставить канонические ссылки на эту одну главную.

Когда сложно или невозможно реализовать 301 редирект

В общем лучше всего использовать 301 редирект, но если это довольно сложно или долго реализовывать, то можно воспользоваться и атрибутом rel=”canonical”. По заявлениям Google, передаваем вес через канонические ссылки абсолютно идентичный весу, который передает 301 редирект.

Несколько страниц для одной серии продуктов

Если у вас в интернет магазине есть серия товаров, которая отличается, например, только цветом, то лучше выбрать один товар в качестве главного (типичного) и на него проставить канонические ссылки с других продуктов.

Если на вашем сайте товары можно сортировать разными способами и параметр сортировки указывается в урле:

http://site.com/dresses.html?sort=price

то, необходимо, со всех различных комбинаций сортировок, проставлять канонические ссылки на каталог с сортировкой по умолчанию. Обычно, это URL категории без параметров, которые отвечают за сортировку товаров:

<link rel="canonical" href="http://site.com/dresses.html" />

По рекомендациям Google (https://support.google.com/webmasters/answer/1663744?hl=ru), способ при котором вы со всех страниц каталога вы делаете каноническую ссылку на страницу со всеми товарами/статьями, является оптимальным для индексации как страниц каталога сайта, так и всех товаров/статей сайта. При этом способе, для каждого раздела сайта необходимо создать страницу «Смотреть всё» и с каждой страницы пагинации проставить каноническую ссылку на страницу «Смотреть всё».

https://seoprofy.ua/blog/optimizaciya-sajtov/pagination-for-seo

Страница печати


Если печать страниц на сайте реализована через дополнительный параметр, например,

http://site.com/news-1.html?print=yes

то, необходимо, проставить каноническую ссылку на основную версию страницы

<link rel="canonical" href="http://site.com/news-1.html" />

При использовании партнерской программы у вас на сайте

Если на вашем сайте есть партнерская система или любая другая реферальная система, то тут очень важно не забывать прописывать канонические ссылки для всех страниц на которые могут стоять партнерские ссылки. Если забыть проставить, то очень быстро могут появится в индексе поисковых страниц десятки, а то и сотни дублей страниц сайта, так как по внешним ссылкам поисковые роботы довольно быстро проиндексируют не нужные страницы

Поэтому, для всех страниц на которые стоят партнерские ссылки

http://site.com/dresses.html?partner=dkfEi3dj1

мы прописываем следующую инструкцию:

<link rel="canonical" href="http://site.com/dresses.html" />

Кроме этого, вы можете указать Google все не нужные параметры для индексации через Параметры URL (в  Google Webmasters раздел Сканирование). В данном случаем необходимо указать параметр partner, как такой, что не изменяет содержимое страницы.

Важно проверять, чтобы файлы в каталоге типа index.html не приводили к дублям: это может произойти, когда открыты для индексации 2 таких адреса http://site.com/dresses/ и http://site.com/dresses/index.html. В таких случаях, для решения данной проблемы, легче всего в файле http://site.com/dresses/index.html прописать такую каноническую ссылку

<link rel="canonical" href="http://site.com/dresses/" />

При использовании одинакового контента на разных доменах или разных языковых версиях

Когда вы создаете похожие сайты или делаете разные языковые версии вашего контента, но при этом на разных сайтах/языковых версиях используете один и тот же контент, то в таком случае необходимо применение rel=”canonical” на основную версию контента.

Какие страницы считаются каноническими, а какие — дублями?

Если на вашем сайте одна и та же страница доступна по нескольким URL, или разные страницы содержат похожий контент (например, версии для мобильных устройств и компьютеров), Google будет считать один из этих URL каноническим, а остальные — его дубликатами

Сканирование канонического URL будет выполняться намного чаще, чем его копий, поэтому очень важно убедиться, что Google определил каноническими именно те страницы, которые таковыми и являются

Атрибут rel=»canonical» устраняет дубли, «склеивая» копирующие друг друга страницы и, таким образом, позволяет улучшить ранжирование сайта. Но в отличие от 301 редиректа (Moved Permanently), который перенаправляет пользователей на нужную страницу, атрибут rel=»canonical» предназначен только для роботов. На взаимодействии пользователей с сайтом это никак не сказывается.

Основные ошибки использования rel=canonical

Канонические URL поддерживают большинство популярных поисковых систем: Google, Яндекс, Yahoo, Bing. Но вы все равно продолжаете видеть в индексе неканонические страницы вашего сайта? Первое что нужно сделать — проверить не была ли допущена ошибка при настройке rel=canonical. Ниже перечень наиболее распространенных ошибок:

Не индексируемая каноническая страница

Проверьте может ли робот поисковой системы проиндексировать страницу, на которую вы ссылаетесь как на каноническую. Удостоверьтесь, что:

  • страница отдает ответ сервера 200;
  • на странице не установлен мета-тег robots со значением noindex;
  • страница не закрыта от индексирования в файле robots.txt.

Разные канонические URL для одной страницы

Довольно часто устанавливаемые на сайт модули добавляют в код канонические ссылки. Это может привести в появлению нескольких rel=canonical на странице. Если ссылки в тегах указаны на разные URL, то, вероятнее всего, Google и другие поисковики просто проигнорируют ваши рекомендации. Таким образом, все усилия по установке канонических страниц могут быть сведены на нет. Почаще проверяйте исходный код ваших страниц, чтобы убедиться в наличии только одной канонической ссылки.

Неправильное использование абсолютных ссылок

Распространенной ошибкой является указание канонической ссылки без протокола http:// или https://, как показано на примере ниже:

<link rel=“canonical” href=“ururu.com/ololo.html”>

Допустимо указывать относительные ссылки:

<link rel=“canonical” href=“/ololo.html”>

либо полный абсолютный путь с протоколом:

<link rel=“canonical” href=“http://ururu.com/ololo.html”>

Использование тега вне блока head

Для корректного восприятия поисковыми системами, особенно это касается Google, тег rel=canonical должен находиться в рамках области head кода вашей страницы. Кроме того, данный тег стоит размещать настолько близко к началу HTML кода, насколько это возможно.

Канонические ссылки со страниц пагинации на первую страницу

Такое решение вполне дееспособно для борьбы с дублями. Однако, может негативно повлиять на индексацию страниц, ссылки на которые как раз и расположены на страницах пагинации. Например на странице http://example.com/dresses.html?page=3 расположены ссылки на 20 товаров — они не будут проиндексированы поисковым роботом непосредственно по ссылкам с этой страницы.

Тег canonical при использовании hreflang

Если вы внедряете hreflang на своем проекте, то обязательно убедитесь, что все канонические ссылки указывают на страницы этой же языковой версии. Несоответствие этому правилу может привести как к проблемам с ранжированием языковых версий, так и к неправильному пониманию поисковиками приоритетных для ранжирования дублирующихся страниц.

Неканонические ссылки в sitemap.xml

Файл sitemap.xml помогает поисковому роботу понять какие страницы вашего сайта нужно индексировать и ранжировать в поисковой выдаче. Именно поэтому не стоит добавлять в карту сайта закрытые любым способом от индексирования либо неканонические страницы.

Использование rel=canonical для неидентичных страниц

Данный атрибут был разработан специально для указания приоритетной страницы среди страниц-дублей. Судя по всему, поисковики допускают определенную степень расхождения в контенте страницы. Но это абсолютно не значит, что можно ставить каноническую ссылку на просто схожую по тематике страницу. Если Google заметит вас в неправильном использовании канонических ссылок, это может повлиять на его отношение к rel=canonical для всего вашего домена и тогда пострадают даже верно настроенные страницы.

Канонические ссылки (атрибут тега link rel canonical) позволяет указать какую именно страницу из группы похожих или одинаковых страниц нужно индексировать. Полезность данного инструмента сложно переоценить и глупо игнорировать. Ведь именно к правильному толкованию страниц сайта поисковыми системами, в значительной степени и сводится SEO сайта. Тем более, что канонические ссылки поддерживаются практически любой современной CMS вроде Joomla или WordPress.

Не дублируйте контент и ставьте правильные ссылки!

Способы

Указать канонический URL для повторяющихся URL или похожих страниц можно одним из способов, описанных ниже.

Какой бы способ вы ни выбрали, обязательно следуйте приведенным выше общим рекомендациям.

Используйте атрибут rel=»canonical»

Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.

Предположим, вы хотите указать страницу , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:

  1. Пометьте все повторяющиеся страницы с помощью элемента link с атрибутом rel=»canonical». Добавьте в раздел этих страниц элемент , содержащий атрибут и ссылку на каноническую страницу:

  2. Если у канонической страницы есть вариант для мобильных устройств, добавьте элемент link с атрибутом и ссылкой на мобильную версию:

  3. В случае необходимости добавьте атрибуты hreflang или настройте переадресацию другими способами.

Элементы link с атрибутом должны содержать абсолютные пути, а не относительные. Используйте следующую структуру URL: Не применяйте такой вариант:

Используйте HTTP-заголовок rel=»canonical»

Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута в заголовках HTTP (а не с помощью HTML-тегов).


Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:

В настоящее время этот способ поддерживается только для веб-поиска.

Элементы link с атрибутом должны содержать абсолютные пути, а не относительные. Подробнее: Правильно: Неправильно:

Используйте файл Sitemap

Укажите канонический URL для каждой страницы в файле Sitemap. Все страницы в нем предлагаются в качестве канонических. Googlebot будет определять, какие из них являются повторяющимися (при наличии), по их контенту.

Мы не гарантируем, что URL в файле Sitemap будут рассматриваться как канонические во всех случаях. Но в целом это удобный способ для определения приоритетных URL на крупном сайте.

Не включайте в файл Sitemap неканонические страницы, если вы его используете.

Используйте код статуса 301 для URL удаленных страниц

Это позволяет исключить устаревшие адреса и обеспечить переадресацию на новые.

Предположим, на вашу страницу можно перейти по следующим URL:

Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.

Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.

Что такое каноническая ссылка

Каноническая ссылка — это ссылка записанная со специальным атрибутом rel=»canonical» для указания главной (основной) страницы в случае нескольких одинаковых страниц на сайте (дублей).

Дубли на сайте — страницы содержащие одинаковый контент, но имеющие разные адреса URL.

Чаще всего дубли возникают в результате недоработок движка сайта. Такие проблемы есть почти у каждого сайта на CMS. Ничего страшного в этом нету, если их грамотно обработать. Бороться с дублями необходимо прежде всего для того, чтобы занимать хорошие места в поисковой выдаче. Как известно, дубли негативно влияют на траст сайта в целом, а следовательно и на его позиции.

Для борьбы с дублями существует несколько способов:

  • robots.txt (все про robots.txt)
  • 301 редиректом (как сделать 301 редирект)
  • 404 страницей (404 ошибка — как правильно настроить)

Однако есть и четвертый способ решения этой проблемы — использование атрибута rel=»canonical».

Общие положения

Ниже приведены общие инструкции по указанию канонических URL.

Общие положения

  • Не обозначайте канонические страницы с помощью файла .
  • Не используйте инструмент удаления URL для указания канонической страницы: в этом случае из результатов поиска будут удалены все варианты URL.
  • Не указывайте разные URL одной страницы в качестве канонических одним и тем же или разными способами (например, не надо добавлять один URL, используя файл Sitemap, другой – с помощью атрибута ).
  • Не пытайтесь предотвратить выбор канонической страницы, применяя директиву noindex. Она предназначена для исключения страницы из индекса. 
  • Обязательно выделяйте каноническую страницу при использовании атрибутов hreflang. Выбирайте для этого страницу на том же языке или ее вариант на наиболее близком языке.

  • Используйте канонический URL при настройке ссылок на своем сайте. Это поможет нам понять, какую страницу вы считаете приоритетной.

О преимуществах HTTPS по сравнению с HTTP в канонических URL

При определении канонических ссылок Google отдает предпочтение страницам HTTPS, если при этом не возникают проблемы, например следующие:

  • Страница HTTPS использует недействительный сертификат SSL.
  • Страница HTTPS содержит небезопасные зависимости (кроме изображений).
  • Страница HTTPS выполняет переадресацию на страницу HTTP.
  • Страница HTTPS указывает на страницу HTTP с помощью атрибута .

Кроме того, вы можете дополнительно указать, что адресу HTTPS следует отдавать предпочтение. Вот как это сделать:

  • Добавьте переадресацию с HTTP-страницы на HTTPS.
  • Добавьте ссылку , ведущую со страницы HTTP на страницу HTTPS.
  • Используйте протокол HSTS.

Как предотвратить использование страницы HTTP в качестве канонической:

  • Проверяйте сертификаты SSL, а также ссылки со страницы HTTPS на HTTP. Ошибки в них могут привести к тому, что каноническим будет считаться адрес HTTP. При этом реализация протокола HSTS не имеет значения.
  • В файлах Sitemap и компонентах hreflang указывайте страницу HTTPS, а не HTTP.
  • Не используйте сертификат SSL/TLS для некорректного хоста (например, если example.com передает сертификат для www.example.com).  Этот сертификат должен соответствовать полному URL сайта или являться групповым, то есть пригодным для использования на нескольких субдоменах.

Только для опытных пользователей: как заставить роботов Google игнорировать динамические параметры

Вы можете сообщить Google о параметрах, которые следует игнорировать. Подробные сведения представлены в Справочном центре. При использовании этой функции наши роботы не будут обрабатывать повторяющийся контент, что упростит им работу. Например, если вы укажете, что нужно проигнорировать параметр , мы посчитаем идентичными следующие страницы:

Другие способы применения canonical

Атрибут canonical можно использовать для альтернативных версий сайта (мобильная и AMP-версия). Для не нужно специально менять эти атрибуты.

Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel=»canonical» , который присваивается тегу link и располагается в части

Выглядит это как-то так:

Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google. Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте

Приготовьтесь:)

Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)

Для начала напомню вам о тех постах, что я затронул в начале:

Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.

Теория и справка от поисковых систем

Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel=»canonical» и Яндекс про атрибут rel=»canonical» тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.

Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.

Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.

А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel=»canonical» в раздел

Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.

Что будет, если атрибут rel=»canonical» указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.

Можно ли использовать атрибут rel=»canonical» для указания канонического URL на другом домене? Можно, но не нужно

Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае

На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel=»canonical»:

  • Это рекомендация, а не правило, а потому может быть проигнорирован в следующих случаях:
    • Документ по каноническому адресу не существует, отдает ответ 404;
    • Каноническая страница закрыта от индексации в robots.txt или мета-тегом;
    • В html-коде страницы указано сразу несколько атрибутов rel canonical;
    • Адрес канонического документа указывает на другой домен или поддомен;
    • Присутствует цепочка назначений rel=»canonical», т.е. для документа А каноническим указан документ Б, а в это время для документа Б указан каноническим документ В;
  • Необходимо указывать только для дублирующих или очень схожих страниц, а не для склейки двух разных страниц или передачи веса;
  • Адрес канонической страницы может указывать сам на себя;
  • Поддерживается всеми поисковыми системами: в Яндексе с 23 мая 2011 года, в Google с 12 февраля 2009.

С этим читают