Nofollow

Содержание

Test robots.txt using Search Console

The robots.txt Tester tool in Search Console (under Crawl) is a popular and largely effective way to check a new version of your file for any errors before it goes live, or test a specific URL to see whether it’s blocked:


However, this tool doesn’t work exactly the same way as Google, with some subtle differences in conflicting Allow/Disallow rules which are the same length.

The robots.txt testing tool reports these as Allowed, however Google has said ‘If the outcome is undefined, robots.txt evaluators may choose to either allow or disallow crawling. Because of that, it’s not recommended to rely on either outcome being used across the board.’

For more detail, read . 

Что такое тег Noindex и атрибут Nofollow?

Тег Noindex – разработка Яндекса. Он не входит в официальный перечень HTML-разметки, и распознается только поисковыми ботами разработчика да системой Рамблер. Google игнорирует все запреты, выставленные этим тегом.

Изначально тег использовался для «отсеивания» информации, не несущей смысловой нагрузки. Например, служебных файлов.

Но вскоре вебмастера нашли для него и другие назначения, а конкретно, скрытие от индексации:

  • кодов различных счетчиков (liveinternet, счетчики ИКС и PR, другое);
  • часто меняющегося текста;
  • «сквозных» блоков, информация в которых дублируется на страницах;
  • копипаста, то есть ворованного контента;
  • форм рассылок и подписок;
  • отзывов, комментариев, особенно если они содержат нецензурную или некорректную лексику.

Атрибут уместно использовать в 3-х случаях:

  1. Контент сомнительного качества. Если не можете поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, лучше сразу закрыть их Nofollow. Это поможет не связывать себя с недобросовестными пользователями Сети, а также уберечься от спама. Спамеры увидят, что вы закрываете все странные ссылки и у них отпадет желание «атаковать» ваш сайт.
  2. Платные ссылки. Чтобы не влиять на результаты поиска, Гугл советует закрывать такие ссылки атрибутом Nofollow. В частности, его поисковые боты требуют автоматического доступа к платным ссылкам, чтобы отличать обычный материал от коммерческого.
  3. Коррекция индексирования. С помощью Nofollow можно настраивать приоритетность сканирования страниц сайта ботами. Например, роботы не занимаются регистрацией и не входят в аккаунты, а значит атрибут можно спокойно устанавливать на ссылках «Регистрация», «Контакты», «Вход». При этом оставлять открытыми ссылки, которые вы бы хотели видеть в индексе.

При внутренней перелинковке атрибут не используется.

Подробнее о том, как прописать теги, читайте в следующем разделе.

Как повысить эффективность закрытых ссылок

Чтобы пользователи сетевых ресурсов интересовались вашим контентом и переходили по ссылкам на продвигаемые страницы, нужно перед публикацией материалов и установкой ссылок тщательно проверять и тестировать важные элементы статьи и околоссылочного текста. Заголовки, лиды должны мотивировать посетителя перейти на ваш сайт, контент должен быть интересным, полезным и релевантным теме. Чтобы получить максимальную отдачу от ссылки:

  • подбирайте не только площадку, но и место установки;
  • определите цель для каждой ссылки;
  • проверяйте релевантность контента;
  • оптимизируйте посадочные страницы.

Ссылки, закрытые от индексации, могут быть полезнее, чем индексируемые. Все зависит от того, где установлена ссылка и куда приводит пользователя. Если для индексируемых ссылок это практически не имеет значения, то для nofollow-ссылок является основным фактором, определяющим ее полезность, так как цели для них преследуются разные. Наращивание массы индексируемых ссылок происходит преимущественно для поднятия показателей сайта, а неиндексируемых – исключительно для привлечения целевой аудитории. То есть открытые ссылки влияют на посещаемость продвигаемого сетевого ресурса косвенно, а закрытые напрямую.

В процессе ранжирования поисковые системы учитывают множество разнообразных факторов, причем делают это по-разному

«Яндекс», Google и другие поисковики принимают во внимание все ссылки, которые находят на страницах сетевых ресурсов, независимо от того, какие дополнительные атрибуты они имеют. Они лишь учитывают желание веб-мастера не допустить индексацию

Окончательное решение всегда остается за поисковой системой.

How Can I Combine Noindex and Disallow?

Noindex (page) + Disallow: Disallow can’t be combined with noindex on the page, because the page is blocked and therefore search engines won’t crawl it to know that they’re not supposed to leave the page out of the index.

Noindex (robots.txt) + Disallow: This prevents pages appearing in the index, and also prevents the pages being crawled. However, remember that no PageRank can pass through this page.

To combine a disallow with a noindex in your robots.txt, simply add both directives to your robots.txt file:

Disallow: /example-page-1/

Disallow: /example-page-2/

Noindex: /example-page-1/

Noindex: /example-page-2/ 

Зачем использовать nofollow

Основные причины, почему вам следует использовать nofollow-ссылки на своем сайте:

  • чтобы избежать накрутки ссылочного веса авторами (если на сайте можно публиковать свои материалы) – даже если запись будет рекламная, при простановке nofollow сайт-источник не сможет получить никаких преимуществ для SEO;
  • чтобы уменьшить количество спама в комментариях (от спамеров, которые хотят продвинуть таким образом свой ресурс);
  • чтобы помечать ссылки с потенциально опасным контентом (если вы не уверены в качестве материала, на который ссылаетесь, и не хотите отдавать ему ссылочный вес); грубо говоря, для того, чтобы избежать ассоциаций с сайтом, на который вы по какой-то причине ссылаетесь, потому что ссылки на сомнительные сайты негативно влияют на репутацию вашего сайта.

Кстати, прочитав все это, вы можете задаться вопросом: а стоит ли вообще ставить обычные исходящие ссылки, без nofollow? В целом – да. Потому что (удивительно, но факт) они могут положительно влиять на продвижение вашего сайта в поисковых системах. Например, если вы будете ссылаться на трастовый сайт (Википедия и т.д.), то это поможет поднять и рейтинг вашего сайта.

Как проверить наличие закрытых от индексации ссылок

В поисках площадок, подходящих для наращивания ссылочной массы, необходимо быстро и точно определять способ их установки веб-мастером: с тегом rel=»nofollow» или без него. Сделать это можно при помощи разных инструментов.

Ищем при помощи браузера Google Chrome:

  1. Открываем страницу в браузере.
  2. Выделяем проверяемую ссылку.
  3. При помощи правой кнопки мыши открываем контекстное меню.
  4. Выбираем в меню строку «Посмотреть код элемента».
  5. Проверяем HTML-код на наличие тега rel с атрибутом nofollow.

При выборе площадки для размещения обратной ссылки важно уметь определять не только атрибут rel=»nofollow», но и другие теги с похожими функциями. Например, redirect, noindex, dofollow, nofollow noopener

Ссылки с атрибутами и тегами, имеющими перечисленные значения, пользы в плане наращивания ссылочной массы и продвижения сайта в поисковых системах не принесут.

Ищем при помощи дополнения к браузеру:

  1. Зайдите в магазин Google Chrome.
  2. Найдите дополнение RDS Bar или аналогичное.
  3. Установите расширение.
  4. В настройках дополнения включите подсветку ссылок, закрытых для индексации при помощи соответствующих тегов и атрибутов.

После этого на всех страницах, отрываемых в браузере, будут автоматически зачеркнуты все зарытые для индексации ссылки.

Что такое «раздутый» индекс?

Index Bloat (раздутый индекс) возникает, когда в поиск попадает большее количество малополезных страниц сайта с небольшим количеством уникального контента или вовсе без него. Такие URL в индексе могут оказывать негативный каскадный эффект на SEO, примеры документов:

  • Страницы результатов фильтрации.

  • Неупорядоченные архивные страницы с неактуальным контентом.

  • Неограниченные страницы тегов.

  • Страницы с GET-параметрами.

  • Неоптимизированные страницы результатов поиска по сайту.

  • Автоматически сгенерированные страницы.

  • Трекинг-URL с метками для отслеживания.

  • http / https или www / non-www страницы без переадресации.

В чём вред? Googlebot обходит бесполезные для привлечения трафика страницы, тратит на них краулинговый бюджет и замедляет сканирование целевых URL. Повышается вероятность дублирование контента, каннибализации по запросам, релевантные страницы теряют позиции и вообще на сайте начинает царить плохо контролируемый беспорядок.

Кроме того, URL ранжируются в контексте репутации всего сайта и Google Webmaster Center недвусмысленно заявляет:

Низкокачественный контент на отдельных страницах веб-сайта может повлиять на рейтинг всего сайта, и, следовательно, удаление некачественных страниц… может помочь ранжированию высококачественного контента.

Как отслеживать количество проиндексированных страниц?

В Google Search Console на вкладке Индекс > Покрытие:

С помощью отдельных инструментов, например в «Модуле ведения проектов» на вкладке «Аудит»


Или, используя оператор site: в поиске Google (не самый надёжный и не очень точный способ):

Если количество страниц в индексе превышает число URL, которое вы хотели отдать на индексацию (скажем, из файла Sitemap.xml), вероятно имеет место проблема «раздутого» индекса и пора освежить правила запрета на сканирование.

  • 410 Gone — быстрый способ сообщить Google о том, что страница была намеренно удалена, и вы не планируете её заменить.

  • 404-код ответа («страница не найдена») указывает на то, что страница может быть восстановлена, поэтому Googlebot может вернуться и проверить страницу на доступность через некоторое время.

При проверках в Search Console Google 410-код ответа помечается как 404-й. Джон Мюллер подтвердил, что это сделано с целью «упрощения», но разница всё-таки есть.

Также специалисты Google успокаивают — количество 4xx-ошибок на сайте не вредит вашему сайту. Проверить код ответа и размер документа для списка URL можно с помощью бесплатного инструмента.

Предотвращение «раздувания» индекса: 1/5Борьба с последствиями «раздувания»: 4/5

Что изменилось с вводом поддержки rel=nofollow?

  1. Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=»nofollow».
  2. Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, Википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.

Кратко, о новинках апреля 2010 года в Яндекс:

  1. У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
  2. Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
  3. Появился колдунщик видео.
  4. В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.

P.S. Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=»canonical», о котором я писал в статье о дублированном контенте, и многие блогеры вздохнут с облегчением. Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=»canonical». Принесет это облегчение или нет, покажет время.

Способы улучшения результативности использования nofollow-ссылок

Сегодня многие пользователи устали от засилья бесполезных ссылок на разных площадках

Важно позаботиться о том, чтобы ваш бэклинк не разочаровал посетителя. К примеру, нельзя оставлять ссылку с комментарием о том, что она приведет в магазин с самыми дешевыми велосипедами, если ценовая политика не отличается доступностью

В таком случае конверсия точно не увеличится, а пользовательские факторы и репутация бренда значительно ухудшатся.

При продвижении закрытыми ссылками важно найти свою аудиторию. Нужно понимать, что не весь трафик полезен

Если привлечь нецелевых пользователей, которым совершенно не интересен контент или предложение, то они сразу покинут сайт. Поэтому перед публикацией ссылок важно качественно оптимизировать посадочную страницу.

What is a Disallow Directive?

Disallowing a page means you’re telling search engines not to crawl it, which must be done in the robots.txt file of your site. It’s useful if you have lots of pages or files that are of no use to readers or search traffic, as it means search engines won’t waste time crawling those pages.

To add a disallow, simply add the following into your robots.txt file:

Disallow: /your-page-url/

If the page has external links or canonical tags pointing to it, it could still be indexed and ranked, so it’s important to combine a disallow with a noindex tag, as described below.

A word of caution: by disallowing a page you’re effectively removing it from your site.

Disallowed pages cannot pass PageRank to anywhere else – so any links on those pages are effectively useless from an SEO perspective – and disallowing pages that are supposed to be included can have disastrous results for your traffic, so be extra careful when writing disallow directives. 

HTML тег

HTML тег <noindex></noindex> используется только в Яндексе. Позволяет частично или полностью закрывать фрагменты контента от индексации.

Синтаксис тега <noindex>

Этот тег часто используют для закрытия индексации всего ненужного на странице: рекламы, счетчиков, скриптов, каких-то цитат, фрагментов неуникального контента.

В стандарте HTML отсутствует тег <noindex>, поэтому для того, чтобы код проходил тест на валидность используют модифицированную версию в виде комментария html:

Такой вариант также работает в Яндексе.

Как к noindex относится Google

Google и все остальные поисковики (кроме Яндекса) никак не идентифицирует этот тег.

2009 — Google борется с проектированием PageRank структуры

PageRank передаётся по внутренним ссылкам (с одной страницы сайта на другую). В целом, чем выше значение PR, тем это лучше для ранжирования документа.

Вот классическая формула расчёта PageRank:

A — рассматриваемая страница.d — коэффициент затухания, то есть, сколько веса может передать страница. Обычно берётся значение d=0,85.Ti — ссылающаяся страница.C — число внешних ссылок на ссылающейся странице.

Но вес передаётся только по follow-ссылкам. Так было всегда, но способы распределения веса с годами менялись.

До 2009 года это работало так: если на странице есть три ссылки и одна из них с rel=”nofollow”, то PR распределялся между двумя без запрещающего атрибута.

Вебмастеры стали использовать эту техническую возможность для проектирования нужного им потока PageRank на своих сайтах. Ссылки на незначительные страницы снабжались атрибутом nofollow, а важные получали максимальный вес.

Google анонсировал изменения правил игры в 2009 году. Теперь «ссылочный сок» растекается равномерно по всем ссылкам. Разница проиллюстрирована ниже:

Замечание: PageRank — сложный зверь. Прошло 10 лет с внедрения этих изменений. Хотя публичных подтверждений о дальнейших работах Google не делал. Вполне возможно, что новые правки просто остались за кадром.

Хотя намеренное распределение веса теперь занятие довольно бессмысленное, nofollow помогает определить приоритеты сканирования страниц. Например, поисковый робот не может зарегистрироваться на сайте, заполнить форму или перейти в личный кабинет. Поэтому, такие ссылки можно смело помечать атрибутом rel=”nofollow”.

Обработка значения nofollow атрибута rel поисковой системой Google

Из официального справочного материала Google можно узнать, что поисковый робот по таким ссылкам не переходит. Если добавить к ссылке атрибут с указанным значением, то ссылка не попадает в сеть Google. Но закрытые таким образом от индексации страницы все равно появляются в индексе, если на них ведут открытые ссылки с других ресурсов или их адреса находятся в карте сайта. В тексте справки вы увидите словосочетание «как правило», которое использовали в предложении о переходе по закрытым от индексации ссылкам. Оно может означать, что поисковая система сама решает, переходить или не переходить, индексировать или не индексировать. Учитывая это и то, что другие поисковые системы не обращают внимания на nofollow, можно сказать, что закрытые таким образом ссылки способны приносить пользу наравне с открытыми.

2013 — Google борется с покупкой ссылок

Google классифицирует покупку и продажу ссылок как нарушение их руководства для вебмастеров.

Поэтому все платные ссылки должны быть с атрибутом nofollow. Так было и раньше, но в 2013 году Google активно проявил озабоченность этим вопросом. А вывод следующий: поисковик стремится вознаграждать честно и естественно заработанные ссылки, а не купленные. Это говорит об их ценности для пользователей и желании делиться контентом.

Проблема в том, что некоторые купленные ссылки ничем не отличаются от естественных. Например, можно заплатить за обзор, обменяться материалами или кто-то сам напишет о вас. Это сложная задачка для Google, поэтому они требуют помечать купленные ссылки атрибутом nofollow.

Можно взглянуть на это так — есть два способа получить Оскар:


  1. Постоянно оттачивай своё мастерство и много работай.

  2. Купи его на Amazon за 8.97$.

Nofollow на платных ссылках для Google как ценник 8.97$, приклеенный на фальшивом Оскаре. Такой вот сигнал, обесценивающий ссылку как фактор, влияющий на ранжирование.

Когда использовать?

Как и писал выше, noindex в Яндекс нужен для скрытия ненужных кусков кода, чтобы не уменьшалась уникальность текстов и релевантность статей запросам. Будет вполне логично, если возникнет мысль закрыть всё-всё, кроме текста оптимизированной статьи в тег ноиндекс — включая анкоры ссылок в верхнем меню, шапку сайта, комментарии и прочее.

На самом деле, так разгоняться не стоит. На это есть две причины:

  • Подобные манипуляции (если переборщить) могут быть расценены Яндексом как поисковый спам.
  • Роботы современных ПС способны различать, где, например, находится блок со статьёй, а где — комментарии к ней. Yandex тоже может — где-то 10 месяцев назад я у них это лично выяснил, т.к. планировал позакрывать все блоки с комментариями в Noindex.

С комментариями получается довольно интересно — поисковикам нравится обилие комментариев, т.к. это свидетельствует о хорошем поведенческом факторе.  Поэтому не надо переживать, что тексты комментаторов уменьшат релевантность статьи запросу — лучше подумать об их защите от спама.

Также, на мой взгляд, лучше закрыть блоки AdSense от «глаз» Яндекса (как и любые другие рекламные коды) — чтобы этот поисковик не посчитал ваш сайт «слишком» рекламным и не применил некоторые поисковые санкции. НО оставить открытыми блоки РСЯ.

Смысл в том, что в РСЯ принимаются только качественные ресурсы с точки зрения Яндекса, поэтому наличие данной рекламы может намекнуть этой ПС о «качественности» вашего проекта и повысить такую абстрактную характеристику, как траст сайта.

Смысл атрибута rel=nofollow

Смысл здесь простой: показать поисковикам, что сайт, на который вы ставите ссылку, не пользуется вашим доверием. Звучит несколько абстрактно, но суть в том, что если ресурс, на который вы ссылаетесь, не так хорош, как ваш, то вашему ресурсу от этого плохо.

«Плохо» — это означает то, что продвигать свой сайт в поисковиках вам будет не очень просто и весело.

Кроме того, это один из способов защиты от спама. Ведь ссылка с проставленным атрибутом nofollow не передает ссылочный вес и не влияет на ссылочное ранжирование. Поэтому-то на всех биржах по продаже ссылок (как вечных, так и с месячной оплатой) покупаются ссылки без этого атрибута. И поэтому же можно приписывать ноуфолоу к внутренним ссылкам на сайте — для манипуляций с ссылочным весом.

Например, всем известная Wikipedia в своё время позволяла оставлять авторам прямые ссылки (не закрытые от индексации) на любой сайт. Т.к. у Википедии очень трастовый сайт, то её начали спамить — для наращивания ссылочной массы — и качество статей на ней ухудшилось. Вот и пришлось закрыть ссылки, добавив к ним атрибуты rel nofollow.

Точно ли поисковые роботы не переходят по ссылкам с nofollow?

В сети можно встретить разговоры о том, что на самом деле роботы поисковиков «бегают» по таким ссылкам. На самом деле  если и бегают, то плохого от этого ничего нет — ведь для них есть указание не воспринимать подобные ссылки. Так что можно не беспокоиться и не придумывать редиректы и т.п для всех внешних ссылок с сайта. Лучше посмотреть видео из первоисточника.

Помогают ли nofollow-ссылки в SEO?

Напомним, Google не передаёт PR и не учитывает анкорный текст таких ссылок. Всё, казалось бы, ясно, но есть пометка «In general, we don’t follow them», то есть «в целом, мы не переходим по ним». И это «в целом» вносит некоторую неопределённость. Возможно, в некоторых случаях поисковый робот всё-таки по ним переходит.

Есть специалисты, которые уверяют, что часть PageRank передаётся и по nofollow-ссылкам. Другие говорят, что только по некоторым из них. Третьи, возможно, самые разумные, считают, что мы слишком много внимания уделяем старым формулировкам.

Ранее Ahrefs изучили 44,589 результатов поисковой выдачи, чтобы выяснить, существует ли какая-то корреляция между ранжированием и наличием/отсутствием атрибута rel=”nofollow”. Вот, что у них получилось:

Здесь нас интересует два значения: «number of backlinks» (общее количество внешних ссылок) и «number of “dofollow” backlinks» (количество ссылок без атрибута nofollow).

Корреляция для вторых немного слабее, чем в случае общего количества бэклинков. Тим из Ahrefs считает, что это может указывать на то, что Google придаёт больше ценности nofollow-ссылкам с «сильных» страниц, чем dofollow-ссылкам со слабых. Кто знает?

Но даже если предположить, что нет никакого прямого влияния на SEO, то косвенное точно имеет место:

1. Nofollow-ссылки помогают разнообразить ваш ссылочный профиль, делая его более естественным. Кроме того, множество ссылок на ваш сайт, наверняка, именно с этим атрибутом:

  • Социальные сети (Facebook, VK, Twitter и так далее).

  • Форумы.

  • Пресс-релизы.

  • Wikipedia.

  • Каталоги и справочники.

Короче говоря, если бы ссылочный профиль состоял только из dofollow-ссылок, это было бы подозрительно для поисковых систем. Очень примерная норма — это от 60% до 90%.

2. По ссылкам приходит трафик. Именно поэтому не стоит пренебрегать размещением информации о своём сайте в тематических каталогах, делиться полезным контентом на форумах и даже попробовать получить ссылку с Википедии. Мы уже рассказывали о таком .

3. Nofollow защищают от санкций. Иногда покупка ссылок имеет смысл

Если у сайта-донора тонны трафика, то это довольно простой способ обратить внимание на свой сайт

SEO-лагерь снова разделился:

  1. Те, кто считает, что Google может идентифицировать купленные ссылки алгоритмически.

  2. Те, кто считает, что точно не может.

Дебаты не утихают, но важно другое — у Google есть инструмент, который позволяет пожаловаться на какой-либо сайт за продажу или покупку ссылок

И, вполне возможно, вам следует опасаться не санкций Google, а недобросовестных конкурентов.

С какой целью запрещают индексацию гиперссылок

Можно выделить следующие самые распространенные причины, из-за которых оптимизаторы используют атрибут rel nofollow:

  • дисбаланс между входящими и исходящими ссылками является причиной для понижения позиций сайта в поисковой выдаче или для его полной блокировки;
  • необходимость скрыть от индексирования служебные или дублирующиеся страницы;
  • даже небольшое количество линков на «мусорные» или нерелевантные ресурсы может испортить результаты ранжирования;
  • использование атрибута позволяет защититься от ссылочного спама в комментариях;
  • регулирование естественности ссылочного профиля;
  • необходимость во внутреннем перераспределении ссылочной массы.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

<meta name="robots" content="noodp"/>

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.


А вот как выглядит метатег Robots, который запрещает индексацию страницы:

<meta name =“robots” content=”noindex,nofollow”/>

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

How much time should you spend on reducing crawl budget?

You might hear a lot of talk on SEO forums about how important crawl efficiency and crawl budget is for SEO and, while it’s common practice to disallow and noindex large groups of pages that have no benefit to search engines or readers (for example, back-end code that is only used for the running of the site, or some types of duplicate content), deciding whether to hide lots of individual pages is probably not the best use of time and effort.

Google likes to index as many URLs as possible, so, unless there is a specific reason to hide a page from search engines, it’s usually ok to leave the decision up to Google. In any case, even if you hide pages from search engines, Google will still keep checking to see if those URLs have changed. This is especially pertinent if there are links pointing to that page; even if Google has forgotten about the URL, it might re-discover it the next time a link is found to it anyway. 

Использование Noindex в Яндексе

Пользоваться им не сложнее, чем любым другим HTML-тегом. Обычно выглядит всё так:

Возможен и альтернативный вариант — тег ноиндекс в виде стандартного HTML-комментария. Вот, к примеру, как можно скрыть контекст от AdSense:

AdSense «завёрнут» в noindex tag

— т.е. всё то же самое, но добавляем указание на то, что это комментарий. На мой взгляд, такой вариант предпочтительней.

Кстати, чтобы узнать, где на веб-странице расставлены блоки тегов ноуиндекс, можно поставить:

  • дополнение RDS bar в Chrome.
  • дополнение Page Promoter bar в Firefox.

Они будут буквально «подсвечивать» участки кода, «завёрнутые» в этот тег. Правда, RDS bar иногда не подсвечивает вариант в формате  комментария — noindex.

Как проверить внутренние ссылки и проанализировать конкурентов?

Всё прекрасно, когда мы запускаем сайт с нуля и можем организовать иерархию по обозначенным выше советам. Но как быть если мы работаем с уже готовой структурой?

Для начала её следует проанализировать. У нас есть отдельный инструмент, который получает иерархию сайта с учётом уровней вложенности на основе проиндексированных Яндексом страниц.

Инструмент поможет проверить собственный проект или сайт конкурента, что полезно для поиска новых типов страниц и точек роста. Например, на нашем сайте в разделе, посвящённому контекстной рекламе всего 18 страниц, что составляет 0,9% от всех документов проекта:

А вот сколько у конкурентов. Уже есть над чем подумать, если имеются проблемы с позициями и поисковым трафиком:

Как проверить число внутренних ссылок на странице и определить их необходимое количество?

Ориентироваться на ТОП выдачи по запросу. Для этой задачи используйте инструмент Анализ ТОП в Google или Яндексе. Указали запрос, выбрали глубину ТОПа и получили результаты и рекомендации:

В отчёте мы видим, что количество внутренних ссылок на продвигаемой странице почти в два раза превышает среднее по ТОПу. Возможно, стоит проработать и этот момент.

Не забывайте, что анкорный лист может влиять на переоптимизацию документа, а у Яндекса есть даже отдельный фильтр за переизбыточную перелинковку

Если число внутренних ссылок обусловлено тематикой или количеством товаров / услуг, то важно оформить их в удобный и полезный для пользователей блок

Неработающие страницы (404)

Периодически проводите аудит сайта на наличие 404-ошибок и удаляйте ссылки, ведущие на такие страницы или настраивайте для них 301-редирект.

Для регулярного поиска этих страниц удобно завести проект в нашем модуле. Согласно выбранным интервалам проведения аудитов, система будет проверять коды ответа страниц сайта и сообщать о найденных ошибках.

Как стратегически использовать внутренние ссылки для прокачки новых страниц?

Предположим, вы разместили новый контент на сайте. Попробуйте отыскать тематически связанные с ним старые страницы и разместите ссылки, ведущие на свежий URL.

Особенно хорошо, если ссылки будут вести с качественных трафиковых документов. Совсем круто — если у них есть бэклинки. Так вы сможете передать часть ссылочного веса новой странице.

Чтобы найти подходящий URL, используйте поисковые операторы. Например, мы разместили статью про аудит контента. Хотим добавить на неё ссылку с другой, уже прокаченной, страницы. Идём в Google и, используя оператор, находим подходящую:

Если хотите узнать какие из страниц вашего сайта имеют больше всего внешних ссылок и планируете использовать их для буста свежего контента, загляните на вкладку «аудит» в Проектах. Модуль анализирует ссылочную массу из Вебмастера и показывает самых мощных акцепторов. Используйте их авторитет для перелинковки:

Отличные сервисы для массфолловинга в Instagram

Мы расскажем о пяти отличных сервисах для массфолловинга в Инстаграм. Все они опробованы и демонстрируют хорошие результаты.

Pamagram

Облачный сервис для массфолловинга в Instagram Pmgrm.com с понятным русскоязычным интерфейсом. Имеет описание каждой функции и замечательную мобильную версию. Предназначен для автоматизированного выполнения действий в Instagram. Настройте его единожды, и он без перебоев будет трудиться целые сутки без остановки. Пользователю нужно лишь проверять аналитику раз в неделю да вносить коррективы в источники. Стоимость применения в течение месяца составляет 990 рублей, а промокод «instastar» позволит снизить цену до 891 рубля. Если сравнивать качество сервиса и стоимость пользования им, то это лучший вариант.

InstaPlus

Онлайн-сервис InstaPlus.me завоевал популярность и известность благодаря своей простоте. Имеет много различных функций, а также фильтров поиска пользователей. Особенность: на каждое отдельное действие необходимо создавать новое задание. За месяц пользования сервисом необходимо заплатить 899 рублей. В течение первых 7 дней можно тестировать сервис бесплатно. Данный тариф позволяет продвигать одновременно до 5 аккаунтов.

Zengram

Облачный сервис для массфолловинга в Instagram Zengram.ru позволяет удобно выполнять необходимые задачи. Оснащен дополнительными функциями и приложениями, синхронизируемыми с Windows, Android и Mac (но не предназначен для использования на iPhone и iPad). В месяц пользование сервисом обойдется в 699 рублей.

Jetinsta

Сайт Jet-Insta.com был создан одним из первых для массфолловинга в Instagram. Прекрасно зарекомендовал себя как достаточно работоспособный сервис. Используется для продвижения в Instagram и привлечения подписчиков. Благодаря функции ограничителя скорости выполнения действий прекрасно обходит алгоритм отслеживания Instagram по возросшей подозрительной активности. По сравнению с другими сервисами самый дорогой. За месяц придется заплатить 1400 рублей.

Tooligram

Сервис массфолловинга Tooligram.com моложе всех представленных выше ресурсов. Представлен в облачной версии и компьютерной программе. Имеет различные фильтры и настройки. За месяц пользования необходимо заплатить 1199 рублей. Но первые 7 дней сервис можно тестировать абсолютно бесплатно.

Все вышеперечисленные сервисы массфолловинга позволяют собирать информацию:

  • по геолокациям;
  • подписчикам пользователей;
  • базам, которые были собраны раньше.

What is a Noindex Meta Tag?

A ‘noindex’ tag tells search engines not to include the page in search results.

The most common method of noindexing a page is to add a tag in the head section of the HTML, or in the response headers. To allow search engines to see this information, the page must not already be blocked (disallowed) in a robots.txt file. If the page is blocked via your robots.txt file, Google will never see the noindex tag and the page might still appear in search results.

To tell search engines not to index your page, simply add the following to the </head> section:

<meta name=”robots” content=”noindex, follow”>

The second part of the content tag here indicates that all the links on this page should be followed, which we’ll discuss below.

Alternatively, the noindex tag can be used in an X-Robots-Tag in the HTTP header:

X-Robots-Tag: noindex

For more information see Google Developers’ post on  


С этим читают