Скрыть от индексации ссылки в wordpress: обзор реализации и причины появления проблемы

Содержание

Для чего вообще закрывать внешние ссылки от индексации поисковиками?

Причин этому несколько, давайте рассмотрим немного подробнее.


1. Внешние ссылки передают вес страниц Вашего блога на страницы на которые Вы ссылаетесь, при этом сами они теряют этот вес.

В основе алгоритма поискового ранжирования с самого начала его существования лежит принцип передачи ссылочного веса. То есть, чем больше авторитетных сайтов ссылаются на Ваш блог, тем более авторитетным в глазах поисковиков становится и Ваш ресурс.

Но есть и обратная сторона этого вопроса, чем больше внешних ссылок ведет с Вашего сайта, тем меньше становится его вес.

Это конечно грубо сказано, есть много других факторов влияющих на вес страниц, но ссылки – один из основных.

Следовательно, чтобы повысить авторитетность своего блога в глазах поисковых систем при равных остальных условиях нужно минимизировать количество внешних ссылок.

Вариант 1: оптимальный код robots.txt для WordPress

User-agent: *
Disallow: /cgi-bin          # классика...
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: /search           # поиск
Disallow: /author/          # архив автора
Disallow: */embed           # все встраивания
Disallow: */page/           # все виды пагинации
Allow: */uploads            # открываем uploads
Allow: /*/*.js              # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.svg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.pdf            # файлы в плагинах, cache папке и т.д.
Allow: /wp-admin/admin-ajax.php
#Disallow: /wp/             # когда WP установлен в подкаталог wp

Sitemap: http://example.com/sitemap.xml     
Sitemap: http://example.com/sitemap2.xml    # еще один файл
#Sitemap: http://example.com/sitemap.xml.gz # сжатая версия (.gz)

# Версия кода: 1.1
# Не забудьте поменять `site.ru` на ваш сайт.

Разбор кода:

  1. В строке User-agent: * мы указываем, что все нижеприведенные правила будут работать для всех поисковых роботов *. Если нужно, чтобы эти правила работали только для одного, конкретного робота, то вместо * указываем имя робота (User-agent: Yandex, User-agent: Googlebot).

  2. В строке Allow: */uploads мы намеренно разрешаем индексировать страницы, в которых встречается /uploads. Это правило обязательно, т.к. выше мы запрещаем индексировать страницы начинающихся с /wp-, а /wp- входит в /wp-content/uploads. Поэтому, чтобы перебить правило Disallow: /wp- нужна строчка Allow: */uploads, ведь по ссылкам типа /wp-content/uploads/… у нас могут лежать картинки, которые должны индексироваться, так же там могут лежать какие-то загруженные файлы, которые незачем скрывать. Allow: может быть «до» или «после» Disallow:.

  3. Остальные строчки запрещают роботам «ходить» по ссылкам, которые начинаются с:

    • Disallow: /cgi-bin — закрывает каталог скриптов на сервере
    • Disallow: ?s= или Disallow: *?s= — закрыавет страницы поиска
    • Disallow: */page/ — закрывает все виды пагинации
  4. Правило Sitemap: http://example.com/sitemap.xml указывает роботу на файл с картой сайта в формате XML. Если у вас на сайте есть такой файл, то пропишите полный путь к нему. Таких файлов может быть несколько, тогда указываем путь к каждому отдельно.

  5. В строке Host: site.ru мы указываем главное зеркало сайта. Если у сайта существуют зеркала (копии сайта на других доменах), то чтобы Яндекс индексировал всех их одинаково, нужно указывать главное зеркало. Директива Host: понимает только Яндекс, Google не понимает! Если сайт работает под https протоколом, то его обязательно нужно указать в Host: Host: http://example.com

    Из документации Яндекса: «Host — независимая директива и работает в любом месте файла (межсекционная)». Поэтому её ставим наверх или в самый конец файла, через пустую строку.

Не рекомендуется исключать фиды: Disallow: */feed

Потому что наличие открытых фидов требуется, например, для Яндекс Дзен, когда нужно подключить сайт к каналу (спасибо комментатору «Цифровой»). Возможно открытые фиды нужны где-то еще.

Фиды имеют свой формат в заголовках ответа, благодаря которому поисковики понимают что это не HTML страница, а фид и, очевидно, обрабатывают его как-то иначе.

Директива Host для Яндекса больше не нужна

Яндекс полностью отказывается от директивы Host, её заменил 301 редирект. Host можно смело удалять из

Однако важно, чтобы на всех зеркалах сайта стоял 301 редирект на главный сайт (главное зеркало)

Yandex и Google обрабатывает директивы Allow и Disallow не по порядку в котором они указаны, а сначала сортирует их от короткого правила к длинному, а затем обрабатывает последнее подходящее правило:

User-agent: *
Allow: */uploads
Disallow: /wp-

будет прочитана как:

User-agent: *
Disallow: /wp-
Allow: */uploads

Таким образом, если проверяется ссылка вида: /wp-content/uploads/file.jpg, правило Disallow: /wp- ссылку запретит, а следующее правило Allow: */uploads её разрешит и ссылка будет доступна для сканирования.

Чтобы быстро понять и применять особенность сортировки, запомните такое правило: «чем длиннее правило в robots.txt, тем больший приоритет оно имеет. Если длина правил одинаковая, то приоритет отдается директиве Allow.»

Спрятать исходящие URL в Clearfy PRO

В ClearfyPRO данные функции реализованы намного проще, ссылка просто замаскируется и перестает быть тегом , превращается в , в котором таким же методом base64 закодирован адрес. В итоге для ПС это просто часть текста, обернутая в span и как линк не воспринимается. Но для посетителей остается возможность нажать и перейти на внешний адрес.

Клеарфай.

Но пока не может закрывать ссылки в статьях. Не считаю это недостатком, потому что, на какой материал ссылаться решает автор, и это почти всегда хорошие сайты, поэтому такие внешние ссылки не причинят вреда. Можете заметить что в плагине множество других приятных дополнений, например удаляет теги shortlink из WordPress. Для читателей приготовил хорошую скидку на покупку, нажимайте кнопку, цена снизится автоматически.

Clearfy -15%

Индексируемые и не индексируемые ссылки

В этой статье мы разберем, что значит индексируемая и не индексируемая ссылки и как их применяют. Наверняка вам знаком факт, что параметры тИЦ и PR, образуются от количества и конечно же качества ссылок, так же знакомы слова, а точнее тэги noindex, nofollow, dofollow, вот об их значении каждого и поговорим в статье.

Когда вы указываете на сайте ссылку на какой-то другой источник, используя тег <a>, то эта ссылка будет индексироваться ПС.

Что это значит? а это значит, что ссылка передает какую-то часть веса вашей страницы на сайт, который ссылается. А значит поисковики индексируют (учитывают заносят в свою базу) такую ссылку. А если вы не хотите, чтобы вес передавался на ссылаемый сайт по разным причинам, то можете закрыть атрибутом rel=nofollow.

Надо заметить, что этот атрибут используется только в теге <a>. Например:

1
 <a href="http://myborder.ru" rel=nofollow >myborder.ru</a>

Чтобы далее было понятно предлагаю ознакомиться с формулировкой, поясню своими словами:


Если ссылка была учтена поисковиками, то этот результат называется индексация ссылок. Те ссылки, которые были учтены яндексом или гуглом можно увидеть в вебмастере. Да, и сразу хочется добавить, что индексация ссылок яндекса отличается от индексации ссылок гугла, потому, что у каждого поисковика свои анализаторы качества ссылок, поэтому одни и те же ссылки могут попасть в яндекс, но некоторые не попадут в гугл и наоборот.

Причины для закрытия ссылки на внешний источник.

По факту есть ссылка (грубо говоря кликабельная), но вес не передает.

2. По причине множества таких ссылок на странице — это значит, что если много ссылок на странице, то вес отдельно взятой ссылки будет очень мал, так вот, чтобы увеличить вес каждой отдельной ссылки, нужно просто уменьшить их количество.

3. По причине заспамленности ссылками — если ваш сайт насыщен ссылками на внешние источники, то это может быть наказуемо со стороны ПС. Я писал статью про фильтры ПС, так вот на этой странице есть сервис для проверки сайта на разные параметры.

Если введете свой сайт в строку и нажмете проверить, то в отчете есть графа Заспамленность ссылками, и у того, у кого будет гореть желтым этот индикатор, то это значит вы уже ходите по грани и вероятность схватить фильтр от ПС становится велика. Ну а если красным, то возможно вы уже заслужили себе фильтр, что совсем не гуд.

Это чаще бывает, когда вы участвуете в бирже по продаже ссылок, либо любите писать статьи с указанием множества внешних ссылок.

Может не все понимают, но на всякий случай повторим:

АНКОРНАЯ И БЕЗАНКОРНАЯ ССЫЛКИ

Для чего тег NOINDEX?

Ранее, до 2010 года Яндекс не воспринимал тег rel=nofollow (хотя Гугл уже использовал его), а значит нужно было закрывать ссылки для яндекса его(старым способом), а для гугла — новым. Посему код должен был выглядеть следующим образом:

1
<noindex><a href="http://myborder.ru" rel="nofollow">анкорный текст</a></noindex>

В этом случае мы удовлетворяли требования обоих поисковиков. Так что, те кто привык использовать ссылки таким форматом, использовали еще долгое время такой вариант.

А раз уже основные гиганты яша и гугл установили в этом отношении единый формат, то в нынешнее время достаточно использовать:

1
<a href="http://myborder.ru" rel="nofollow">анкорный текст</a>

Конечно может Яша не отказался от старого формата, но новый уже точно принят, поэтому, если норма принята, то не нужно забивать голову и сайт лишней информацией.

Для чего атрибут DOFOLLOW?

Суть в том, что когда мы указываем в ссылке атрибут nofollow, то ссылка становится неиндексируемой, то есть поисковик не учитывает ссылку. А когда этот атрибут не указываем, то ссылка будет автоматически считаться всеми как dofollow, просто по умолчанию. Вот в этом случае ПС учитывают эту ссылку и эта ссылка приобретает свой вес(в глазах поисковиков).

Конечно можно и указать этот тег, но опять же зачем лишний код, когда и так все понимают, что это единое правило.

Такой фактор притягивает и служит уже рекламой для увеличения притока посетителей. Отступая от темы скажу, часто многие сайты упираются в определенный порог посещаемости и не могут его перепрыгнуть, это говорит о том, что нужно что-то улучшать, добавлять и привлекать. В таком случае многие применяют такую фишку и делают сайт DOFOLLOW, и это оправдано + ваш сайт внесут в списки DOFOLLOW сайтов, которых в интернете не так много. А сие значит, что у вас прибавится количество бэк-линков.

Еще хотел бы добавить, что процесс индексирования ссылок можно ускорить, т.е. чтобы ссылки быстрее были учтены ПС можно воспользоваться определенными сервисами и программами, а почитать об этом можно здесь.

Если у вас возникли вопросы задавайте.

Всем удачи!

Как закрыть внешние ссылки от индексирования Яндекса

— также плагин может окружить скрываемые ссылочки тегом <noindex>link</noindex>.

— Он маскирует ссылочки с помощью редиректов.

Другими словами, он может вообще удалять ссылочки, ведущие на сторонний ресурс, при этом переход на посторонний ресурс происходит с помощью редиректа.

— Также можно наблюдать за статистикой кликов по ссылочкам на внешние ресурсы.

— Можно прописывать адреса тех ресурсов, которым вы не собираетесь закрывать ссылочки от индексации.

Например, вам нужно сделать открытыми внешние ссылочки для конкретных ресурсов. К примеру вы решили обменяться ссылочками. В этом случае вы прописываете адреса таких сайтов в настройке плагина.

Но хочу добавить, все полностью ссылочки делать закрытыми не следует, обязательно часть ссылок оставьте открытыми, что бы ваш ресурс выглядел естественно (ресурс вообще без внешних ссылочек — это не естественно).


Вы уже поняли, Как закрыть внешние ссылки, теперь давайте рассмотрим другой вопрос.

Как создать файл robots.txt для WordPress (3 способа)

Как только вы решили сделать свой файл robots.txt, всё что осталось – это найти способ его создать. Вы можете редактировать robots.txt в WordPress, используя плагин или вручную. В этом разделе мы обучим вас применению двух наиболее популярных плагинов для выполнения этой задачи и обсудим, как создать и загрузить файл вручную. Поехали!

1. Использование плагина Yoast SEO

Yoast SEO вряд ли требует представления. Это наиболее известный SEO-плагин для WordPress, он позволяет вам улучшать ваши записи и страницы для лучшего использования ключевых слов. Кроме этого, он также оценит ваш контент с точки зрения удобности чтения, а это повысит аудиторию поклонников.

Наша команда является почитателями плагина Yoast SEO благодаря его простоте и удобству. Это относится и к вопросу создания файла robots.txt. Как только вы установите и активируете свой плагин, перейдите во вкладку SEO › Инструменты в своей консоли и найдите настройку Редактор файлов:

Нажав на эту ссылку, вы можете редактировать файл .htaccess не покидая админ консоль. Здесь же есть кнопка Создать файл robots.txt:

После нажатия на кнопку во вкладке будет отображён новый редактор, где вы можете напрямую редактировать ваш файл robots.txt

Обратите внимание, что Yoast SEO устанавливает свои правила по умолчанию, которые перекрывают правила существующего виртуального файла robots.txt

После удаления или добавления правил нажимайте кнопку Сохранить изменения в robots.txt для вступления их в силу:

Это всё! Давайте теперь посмотрим на другой популярный плагин, который позволит нам выполнить эту же задачу.

2. Применение плагина All in One SEO Pack

После установки плагина, перейдите на страницу All in One SEO > Управление модулями в консоли. Внутри вы найдёте опцию Robots.txt с хорошо заметной кнопкой Activate внизу справа. Нажмите на неё:

Теперь в меню All in One SEO будет отображаться новая вкладка Robots.txt. Если вы нажмёте на этот пункт меню, вы увидите настройки для добавления новых правил в ваш файл, сохраните внесённые изменения или удалите всё:

Обратите внимание, что вы не можете напрямую изменять файл robots.txt при помощи этого плагина. Содержимое файла будет неактивным, что видно по серому фону поля, в отличие от Yoast SEO, который позволяет вам вводить всё, что вы хотите:

Но, так как добавление новых правил очень простая процедура, то этот факт не должен расстроить вас. Более важный момент, что All in One SEO Pack также включает функцию, которая поможет вам блокировать «плохих» ботов, её вы можете найти во вкладке All in One SEO:

Это всё, что вам нужно сделать, если вы выбрали этот способ. Теперь давайте поговорим о том, как вручную создать файл robots.txt, если вы не хотите устанавливать дополнительный плагин только для этой задачи.

3. Создание и загрузка файла robots.txt для WordPress по FTP

Что может быть проще, чем создание текстового файла txt. Всё, что вам нужно сделать, открыть свой любимый редактор (как, например, Notepad или TextEdit) и ввести несколько строк. Потом вы сохраняете файл, используя любое имя и расширение txt. Это буквально займёт несколько секунд, поэтому вы вполне можете захотеть создать robots.txt для WordPress без использования плагина.

Вот быстрый пример такого файла:

Мы сохранили этот файл локально на компьютере. Как только вы сделали свой собственный файл вам нужно подключиться к своему сайту по FTP. Если вы не совсем понимаете, как это сделать, у нас есть руководство, посвящённое этому – использование удобного для новичков клиента FileZilla.

После подключения к своему сайту перейдите в каталог public_html. Теперь, всё что вам нужно сделать это загрузить файл robots.txt со своего компьютера на сервер. Вы можете это сделать либо нажав правой кнопкой мыши на файле в локальной FTP навигаторе или простым перетаскиванием мышью:

Это займёт всего несколько секунд. Как вы видите, этот способ не сложнее использования плагина.

как добавить полезную кнопочку в html редактор WP

(ведь по умолчанию в редакторе кнопка ajax не предусмотрена)

Среди прочего нам потребуется: подключенная библиотека , а у кого её нет -подключим…

Разделы статьи:

Думаю, много излишне толковать о том, что в некоторых случаях просто необходимо скрывать ссылки, да так — чтобы всё шыто-крыто))

Основная задача предприятия исключения ссылок из индексации нужна для того, чтобы управлять полезным весовым ссылочным балансом страниц своего сайта.

Однако эта статья о технической составляющей этого предприятия… а на теоретическую основу темы ссылка будет ниже, — итак:

Вкратце: обычная ссылка закрытая тегом отображается в редакторе так:

<!-- noindex --><a title="имя" href="http://адрес" rel="nofollow" target="_blank">ИМЯ-ССЫЛКИ</a><!--/ noindex -->

Но — среди веб мастеров существуют убеждения, что сквозь атрибут всё же утекает полезный вес ресурса! А посему некоторые ссылки полезно закрывать иной атрибутикой тегов, в нашем случае — уделим внимание технологиям ajax:

…тогда ссылку перво-наперво следует упаковать так…

<!-- noindex --><span class="external-reference" data-link="COD-SSILCI">ИМЯ-ССЫЛКИ</span><!--/ noindex -->

Всё как бы здорово… но проблематично каждый раз вручную прописывать необходимые теги… Моё предложение:

Давайте…

Как запретить индексацию ссылки?

Для того, чтобы запретить поисковым системам индексировать внешнюю ссылку с вашего ресурса нужно проделать определенные операции с кодом ссылки на языке разметки гипертекста html, а именно есть два варианта:


  • использование nofollow в качестве значение атрибута rel тега <a> языка html. Использование данного способа на сегодняшний день является «рабочим» для всех поисковых систем, в том числе и Яндекса, однако, в свое время именно разработчики Яндекса в качестве альтернативы nofollow предложили ввести в использование тег noindex;

использование тега noindex языка html. Как я говорил выше, использование данного тега было предложено разработчиками поисковой системы Яндекс в качестве альтернативы nofollow. Данный тег учитывается только Яндексом и Рамблером (по причине использования устаревших поисковых алгоритмов Яндекса).

В техническом плане при реализации вышеуказанных мероприятий вы совершаете следующее: запрещаете поисковым системам передавать по указанной гиперссылке какой-либо «вес», тем самым уберегая свой ресурс от возможного снижения показателей авторитетности.

На сегодняшний день Яндекс распознает значение атрибута rel= «nofollow» тега <a>, поэтому использование именно данного методазапрета индексации ссылки представляется предпочтительным.

Для того, чтобы внешняя ссылка, размещенная на вашем ресурсе, не индексировалась поисковыми системами, необходимо придать ей следующий вид:

<a href="ссылка" target="_blank" rel="nofollow">анкор ссылки</a>

За запрет индексации ссылки отвечает, как мы уже поняли, атрибут rel= «nofollow», а атрибут target= «_blank» заставляет браузер открывать данную ссылку в новом окне.

В таком виде ссылка не будет индексироваться поисковыми системами.

Если же вы хотите воспользоваться тегом noindex, то закрытая им от индексации ссылка будет выглядеть следующим образом:

<noindex><a href="ссылка">анкор ссылки</a></noindex>

Однако, подобная конструкция будет расценена html-валидаторами ошибкой по причине отсутствия тега noindex в спецификации языка html, в связи с чем рекомендуется использовать конструкцию следующего вида:

<!--noindex--><a href="ссылка">анкор ссылки</a><!--/noindex-->

Кстати, в подобную конструкцию можно заключить не только ссылку, но и любой другой текст или код, который нужно запретить индексировать поисковым системам.

Применяя методы, описанные в данной статье, вы сможете запретить индексацию ссылок, размещенных на страницах вашего сайта, что положительно скажется на оптимизации вашего ресурса и позволит не допустить возникновения каких-либо негативных моментов от размещения внешних ссылок на другие ресурсы.

Удачи вам и до новой встречи!

Закрываем ссылки авторов комментариев.

Вот тут мы повозимся маленько, пока только анализируем, смотрите нам нужно найти вот этот код в файлах либо темы, либо самого вордпресса, точного ничего не скажу, но все же.

$return = "<a href='$url' rel='external nofollow' class='url'>$author</a>";

Открываем в самой теме файл comment.php, если есть в теме comment-template.php то вообще классно, и на последок откроем еще один файл comment-template.php в движке самого вордпресса, находиться он в папке wp-includes в коневом каталоге сайта, вот скрин. Берем тот код который был выше, и ищем его в файлах, начинаем с самой темы. Нажимаем комбинацию CNTRL+F для вызова поиска и ищем.

Если в файлах темы не нашли, то обрадую вас придется править сам движок. Да, да сейчас скажут, что мол при обновлении сотрется, ну на то мы и делаем резервные копии, чтобы потом знать где что меняли. Нашли, могу вас поздравить, вот так будет он выглядеть в теле кода. Теперь копируем этот код, и заменяем его на тот что я давал выше.

$return = "<span class='spanlink' title='$url' onclick=\"GoTo('$url')\">$author</span>";

То есть должно получить вот так. Если сделано правильно, то ссылки комментаторов будут закрыты, и будут отображаться как текст, для того чтобы проверить работоспособность, оставьте комментарий на любой сайт, нажмите на него для начала, если сайт открывается в новой вкладке, то это сработало. Дальше надо посмотреть сам код вывода, нажимаем правой кнопкой мыши на имени, и смотрим в исходный код, у вас должно быть как на скриншоте снизу.

Плюсы и минусы использования файла robots.txt

«+» краулинговый бюджет

Поисковый паук посещает веб-сайт с «разрешением» на сканирование определенного количества страниц, и в SEO это известно, как краулинговый бюджет. Это означает, что при блокировании вами разделов сайта от паука поисковой системы, вы позволите использовать ваш краулинговый бюджет среди других разделов. На первых порах может быть весьма полезно оперативно заблокировать поисковые системы от сканирования некоторых разделов, особенно для сайтов, на которых необходимо провести большую SEO чистку.

Блокировка параметров запроса

Краулинговый бюджет исключительно важен в ситуации, когда ваш сайт, для осуществления фильтрации и сортировки, использует множество параметров строчных запросов. Допустим у вас есть 10 разных параметров запроса, у каждого из них есть свои значения, которые можно как угодно комбинировать. Это приводит к сотням, если не тысячам, возможных URL-адресов. Блокировка всех параметров запроса от сканирования поможет вам сделать так, чтобы поисковая система осуществляла сканирование лишь основных URL-адресов на сайте и не попала в огромную ловушку, созданную вами в случае отказа от блокировки этих параметров. Эта строка блокирует все URL-адреса вашего сайта, содержащие строчный запрос: Disallow: /*?*

«-» страница остается в результатах поиска

Несмотря на то, что вы можете воспользоваться файлом robots.txt, чтобы сообщить пауку о запрещенных для сканирования страницах вашего сайта, вы не можете использовать этот файл, чтобы запретить поисковой системе отображать определенные URL-адреса в результатах поиска – иначе говоря, блокировка не будет препятствовать индексации. Если поисковая система найдет достаточно ссылок на этот URL-адрес, она включит его в результаты поиска, просто не будет знать, что находится на странице.

Если хотите заблокировать отображение страницы в результатах поиска наверняка, вам нужно использовать мета-тег robots со значением параметра content=“noindex”. Это значит, что для поиска тега с noindex, поисковой системе нужно иметь возможность доступа к соответствующей странице, поэтому не вздумайте заблокировать ее с помощью robots.txt.

Если поисковая система не способна просканировать страницу, она не может указывать на ценность конкретной ссылки другим ссылкам на этой странице, а если способна просканировать (не индексировать) – тогда может. Когда страница заблокирована файлом robots.txt, ссылка теряет любую ценность.

Методы, с которыми нужно работать осторожно:

Также существует достаточно грубый метод Закрытия чего — либо от роботов, а именно запрет на уровне сервера на доступ робота к конкретному контенту.

1. Блокируем все запросы от нежелательных User Agents

Это правило позволяет заблокировать нежелательные User Agent, которые могут быть потенциально опасными или просто перегружать сервер ненужными запросами.

В данному случае плохим ботом можно указать Любую поисковую машину, парсер либо что либо еще.

Подобные техники используются например для скрытия от робота Ахрефса ссылки с сайта, который был создан/сломан, чтобы конкуренты сеошники не увидели истинных источников ссылочной массы сайта.

Однако это метод стоит использовать если вы точно знаете, что хотите сделать и здраво оцениваете последствия от этих действий.

Использование HTTP-заголовка X-Robots-Tag

Заголовок X-Robots-Tag, выступает в роли элемента HTTP-заголовка для определенного URL. Любая директива, которая может использоваться в метатеге robots, применима также и к X-Robots-Tag.

В X-Robots-Tag перед директивами можно указать название агента пользователя. Пример HTTP-заголовка X-Robots-Tag, который запрещает показ страницы в результатах поиска различных систем:


С этим читают