Битые ссылки, как найти и обезвредить

Другие программы проверки битых ссылок

В начале статьи обещал список других анализаторов, пожалуйста:


Majento SiteAnalyzer: Majento SiteAnalyzer это программа-паук, позволяющая сканировать сайты и проверять основные технические и SEO-параметры на предмет ошибки. Язык русский.

LinkChecker. LinkChecker — бесплатный, лицензированный веб-валидатор GPL . LinkChecker проверяет ссылки в веб-документах или на полных веб-сайтах.

Linkbot. Веб приложение Chrom.

LinkScan. LinkScan — это инструмент для проверки ссылок и управления сайтом. Семейство продуктов LinkScan обеспечивает гибкие возможности автоматизации тестирования для всего спектра веб-приложений. Скачать: http://www.elsop.com/download/

LinkAlarm. Веб-сервис Link Alarm автоматизирует процесс проверки ссылок с помощью отчетов и предназначен для улучшения рабочего процесса обслуживания веб-сайтов. http://www.linkalarm.com/

Web Link Validator. Web Link Validator помогает веб-мастерам автоматизировать процесс проверки веб-сайтов и проверки сайтов на наличие ошибок. http://www.relsoftware.com/wlv/

W3C Link Checker. http://validator.w3.org/checklink

Screaming Frog. 500 ссылок сайта проверяются в бесплатной версии. Полный анализ сайта не только по ссылкам, но и всем мета тегам. Отчеты можно скачать.

InSpyder. Simple, powerful Website & SEO software Compatible with Windows XP to 10. //www.inspyder.com/.

LinkExaminer. LinkExaminer работает в Windows XP или любой версии Windows.

SeoJus.ru

Плагин для WordPress

Если ваш сайт или блог работает на движке WordPress, то можно воспользоваться плагинами, которые предназначены для поиска битых ссылок. Одним из самых популярных плагинов является Broken Link Checker. При необходимости изменить настройки, выберите в консоли команду Настройки — Проверка ссылок. Как правило, я не изменяю настройки плагина. Если на вашем сайте много неактивных ссылок (текст ссылки присутствует, но по щелчку ничего не происходит), то имеет смысл отслеживать «битость» и таких ссылок. Чтобы это было возможно, на вкладке Which Links To Check, ставим галочку на против пункта Plaintext URLs (Текстовые URL-адреса).

В настройках Link types (типы ссылок) поставьте галочку около пункта Plaintext URLs

По мере сканирования сайта, Broken Link Checke, будет сообщать результаты. Чтобы увидеть найденные ошибки, выполняем команду Инструменты — Неправильные ссылки.

Для просмотра результатов сканирования, выполняем команду «Инструменты — Неправильные ссылки»

В отчете, в разделе «Неправильные» , битые исходящие и внутренние ссылки, помечены разными значками.

Битые исходящие ссылки помечаются жёлтыми значками, битые внутренние ссылки — красными (кликабельно)

Нет необходимости гадать, на какой странице находится битая ссылка, так как источник уже указан в таблице (колонка «Источник»). Смело можно удалять ссылки типа http://none, http://одноклассники, http://нет сайта. Как правило, подобные ссылки, оставляют компьютерные чайники — у них нет сайта, но они, оставляя комментарии, пытаются заполнить поле «Сайт», которое не является обязательным для заполнения.

В сайтах некоторых тематик, рассчитанных на чайников, следует скрывать поле «Сайт» в форме комментариев, дабы не усложнять жизнь пользователям и себе.

Чтобы удалить ссылку, можно навести на неё курсор и в появившемся меню выбрать команду Удалить ссылку.

Если вы уверены, что ссылку можно безболезненно удалить, щелкните «Удалить ссылку»

Обратите внимание, что данная ссылка была добавлена с комментарием. Ссылка была удалена, но комментарий остался, т.е

ничего ценного не удалилось.

В некоторых случаях, особенно если речь идет о внутренних ссылках, необходимо не удалять ссылку, а отредактировать её. Для этого выбираем команду Редактировать URL. Если есть сомнения по поводу того, что делать с ссылок, то следует навести курсор на ссылку в колонке «Источник» и выбрать команду Перейти.

Если есть сомнения, то лучше просмотреть страницу, на которой размещена битая ссылка

Посмотрев, где именно размещена ссылка, можно принять окончательное решение — удалить или изменить ссылку.

Большим плюсом плагина Broken Link Checke, в сравнении с Xenu,  является то, что он в состоянии обнаружить видео YouTube на вашем сайте, которое не работает.

На строительном сайте, Broken Link Checker обнаружил 6 роликов YouTube, которые не воспроизводятся


Как правило, видео перестает отображаться по той причине, что она удалено с YouTube.

Видео не производится на сайте, так как она было удалено с YouTube

В конкретном случае, необходимо заменить код неработающих роликов, так от этого зависят поведенческие факторы.

Что использовать – программу или онлайн сервис?

На самом деле, если ваш сайт на обычном протоколе передачи данных, то есть, если адрес сайта начинается с http:// то принципиальной разницы нет. Кому как удобнее. Кто-то любит онлайн сервисы, кто-то предпочитает софт. Но есть свои особенности.

На счет плагина для WordPress, я уже говорил выше. Не стоит ставить внутрь сайта то, что можно сделать снаружи. Меньше нагрузка на сайт, меньше возможных глюков, меньше возможных уязвимостей.

Что касается панелей вебмастеров на Яндексе и Гугле. Да, они, рассчитаны в том числе на поиск внутренних ссылок с ошибками. Но по сравнению с использованием программы Xenu они менее удобны.

Свистопляска начинается тогда, когда у вас сайт на безопасном протоколе, то есть, если адрес сайта начинается с https.

Выше вы уже видели, что Яндекс Вебмастер показывает проблемы. На самом деле, это сайт не web-ru. Так вот, на том сайте, я недавно поставил редирект с http на https. И на самом деле, эти страницы, не битые. И любой посетитель сайта, может спокойно пройти на эти страницы.

Да, Вебмастер видит их так. И можно сказать, что это тоже ошибка. Но в данном случае, ошибка не с наличием битой ссылки, а с переездом на безопасный протокол. И если у вас задача, найти именно битые ссылки, то Вебмастер, в данном случае, будет только мешать.

Похожая проблема и у онлайн сервиса проверки битых ссылок — Broken Link Checker. Проще говоря, он просто не принимает на проверку сайты, использующие безопасный протокол.

Таким образом, в этом случае, самый лучший выход — использование программы Xenu. Который вполне лояльно относится к различным типам используемых протоколов. Поэтому, что именно вам использовать, смотрите сами.

Что же касается меня, то у меня теперь другая задача – удалить все битые ссылки со своего сайта, дабы вам не пришлось меня матюкать, пытаясь перейти по битым ссылкам.

Случайные публикации:

  • Немного нового в SEO: покупаем вечные ссылки в рассрочку — обзор биржи GoGetTop.ruДумаю, пора перестать отдыхать от летнего отдыха и опубликовать что-нибудь…
  • Информер Яндекс Метрики. Настройка…ешите поставить, то можно произвести с ним кой-какие настройки.

    Настроить можно

  • Яндекс и рекламный мобильный редирект…m_no=20239 . Как оказалось, этот вебмастер размещал код мобильного редиректа от одной
  • Где находится страница сайта: в основном индексе Google или дополнительном?…ствует ли этот документ в поиске, следует сделать ещё одну проверку: cache:адрес таким
  • Что такое мета-тег Robots (meta name robots)? 7 основных вариантов + варианты для GoogleBot…сразу для всего сайта, используя специальные регулярные выражения.

    Но если вы хотите

Оставьте комментарий:

Еще больше о внутренних ссылках сайта

No-follow ссылки

Скорее всего, на вашем сайте есть ссылки, которые не имеют значения для SEO. Например, пользовательская ссылка для входа на сайт, которая обычно размещается на главной странице, не должна забирать на себя часть ссылочной ценности, так как ей не нужны высокие позиции в поисковой выдаче.

Предотвратить потерю ценности ссылки можно с помощью тэга <no-follow >. Этот тэг говорит поисковым системам, что по найденной ссылке не нужно делать переход, и ценность не теряется.

Вы могли подумать: «О, так я буду ставить no-follow для менее важных ссылок, чтобы более важные получили больше ценности». Раньше это работало, но сейчас Google стал умнее. Теперь, похоже, если вы добавляете тэг <no-follow> к ссылке на какую-то страницу, последняя теряет всю свою ссылочную ценность (даже ценность ссылок с тех страниц, где этот тэг не указан).

Так что имеет смысл уменьшить количество ссылок на странице вместо назначения каким-то из них <no-follow>.

Имейте в виду, что добавление этого тэга не скрывает целевую страницу из поисковой выдачи. Если вы хотите полностью спрятать от поисковых машин публикацию или страницу, используйте тэг <no-index>. Он сообщает Google, что найденный результат не нужно отображать и индексировать для выдачи в результатах поиска.

Якорные тексты (анкоры)

Как только вы определились, какие ссылки должны быть на странице, и какие страницы должны получить ссылочную ценность, важно установить правильный якорный текст. Якорь (текст ссылки, анкор ссылки) – активируемый по щелчку мышки текст, который видит пользователь

Например, якорный текст для трех внутренних ссылок на картинке ниже показаны красными стрелками.


Переоптимизированный якорный текст может навредить вашему сайту. Под переоптимизацией имеется в виду использование во всех анкорах ключевых слов.

Раньше вы могли вставлять во все тексты ссылок одно и то же ключевое слово, и Google лучше ранжировал ваш сайт по этому ключу. Теперь поисковая система стала достаточно сообразительной, чтобы понять – текст вокруг анкора говорит о релевантности ключевого слова больше, чем сам якорь.

Поэтому убедитесь, что текст ссылки выглядит естественно в общем контексте: использование ключевых слов необходимо, но не нужно тыкать один и тот же ключ во все анкоры.

Xenu — программа для поиска битых ссылок

Xenu’s Link Sleuth — небольшая бесплатная программа, которую можно загрузить с сайта автора (ZIP-архив 426 Кб).

После установки запускаем программу и щелкаем по иконке Check URL (File-Check URL).

Нажимаем Check URL

По умолчанию, включена опция Check external links (проверять исходящие ссылки). Её нужно отключать в том случае, если вы хотите проверить только внутреннюю перелинковку сайта.

Вставляем адрес сайта, который хотим проверить и жмём ОК

После окончания парсинга, имеет смысл отсортировать результаты по колонке Status, для этого достаточно щелкнуть по заголовку этой колонки.

Результаты проверки отсортированы по колонке Status

Все строки кликабельны. По двойному клику на любой из строк, осуществляется попытка загрузить страницу, размещенную по указному URL.

Итак, битые ссылки найдены, но пока непонятно, с каких страниц сайта они ведут. Для того, чтобы в этом разобраться, щёлкаем правой клавишей мыши на любой строке из списка и в контекстном меню выбираем команду URL properties (свойства URL).

Для того, чтобы узнать URL страницы, на которой размещена битая ссылка, в контекстном меню выбираем «URL properties»

На скриншоте ниже видно, что обнаружено три страницы, на которых проставлены ссылка на Profit partener

Обратите внимание, что вторая и третья ссылки — это дубли, которое создал WordPress при добавлении комментариев

Программа обнаружила три страницы с битой ссылкой на Profit partener

Остается удалить ссылку со станицы, размещенной по первому (каноническому) URL — на дублях ссылки будут сняты автоматически.

Необходимо настроить WordPress таким образом, чтобы он не плодил дублей с допиской ?replytocom. Для поиска дублей в Xenu, следует отсортировать список по колонке Title — повторяющие тайтлы говорят о наличии дублей.

Нашел все битые ссылки, что дальше?

То, что нашли, уже хорошо. Только теперь надо их исправить. Будем действовать по следующей схеме действий:

  • Разберем все ссылки.
  • Категоризируем их.
  • И исправим все ошибки.

Анализируем ссылки

Сначала надо организовать данные, полученные из сервисов по поиску битых ссылок. Надо понять, почему те или иные ссылки поломаны. Например, если дело в опечатке, то проще всего исправить эту самую опечатку в коде сайта. Если страницы больше не существует, то надо удалить ссылку и добавить заглушку с соответствующим сообщением. Мол, «410 Gone, ребята, странички не будет». А если вы недавно переехали на другой домен, то самым адекватным решением будет — настроить массовый редирект.

Поэтому для начала можно создать такую простенькую табличку:

Мертвая ссылка Количество посещений Редирект сюда
kakaya-to-statya.net 17 kakaya-to-statya.blog.net
sayt-s-opechatkay.ru 12
sayt-s-opecahtloy-2.ru 1

На ней сразу будет видно ссылки, которым нужен редирект, ссылки, для которых стоит заморочиться с исправлением опечаток, и те, о которых можно забыть.

Но это, конечно, исключительно пример. Вы можете организовать полученную информацию, как вздумается.

Исправляем опечатки

Опечатки бывают двух типов. Те, что допустили вы как владелец сайта. И те, что допускают посетители, надумавшие зайти к вам вручную, указав адрес страницы (страшные люди). Какие опечатки стоит исправлять и так понятно. Те, что допустили сами.

Настраиваем редирект

Теперь займемся ссылками, которые по-вашему мнению нуждаются в перенаправлении.

Тут и пригодится таблица, которую я описал выше. Наглядно показано, что и куда должно переехать.

Расскажу, как можно сделать 301 редирект в CMS WordPress и с помощью файла .htaccess

WordPress

Открываем вкладку «Инструменты»

  • Переходим в подпункт «Плагины».
  • Кликаем по поисковому полю.
  • Ищем плагин Redirection и устанавливаем его.

В поисковике будут и другие плагины, с помощью которых можно настроить редирект. Можете попробовать их. Это уже дело вкуса.

  • Потом снова открываем вкладку «Инструменты».
  • Переходим к настройкам плагина «Перенаправления».
  • Нажимаем на Add new redirection.
  • Указываем Source URL (ссылку, с которой надо перенаправить).
  • А потом Target URL (куда надо перенаправить).
  • И сохраняем заданные параметры.

Ну и так придется повторять до тех пор, пока все ссылки, нуждающиеся в перенаправлении, не получат его. Эти задачи нередко достаются верстальщикам на аутсорсе или «разнорабочим» с UpWork и других бирж.

Как сделать массовый редирект

При переезде на новый домен вручную делать редирект всех битых ссылок — это нерациональный адский труд. Поэтому проще воспользоваться массовым редиректом. Делаем следующее:

  • Открываем сайт для генерации файла .htaccess с настроенным перенаправлением.
  • Ставим галочки напротив пунктов Mass Redirect to another Domain и 301 Redirect URLs.
  • Напротив первого вписываем название сайта.
  • Напротив второго домен, с которого нужно перенаправить пользователей, и домен, на которой надо перенаправить.
  • Нажимаем на кнопку Generate .htaccess в нижней части страницы.

Потом копируем сгенерированный код и вставляем его в файл .htaccess на сервере.

Впрочем, так можно сгенерировать код для любого типа перенаправлений.

Что делать с битыми ссылками?

Имея список страниц с неработающими URL, устранить имеющиеся ошибки можно несколькими способами.

Исправление внешних ссылок

1. Если страница, на которую вы ссылаетесь, продолжает существовать, но по каким-то причинам ссылка перестала работать — достаточно просто заменить линк.

2. Когда речь идет о купленной ссылке, которую нельзя деактивировать или заменить, нужно связаться с администратором сайта и совместно прояснить ситуацию.

Исправление внутренних ссылок

1. Если страница была удалена непреднамеренно — ее восстанавливают, и ссылка начинает работать заново.

2. В большинстве случаев неработающие ссылки просто заменяют на новые, если страницы на которые вы ссылались до этого продолжают существовать на сайте или у них имеются аналоги.

3. Если ссылки не работают из-за опечаток, допущенных в написании URL, их можно отредактировать вручную.

4. Еще один вариант решения проблемы — настройка 301-х редиректов с удаленных документов на другие релевантные страницы.

5. Самый радикальный подход к решению проблемы — простое удаление неработающих ссылок.

Мониторинг битых линков целесообразно проводить постоянно. Он особенно важен, если в структуру сайта вносились изменения, затрагивающие URL-адреса, проводились общие технические работы или удалялось много страниц. С представленными в обзоре инструментами такой аудит не займет много времени и обеспечит 100% результат без трат на коммерческий софт.

Чем сайту грозит наличие битых ссылок?

Линки, ведущие на несуществующий контент, не так уж безобидны.

Чем они угрожают сайту:

Битые ссылки, ведущие на внешние ресурсы, – потеря трафика и недополучение ссылочной массы, ведь линк будет вести в пустоту.

Google и Yandex учитывают поведенческие факторы при ранжировании сайтов, поэтому для SEO-оптимизации важно, чтобы пользователи как можно чаще приходили на веб-портал и задерживались на нем, причем чем дольше – тем лучше. Именно тогда поисковики расценят сайт как интересный и полезный для посетителей, а значит, выдвинут его на первые страницы в поисковой выдаче

Удаление битых ссылок поможет в этом. Но сначала их нужно найти.

Вас может заинтересовать: Как улучшить качество сайта, чтобы понравиться Google?

Удаление помеченных объектов, замена ссылок. Обычное и управляемое приложение. Не монопольно, включая рекурсивные ссылки, с отбором по метаданным и произвольным запросом Промо

Обработка удаления помеченных объектов с расширенным функционалом. Работает в обычном и управляемом приложении. Монопольный и разделенный режим работы. Отображение и отбор по структуре метаданных. Отборы данных произвольными запросами. Копирование и сохранение отборов. Удаление циклических ссылок (рекурсия). Представление циклических в виде дерева с отображением ключевых ссылок, не позволяющих удалить текущий объект информационной базы. Удаление записей связанных независимых регистров сведений. Групповая замена ссылок. Индикатор прогресса при поиске и контроле ссылочности.

10 стартмани

31.10.2016    50199    591    m..adm    210    


С этим читают