Программа Xenu для проверки битых ссылок


Логотип XenuСегодня мы познакомимся с одной замечательной бесплатной программой для проверки битых ссылок — Xenu's Link Sleuth. Я уже писал про отличный плагин Broken Link Checker , но  эта программа умеет делать даже больше, чем он.

Поэтому я предлагаю обязательно попробовать эту программу. Уверен, вы ее полюбите и она станет постоянным участноком вашего арсенала вебмастера.

Мы подробно рассмотрим вопросы:

  1. Предназначение, системные требования к программе. Скачивание и установка Xenu
    Настройки программы
  2. Проверка ссылок и их предварительный анализ
  3. Отчет о «битых» ссылках
  4. Анализ «битых» ссылок
  5. Какие бывают типы ошибок в отчете
  6. Наша благодарность автору программы

1.Предназначение, системные требования к программе. Скачивание и установка Xenu

Программа Xenu's Link Sleuth (сокращенно –Xenu) предназначена для поиска  «битых» ссылок (т.е. которые ведут в никуда), изображений, фреймов и еще кое-чего, менее для нас значимого.

Кроме того, программа умеет проверять HTML – файлы на вашем комьютере и проверять файлы на локальном сервере (типа Денвер-3), надо только указать  адрес локального сервера — http://127.0.0.1

И еще вебмастера ее приспособили для поиска дублей страниц, о чем подробно поговорим в одном из ближайших постов.

 

Преимущества программы Xenu's Link Sleuth:

  • Полностью бесплатная:
  • Имеет очень простой интерфейс (управление);
  • Улучшенные отчеты об ошибках (а не просто – «ошибка связи»);
  • Если требуется показ только «битых ссылок», то только они и будут показываться, а не все подряд;
  • Программа разрабатывалась только одним человек, причем имеющим опыт в создании программного обеспечения с 1983г. Поэтому исключена даже малейшая несовместимость различных частей программы;
  • Легкие в понимании отчеты, даже если вы используете длинные URL;
  • Файлы программы занимают на жестком диске мало места;
  • Многопоточная проверка (от 0 до 100 потоков) сокращает время проверки сайта;
  • Проверка защищенных сайтов с помощью протокола SSL (адрес начинается с https://);
  • Проверка редких FTP и Gopher сайтов;
  • Определение и обработка URL с редиректом;
  • Создает карту сайта.

Для работы программы требуется Windows 95/98/ME/NT/2000/XP/Vista/7. Она прекрасно работает и под Fedora 13, Red Hat 8, Ubuntu, OS X (требуется wine ), и под Mac (требуется CrossOver ).

И еще: для вашего же спокойствия автор программы рекомендует использовать обновленные антивирусные программы (сам он всегда так делает).

Скачать программу можно с сайта автора  . Как всегда, на случай непредвиденных обстоятельств я закачал последнюю версию Xenu – 1.3.8 —  на свой сервер. Оттуда тоже можно ее скачать.

Программа легкая, весит всего 743 КВ.

Установка программы никаких затруднений не вызывает: мастер установки работает прекрасно, надо только со всем соглашать и жать «Next».

2.Настройки программы

Для того, чтобы настроить программу, нам надо поработать в двух местах. Прежде всего, кликаем по вкладке «Options» и далее по «Preferences»:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.1 (Все скриншоты кликабельны)

У нас появится окно, где надо сделать настройки:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.2

Сначала нам надо установить количество потоков. По умолчанию стоит 30, но, полагаю, это число при первых проверках надо уменьшить до 3-5 (рекомендация автора), чтобы не создавать излишней нагрузки на линии связи и сайт. Автор программы, правда, пишет, что, хотя у него и DSL – соединение, его оператор, как он подозревает, препятствует увеличению нагрузки на сеть, чтобы заставить его перейти на более высокие тарифы. Ну, немецкие дела нас мало касаются (автор – из Германии), а вот у меня и при 5 потоках сервер хостинга начинает бастовать.

Поэтому начинать проверки следует осторожно и лишь постепенно увеличивая количество потоков.

Далее стоит окошко с установкой глубины просмотра. 999 так 999, пусть остается.

Флажок о необходимости запроса пароля или сертификата (при необходимости), тоже стоит оставить.

Перейдем к отчету (правая сторона окошка). Можете оставить те галочки, какие хотите, или вообще  все, программа в любом случае скачает все ссылки, а эти настройки касаются только отчетов.

Но, на всякий случай, я приведу русское значение этих строчек:

  • Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки;
  • Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы;
  • Broken local links – показывать локальные «битые» ссылки;
  • Redirected URLs – показывать ссылки с редиректами;
  • Site Map – создает sitemap для Google;
  • Statistics — строит в отчете различные таблицы.

В конце нажимаем ОК.

Теперь нам надо кликнуть по вкладке «File» и в появившемся списке команд нажать на «Check URL» (Проверить URL):

 программа Xenu's Link Sleuth - поиск битых ссылокРис.3

Собственно, мы как бы уже начинаем процесс проверки, но предварительно нам предлагается ее настроить:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.4

Прежде всего, нам надо указать URL сайта, который мы хотим проверить. Проверять можно не только сайт целиком, но и отдельные страницы и папки. Но если вы проверяете папки (каталоги), то адрес надо писать обязательно со слешем на конце, иначе программа не поймет и проверит весь сайт целиком.

Написано в этом случае должно быть так (разница в последнем слеше — косой черте):

www.novichkoff.ru/user/

а не так:

www.novichkoff.ru/user

Примечание. Впереди должно быть указано http:// . У меня не написано, потому что Google тогда эту строчку воспринимает как ссылку.

Если вы собираетесь проверить какой-то отдельный html- файл, то надо нажать кнопку «Local File» (верхняя правая стрелка) и в открывшемся окне найти этот файл в своем компьютере.

Очень важный чекбокс – «Check external links» (Проверять внешние ссылки), галочку оставляем.

Следующее окно предназначено для исключений – ссылку, начинающаяся каким-то определенным образом (надо указать каким именно образом), считать как внешнюю. Это если вы используете такие ссылки: например, с помощью редиректа переводите внешние ссылки в разряд внутренних.

В следующем окне необходимо указать URL сайтов, все ссылки на которые проверять не следует.

В обоих этих  окнах, такие УРЛы надо вписывать по одному в верхнюю часть окна и нажимать «Add» (Добавить) и ссылка перейдет в нижнюю часть окна (на скриншоте рис.4 это видно). Программа запомнит эти настройки и не будет проверять ссылки, начинающиеся с указанных URL.

Можете в этих окнах вообще ничего не указывать.

Если вы забыли установить настройки в разделе «Options» (рис.2) или решили их изменить, то при нажатии кнопки «More options» (левая нижняя стрелка) попадете туда снова.

После всех настроек, нажимаете кнопку ОК – начинается процесс проверки ссылок.

3. Проверка ссылок и их предварительный анализ

Процесс проверки у всех будет занимать разное время – от нескольких десятков секунд до нескольких часов – в зависимости от размера сайта и количества параллельных потоков. После окончания проверки на главной странице программы появится окно:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.5

Нам программа сообщает, что проверка ссылок закончена и нужен ли вам отчет о проверке? Нажимаем «Да», если нужен, и «Нет», если не нужен. В первый раз нажмите «Да», чтобы посмотреть — что это такое, а дальше уже сами решите – надо это вам или нет.

Начинаем просмотр ссылок. В зависимости от результатов проверки цвет шрифта ссылок будет разный:

  • Зеленый – ссылка работает;
  • Серый – ссылка находится в очереди на проверку или же она исключена из проверки в соответствии с вашими настройками;
  • Красный – ссылка является «битой» или недоступна по тем или иным причинам (например, такое бывает, если сервер прервал допуск программы к сайту,  это будет видно в графе Status – будет написано что-то вроде TIMEOUT).

Если проверка ссылок прервана по каким-то причинам, через некоторое время повторите проверку, причем программа проверять будет только непроверенные ссылки. Для этого надо кликнуть по вкладке «File», у вас появится другой список команд, не такой как раньше, и нажать на ссылку «Retry broken links»:

программа Xenu's Link Sleuth - поиск битых ссылокРис.6

Начнется допроверка или перепроверка битых/ непроверенных ссылок.

Кстати, обратите внимание, что на рис.6 в правой части указаны комбинации «горячих клавиш».

И еще посмотрите на нижний правый угол программы – там отображается общее время проверки, общее количество ссылок на сайте, сколько из них проверено и количество потоков в работе.

Перед тем, как приступить в анализу конкретных «битых ссылок», удовлетворим свое любопытство и посмотрим, что за анализ нам предлагает программа.

4.Отчет о «битых» ссылках

После того, как во всплывающем окне мы нажмем «Да», в вашем браузере откроется новая вкладка с отчетом о проделанной работе:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.7

Программа нашла у меня всего 2 битые ссылки и показывает данные о них для исправления:

  • Верхняя строчка показывает URL ссылки, это облегчит ее поиск,
  • Средняя строчка показывает тип ошибки – 404 или какая-то другая,
  • Нижняя строчка показывает адрес страницы, на которой расположена «битая» ссылка.

В нижней части отчета идут таблицы:

 программа Xenu's Link Sleuth - поиск битых ссылокРис.8

Мне кажется, что эти данные лучше использовать при дальнейшей работе по совершенствованию всего сайта, а для работы по устранению «битых» ссылок они не очень годятся. Для работы с битыми ссылками лучше вернуться в программу.

5.Анализ «битых» ссылок

Прежде всего, нам надо найти ссылку, помеченную красным цветом, и кликнуть по ней. После этого нажать на кнопку «URL Properties» (верхняя стрелка):

программа Xenu's Link Sleuth - поиск битых ссылокРис.9

Откроется окно с таким же названием. Мы видим, что у нас на сайте в шаблоне отсутствует картинки и что на эту картинку ссылается одна страница. В данном конкретном случае это не моя ошибка, а автора шаблона, но исправлять ее надо мне: сделать и закачать картинку под таким же названием.

Вот примерно таким образом вы и должны работать с каждой (!) «битой» ссылкой. Довольно часто придется писать другим вебмастерам, чтобы что-то поправили у себя на сайте, или редактировать шаблон, или исправлять адрес ссылки и т.д. Зато поисковики будут страшно довольны.

Маленькая подсказка: кликните по «битой» ссылке правой кнопкой мыши и в списке команд можете выбрать копирование ссылки.

Все это (поиск «красных» ссылок) можно сделать довольно легко, если у вас общее количество ссылок не очень большое. А если их много-много тысяч? Автор программы предусмотрел и это. В программе имеется возможность показа только «битых» ссылок. Для этого необходимо кликнуть по вкладке «View»:

программа Xenu's Link Sleuth - поиск битых ссылок Рис.10

В открывшемся списке команд щелкните по верхней строчке и программа покажет только «битые» ссылки:

 Рис.11

Теперь вам работать будет проще. Работать с ними надо точно так же, как написано выше: кликаете по ссылке правой мышью… Рассмотрение самой программы мы закончили, теперь (справочно!) приведу типы различных ошибок, которые в отчете пишет программа, и их суть.

6. Какие бывают типы ошибок в отчете XENU

Error 404 (Not Found)

Ошибка 404 – та самая, из-за которой мы и ищем «битые» ссылки. Означает – «Страница не найдена». Их обязательно надо найти на страницах сайта и исправить.

403 Forbidden

Ошибка 403 – в доступе отказано. На такие ошибки большого внимания не обращайте. Они возникают из-за того, что сайт или отдельный файл потребовал что-то дополнительно, например, пароль.

12029 (No Connection)

Ошибка 12029 возникает при отсутствии соединения с сервером. Это не свидетельствует о вашей ошибке, беспокоится не стоит.

503 (Service Unavailable)

Ошибка 503 – Сервис недоступен. Связь с сервером имеется, но сервер не отвечает. Это не ваша ошибка.

12002 (Timeout)

Ошибка 12002 возникает из-за разных причин. Суть ее в том, что произошло прерывание соединения с сервером. В нашем случае – из-за большой нагрузки на сервер. Необходимо через некоторое время возобновить проверку.

12038 (SSL certificate common name incorrect)

Ошибка 12038 происходит из-за того, что имеется ошибка в сертификате безопасности SSL. Эта ошибка не является свидетельством того, что ссылка – «битая». Не обращайте внимания.

7.Наша благодарность автору программы

Эту замечательную и притом бесплатную программу создал немецкий программист Tilman Hausherr. Эту программу он вполне мог продавать за деньги, но он даже не просит пожертвований в свой адрес, заявляя, что и финансовый кризис 2008 года сумел пережить.

Вы можете отправить деньги, если хотите, в помощь тем социальным программам и институтам, которым он сам оказывает помощь. Список таких адресов приведен на его сайте в разделе FAQ.

Если вы работаете во Всемирно известных компаниях, например, в Газпроме, то можете оправить ему почтой благодарственное письмо.

Но вот что могут сделать абсолютно все: Вы можете лайкнуть в Facebook на странице программы и/ или на странице автора.

Давайте не будем выглядеть неблагодарными.

О том как найти на сайте и удалить с него (исправить) битые ссылки, написано в этой статье.

P.S. Кстати, ликвидация «битых» ссылок поможет вам в раскрутке вашего сайта. Цена продвижения в интернет может быть излишне велика, если у вас на сайте много нерабочих ссылок, имейте это ввиду.

Похожие записи по этой теме:

4 thoughts on “Программа Xenu для проверки битых ссылок

  1. Creator

    Просмотрел ни один сайт, но про данную программу услышал впервые. Спасибо автору за то, что я смог узнать про эту программу.

    Reply
  2. Ксения Юрьевна

    Здравствуйте, Поздравляю с новым годом вас!

    Вернулась по закладке на вашу статью. Скачала программу хену. По вашей статье изучила ее, включила и она сейчас работает, а я вам комментарий пишу. Посмотрела свой прошлый комментарий, там у меня пропусков букв очень много, исправьте пожалуйста.

    Хочу вам сказать, что статью вы написали замечательно, 2 дня назад она мне показалась слишком длинной, но оказалось все по делу и очень хорошие иллюстрации и все хорошо понятно.

    Весь ваш сайт выполнен стильно и грамотно,но это не сразу заметно, из-за черно — белых тонов, нужно приглядеться, чтобы это заметить. Сегодня совсем уж поздно, завтра к новому году нужно готовиться. После завтра я опять зайду, обязательно подпишусь у вас и везде лайкну. Сегодня только твитну. А мне предстоит большая работа над ошибками. Гугл уже не находит мой ситтемап из-за ошибки 404. Ручная работа медленно продвигается.

    Спасибо вам за такую статью полезную на самом деле.

    Reply
  3. Ксения Юрьевна

    спасибо за ценную информацию, попробую скачать программу и поработать с ней, если получиться, У меня за 1 месяц ошибкой 404 стал практически весь иой сайт. Потому что я прилепленную страницу отлепила и все места статей перестроились,паук не находитьих. И битых тоже много за год работы.

    Reply
    1. admin Post author

      Ксения Юрьевна, уверен, программа Xenu Вам поможет в работе

      Reply

Оставить комментарий

Your email address will not be published. Required fields are marked *