Не удаляются страницы из поиска Яндекса. Что делать? |

Время чтения: 4 мин.

Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.

Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).

Как удалить страницы из поиска Яндекса: стандартная процедура.

Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:

— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,

— У Вас на сайте должен быть файл robots.txt.

Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:

Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:

Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.

Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.

Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.

Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».

Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:

Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».

Появились затруднения

Получив несколько таких сообщений, я глубоко задумался. Как же так:

  1. одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
  2. индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
  3. запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса.  Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
  4. Скажите мне на милость, чем отличаются эти две строчки:

Disallow: /category/*/*

Disallow: /tag/*

Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!

Рекомендую  сделать, чтобы удалить ненужные страницы

Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:

User-agent: Yandex

Disallow: /tag/

 

И вот она, любезная нашему сердцу, строчка – «URL  добавлен в очередь на удаление»:

 

Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.




И в конце несколько кратеньких советов:

1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.

2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.

3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.

4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.

5. Примеры строчек:

— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты

— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,

надо писать все после слэша включительно(слэша, закрывающего название сайта):

/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.

В результате должно получиться так:

Disallow:  /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it

6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.

7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.

…Сообщите об этой статье своим друзьям:

Благодарю Вас!

А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.

Удачи!

Автор: Сергей Ваулин


Похожие записи по этой теме:

Раздел: Без рубрики