Не удаляются страницы из поиска Яндекса. Что делать?


Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.

Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).

Как удалить страницы из поиска Яндекса: стандартная процедура.

Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:

— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,

— У Вас на сайте должен быть файл robots.txt.

Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:

Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:

Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.

Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.

Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.

Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».

Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:

Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».

Появились затруднения

Получив несколько таких сообщений, я глубоко задумался. Как же так:

  1. одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
  2. индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
  3. запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса.  Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
  4. Скажите мне на милость, чем отличаются эти две строчки:

Disallow: /category/*/*

Disallow: /tag/*

Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!

Рекомендую  сделать, чтобы удалить ненужные страницы

Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:

User-agent: Yandex

Disallow: /tag/

 

И вот она, любезная нашему сердцу, строчка – «URL  добавлен в очередь на удаление»:

 

Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.

И в конце несколько кратеньких советов:

1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.

2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.

3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.

4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.

5. Примеры строчек:

— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты

— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,

надо писать все после слэша включительно(слэша, закрывающего название сайта):

/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.

В результате должно получиться так:

Disallow:  /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it

6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.

7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.

...Сообщите об этой статье своим друзьям:
Благодарю Вас!
А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.

Удачи!

Автор: Сергей Ваулин

Похожие записи по этой теме:

13 thoughts on “Не удаляются страницы из поиска Яндекса. Что делать?

  1. Наталья

    Прошло больше 2-х недель после удаления url в яндекс вебмастере. Никакого движения, все эти страницы загружены и в поске, прошло 3 апдейта с тех пор. Интересно как долго ждать?

    Reply
  2. валерия

    так и не получилось,можете ли вы удалить данные с поисковика

    Reply
  3. Ринат

    Спасибо большое за совет, сегодня сделал все как вы описали. После апа, когда будут результаты отпишусь. Недавно попросили помочь начинающие сайтостроители, на хостинг с основным доменом они поставили еще три сайта, но в си панели домены не добавили, а просто тупо сделали папки в в дериктории основного сайта и поставили перенаправления. В итоге главный домен забрал себе все ссылки с добавленных, и осталось у добавочных только первые страницы. Я убрал перенаправления, добавил домены (у каждого свой каталог), сегодня сделал вышеописанное, жду. Может у вас будет какой совет, может сталкивались? Может что упустил?

    Reply
    1. admin Post author

      Ринат, нет, с таким я никогда не сталкивался. Я не понял, какие ссылки забрал главный домен? И вообще, не очень понятно в чем суть проблемы?

      Reply
  4. Александр

    А если таких страниц 1000 или ещё лучше 7 000 что их все вручную насосить??

    Reply
    1. admin Post author

      На Ваш вопрос Яндекс молчит. Я думаю, что лучше удалять с помощью файла robots.txt и со временем (у Яндекса ничего быстро не бывает) они уйдут из выдачи.

      Reply
  5. Елена

    Дело в том что я не продаю постовых ни в сапе ни в другой бирже, и посты уникальные использовала, поэтому и удивляюсь, и не нахожу причины

    Reply
    1. admin Post author

      Елена, если Вы не балуетесь на сайте с монетизацией, то тогда, скорее всего, на Вашем сервере (у хостера) есть нехорошие соседи. Яндекс любит бить по площадям не особо разбираясь, кто прав, а кто виноват. Попробуйте написать хостеру, чтобы он перенес Ваш сайт на другой сервер. Если это не поможет (а узнаете Вы только через некоторое время), то пишите Платону. Письмо должно быть БОЛЬШОЕ и слезное.

      Reply
  6. Елена

    Противоположная проблема. У меня на одном из моих блогов яша выкинул практически все страницы из поиска, из почти 300 осталось 10, со мной таких казусов ещё не было, и не знаю ни причину не что делать. Платону писала, но пока не ответа не привета.

    Reply
    1. admin Post author

      Елена, причина проста и банальна: Ваш сайт попал под фильтр, скорее всего, это — АГС-17. Ответ Яндекса я Вам и так могу сказать: продолжайте работать над сайтом и когда наши алгоритмы посчитают, что у Вас все нормально, санкции будут сняты. Причину у Яндекса Вы вряд ли узнаете (хотя такие случаи истории известны) — может Вы переборщили с постовыми или с продажей ссылок на Сапе. Вам надо самой определить, что Вы нарушили, устранить причину, а потом уже писать Платону.

      Reply
  7. Юлия

    Все равно не помогает. Задача: удалить сайт из индекса целиком. Главная страница висит уже 2 месяца и не хочет удалятся. Интересно, а влияет ли присутствие сайта в Вебмастере на удаление сайта?

    Reply

Оставить комментарий

Your email address will not be published. Required fields are marked *