Стоит ли в файле Robots.txt закрывать от индексации тэги?


Файл robots.txt относится к одной из тех вещей, о которых никто ничего толком не знает. Даже поисковики (Google и Яндекс) так составили свои руководства по этому вопросу, что закрадываются подозрения… А между тем, этот вопрос очень важен и для поисковой оптимизации, и для простого выживания сайта.

Вот и приходится по крупицам выискивать в Интернете опыт разных вебмастеров. Не так давно я в очередной раз посетил замечательный блог Александра Борисова и с удивлением прочитал там, что он не закрывает в robots тэги. И это не его идея, а … Яндекса. Дело было так: он написал в Яндекс письмо по какому-то вопросу и ему пришел ответ, что, мол, это потому, что у Вас закрыты от индексации тэги. Откройте их у Вас и посещаемость вырастет.

Сначала я не поверил этому сообщению: вопрос закрытия тэгов, рубрик и т.д. от поисковых роботов давно решен и такое закрытие, по общему мнению, благотворно влияет на индексацию сайта в целом, поскольку исключает дублирование. А теперь получается все наоборот.

Однако Александр продолжать утверждать, что у него посещаемость выросла. Как и говорил Яндекс.

Я решил провести эксперимент: тоже открыл тэги в этом блоге и стал пристально наблюдать за посещаемостью. И увидел, что посещаемость увеличилась примерно на 18%! И устойчиво держится на новом уровне. Вот это да!

Причем за время наблюдения контент на блоге увеличивался обычными темпами, никаких супер-пупер статей не печаталось, никаких действий по части SEO не проводились вообще.

Но этого не может быть, потому что не может быть! Ну, не может вырасти посещаемость из-за этого. Смешно предполагать, что на блог вдруг хлынули посетители, найдя в выдаче страницы тэгов.

И сейчас я в легкой растерянности. Причем в растерянности сразу по двум позициям:

— может быть, произошло совпадение: например, аккурат в это время Яндекс опять изменил что-нибудь в алгоритмах и эти изменения поспособствовали продвижению novichkoff? Правда, ведь и у Борисова выросла посещаемость, это — тоже совпадение?

— как Google отнесется к таким советам Яндекса? Совсем не факт, что у них взгляды совпадают.

Конечно, по одному блогу трудно делать какие-то выводы – мало информации, статистику не наберешь. Если бы кто-нибудь из вас, моих читателей, тоже попробовал бы открыть тэги и сообщил мне о результатах, — было бы здорово!

И очень интересно было бы узнать, а как будет обстоять дело с посещаемостью в таком случае не на блогах, а на сайтах других форматов, например, фотосайтах, форумах, библиотеках и т.д.?

P.S. А вообще, если хотите узнать о раскрутке все подробно, то начинать надо с самого начала — с введение в SEO

P.P.S. И еще. Я эту статью попридержал в течении двух недель — за это время был ап выдачи и апдейт тИЦ — посещаемость все растет и растет.

Похожие записи по этой теме:

4 thoughts on “Стоит ли в файле Robots.txt закрывать от индексации тэги?

  1. Ксения Юрьевна

    Здравствуйте, у меня тоже вначале так было, но только не нарочно. У меня 2 пула в роботексте разъехались на 3 интервала, я этого не замечала, потому что на своей даче все лето сидела. Здесь только статьи писала, теорией было некогда заниматься. Смотрю, мой сайт «вперед летит». ну думаю, наверное пишу очень хорошо. Пришла осень, дачу снегом запорошило, стала я ошибки исправлять и моя посещаемость упала с 300 в сутки до 10. Я у себя на сайте почти одна осталась. В веб. мастере масса дублей обнаружилась. ошибки 404.

    Думаю, что посещаемость искуственно не стоит завышать. Потому что это ложь, а всякая ложь, всегда раскрывается.

    Reply
    1. admin Post author

      Ксения Юрьевна, я полагаю, что такое падение посещаемости вызвано, скорее, другими причинами. Возможно, где-то Вы допустили ошибку и попали под санкции поисковиков. Сейчас санкции, видимо, снимаются, посещаемость растет. Я посмотрел Ваш файл robots.txt — там все правильно. Да и без него сайты работают. Как у Вас было, когда запись разьехалась?

      Ошибки 404 надо вовремя устранять. Лучше всего это делать при помощи программы Xenu. У меня есть парочка статей об этой программе, поищите.

      В том, что посещаемость не стоит искусственно завышать, Вы правы. Это — черное SEO и за него поисковики нещадно бьют.Только то, о чем я писал — не искусственная накрутка, а настройка блога, это — разные вещи. О моем единичном опыте работы в таком сервисе накрутки почитайте в статье «Отзыв о сервисе LiveSurf.ru: 50 минут поработал и убежал», адрес — www.novichkoff.ru/otzyv-o...l-i-ubezhal.html

      Reply
  2. Простой

    Полезный совет. А нужно ли / как скрывать /скрыть такое: сайт.ру/2012/08??

    А то в яндекс вебмастере показывается, что это вот про индексировалось: сайт.ру/2012/08.

    То есть как я понимаю архив в индексацию влез??

    Reply
    1. admin Post author

      Простой, Вы правильно понимаете. К сожалению, роботы поисковых систем часто плюют на запрещение индексации в файле robots

      Reply

Оставить комментарий

Your email address will not be published. Required fields are marked *