Блог перестал индексироваться

blogger domain problem
Да, да, так оно и есть. Но это не значит, что я вылетел из индекса. Просто новые посты больше не попадают туда. Заметил этот печальный факт я почти сразу. Если кто-то ждёт, что сейчас пойдёт разговор про АГС или Панду, то поспешу разочаровать, хотя я бы предпочёл санкции Яндекса (из них гораздо легче выходить).

Но АГС мне дадут наверное, разве что по ошибке, поскольку я веду вроде как "сайт для людей", ссылки фактически не продаю, никогда не покупаю (хотя позже может и приспичит, ручаться не буду), копипаст здесь только в виде чужих скриптов, что поисковиков не сильно заботит.

Как это случилось?

Изначально я писнул критическую статью в адрес Google. Опасаясь гонений и карательных мер, я не стал публиковать её на этом блоге, а сделал в другом месте. Здесь же написал пост и оставил там ссылку.
Эта статья попала в индекс обоих поисковиков, но на этом мои быстрые залёты в индекс кончились.
Следующие статьи уже совсем не проиндексировались ни в Яндксе, ни в Гугле.

Конечно я бегом в Вебмастер смотреть, "какого хрена...":

zaprosi yandex
История запросов Яндекса

И что мы видим, а ровным счётом ничего. Не могу сказать, что бот перестал приходить. Регулярно сканит блог.

В надежде найти ответы, я просмотрел все исключённые страницы, ошибки, в общем облазил весь вебмастер, но ничего не нашёл, ни одной зацпки. Хотя мы знаем, что данные там могут отставать от суток и до недели.

В центре вебмастеров Google явных ошибок не нашёл. Да, битые линки были, из-за корявости платформы Blogger, но это же не повод, так мне сделать ручкой в плане индексации.

Преусловутая статистика сканирования не выявила паронормальных отклонений.

История запросов Google

Но тут на самом деле хрен поймёшь. Какой-то пяток постов, который не будет индексироваться, трудно отследить.

И вот на форуме Сообщества Любителей Blogspot мне дали ссылку на очень интересный пост "Google Stops Indexing Blogger Blogs On Custom Domains". По-русски - "Google перестал индесировать припаркованные домены". Речь идёт о тех доменах, которые мы привязали к блогу взамен блогспотовских. А ещё там говорится о том, что некоторые пачки блогерро-блогспотовских сайтов временно заморозили, что индексирование колеблется, и надо ждать. В общем, одни "хз"... Тут ещё виноваты и новые сео-фишки Blogger и доменные редиректы (это вообще огромный костыль и незачёт).

Обратите внимание, что пост датируется Февралём 2012 года, а проблемы продолжаются.

При этом гайка настолько плотно завёрнута, что Яндекс не имеет доступа к последним постам блога (после 20-того числа).

Конечно мне кое-как удалось пробиться в индекс, какими-то невероятными усилиями, хотя блог того не стоит, чтобы полдня на это убивать. В этой статье (что я привёл выше) есть ссылка на официальный форум, который, к сожалению, я так и не смог пока загрузить (вешает лису намертво).

В самой ситуации ничего страшного нет. У любого вебмастера периодически наступают такие моменты. Но всё же я привык как-то контролировать ситуацию, исправлять ошибки, а здесь за меня решил "большой брат".

ps: написал в техподдержку Яндекса (ожидаю от них больше помощи). Если ответят по-человечески, а не любимыми копипастами (Платон страдает использованием неуникального контента в своих ответах), то узнаю больше.

41 комментарий:

  1. С точки зрения «чайника»... Вопрос, наверное, не столь технический. Пришло время выбирать, кому служить. Либо - либо. «Слуга двух господ» - как и дитя у семи нянек. :) ИМХО - естественно.
    Яндекс перестал видеть мой блог в момент перевода его на динамический просмотр. Зато Google - благосклонен.

    ОтветитьУдалить
  2. 21/03/12 проиндексированно обеими системами
    сегодня в фид бросила - в Гугл уже есть, Яндекс - пока молчание

    Я уж так привыкла к благосклонности со стороны поисковиков, что давно не проверяла индексацию.

    ОтветитьУдалить
  3. Да, Палыч, такое впечатление, что динамику разработали именно, чтобы хозяин блога забил на региональный поисковик и сделал ставку на Google.

    Nmitra. На прошлой неделе у меня так и было. А потом вообще труба.
    Google: По запросу http://blogger.omg-linux.ru/2012/03/blog-perestal-indeksirovatsya.html ничего не найдено

    ОтветитьУдалить
  4. По поводу отказа ГУгл индексировать припаркованные домены - это для меня нововсть.


    ПыСы...зацЕпки

    ОтветитьУдалить
  5. Рад, что моя ссылка на форуме помогла разобраться!
    Очень грустно, что решения принимают за нас не только в реальной жизни, но и в онлайне!:(
    Будет жаль, если временные неурядицы сократят жизнь этого великолепного, полезного блога!

    ОтветитьУдалить
  6. Да, вот примерчик от зарубежных коллег:
    Its happening to me also.

    Googlebot has stopped indexing in 5Feb2012, it has been visiting my Blog daily, but no crawling/indexing the articles.

    I have a domain associated to my Blog and 4.000 daily visitors, its has been terrible this failure...

    www.destinoslusos.com

    ОтветитьУдалить
  7. Только что пришёл ответ от Платона Щукина (послал я ему то ли в субботу вечером, то ли вчера мессадж "sos"):
    Здравствуйте!
    Не беспокойтесь, эти страницы уже начали индексироваться, и после одного-двух обновлений поисковой базы они смогут появиться в поиске. Прошу Вас немного подождать.

    ОтветитьУдалить
  8. Я и сам заметил, что гугл перестал быстро индексировать статьи, чего раньше не было, но я на это не обращалл внимания, все равно с опозданием индексирует. А Яндекс блестяще индексирует. Посмотри на свой рейтинг в Яндекс блогах, может он упал или что. Скоро статью опубликую и проверю, как Яндекс себя поведет.

    ОтветитьУдалить
  9. Да, упал рейтинг, вообще фигня стала =).

    ОтветитьУдалить
  10. @aldous Как мне видится Яндекс рейтинг не зря присваивается, это рейтинг доверия Яндекса блогу, чем выше рейтинг, тем выше доверие. У тебя рейтинг высокий, но может из-за снижения и индексация теперь хуже. Ждать апов как раньше - это кошмар, не дай бог.

    ОтветитьУдалить
  11. Просто так ничего не происходит! А может появились недоброжелатели и как то, по тихому нагадили! Механизмов тут может быть много!

    ОтветитьУдалить
  12. >По-моему, блоги сохранят часть своего значения в том или ином виде. Я не могу сказать, что их уже нет или не будет. Но нам, конечно, надо переосмыслить поиск по ним, мы думаем над этим, пока ничего не придумали.

    Баян уже,наверное, но...

    http://www.lenta.ru/articles/2012/03/12/yandex/

    ОтветитьУдалить
  13. Нет, нагадить по-тихому очень трудно. Можно накатать жалобу и добиться, чтобы доступ прикрыли к блогу. Но это долго, трудно, маловыполнимо.

    А чтобы Goggle запретил доступы поисковым роботам - для единичного блога этого не сделать лишь по жалобе, тут тоже самое, что и у других - часть блоспота временно закрыта для индексации.

    ОтветитьУдалить
  14. Хехе. Если Яндекс обещает апы, значит на данный момент они не понимают причины отсутствия доступа для робота. Визуально всё должно быть тип-топ.
    Но мы то понимает =). Я всегда знал, что любая неполадка в Blogger может привести к ухудшению индексируемости в целом.

    Технически, Blogger в своих контейнерах на фрейме отрупает доступ к определённому ноду (что-то вроде этого) и далее блог представляет только лишь красивую болванку, с красивым роботс.тхт и метатегами, но на деле труп. Оставляет только браузерный 80-ый порт, чтобы мы любовались им.

    Факт остаётся фактом - Blogger дошёл до своей опасной грани - превышение нагрузки. За ней, если временно не отрубить часть блогов и не провести апгрейд, апдейт и прочие фишки, начнётся такой логодром, что пострадают все.

    Хотя может причина совсем банальна: типа отрубим часть блогов и поэскпериментируем на них.

    Вчера вечером я открыл десяток блогспотовских блогов, на всех была серверная ошибка (503 вроде), и страницы с первого раза не открывались.

    ОтветитьУдалить
  15. Действительно твоя статья не проиндексировалась. Вчера я опубликовал свою http://www.damir-tote.ru/2012/03/optimizacija-blogger.html она проиндексировалась Яндексом, но гугл молчит зараза

    ОтветитьУдалить
  16. Да, а потом Платон напишет, что со стороны Яндеса были приложены все усилия, но ничего не получилось, и что я должен с движком разбираться сам (логично).

    Перевёл проектик "линуксы.рф" подальше с блоггера-блогспота (ну его нафиг).

    Если здесь блог "не починится сам", сваливаю на MaxSite.

    Уже пробовал с WP 3.1, но в нём не работает импорт через xml с блогспота (модуль типа старый).

    ОтветитьУдалить
  17. Как не работает? Я недавно перевозил один свой блога на ВП...

    ОтветитьУдалить
  18. Не коннектит к блоггеровскому акку, выкидывает. Я и так и сяк, хотя в другой версии всё проходило удачно.

    ОтветитьУдалить
  19. А вот какой ответ прислали мне позавчера:
    "Прошу Вас не беспокоиться, робот начал индексировать указанные страницы Вашего сайта. Они должны появиться в поиске по мере обхода роботом и последующих обновлений поисковой базы. Пожалуйста, подождите немного." но толку пока нет! тоже сижу на блоггере.

    ОтветитьУдалить
  20. Вот-вот.
    Теперь в вебмастере я вижу, что робот Яндекса, начиная с 26 марта (там стоит ошибка 3xx), вообще не появлялся у меня на блоге! То есть сколько бы не обновлялись поисковые базы, моего блога в индексе не будет.
    Послал снова письмо в суппорт.

    ОтветитьУдалить
  21. Вот и у меня такая ж проблемка: блог не хочет индексироваться после парковки домена. Как думаете, это временно? Нужно делать что-нибудь или "Няхай будзе так"?

    ОтветитьУдалить
  22. Вы же видите, какая ситуация, вот меня Яндекс забанил по причине ошибки редиректа, может и вас тоже по этой самой причине не хочет индексировать. А может вас просто закинули в такую очередь, что пол года будете ждать. Остатаётся только ждать и пописывать в техподдержку Яндекса.

    ОтветитьУдалить
  23. Сайт примерно пол года простаивал. Вдруг я за него взялся, кучу огромных постов написал, чуть не годовой запас выложил:D
    Взялся с начала февраля, и вот на данный момент яндекс пустил в индекс тольку одну новость, остальные остались в невидении несмотря на то что бот сканит сайт исправно. Печально, только захотел продажей ссылок заняться, а у меня даже сайт не индексируется, да кому я такой нужен

    ОтветитьУдалить
  24. Ну-ну, не стоит себя списывать, всё можно поправить. Если есть желание разобраться с сайтом, для начала сообщите его адрес :-).

    ОтветитьУдалить
  25. @aldous
    а есть какие то мысли? :)
    www.steve-o.ru

    ОтветитьУдалить
  26. Выдача с Яндекса показывает, что сайт проиндексировался.

    ОтветитьУдалить
  27. @aldous
    да так то оно так, 53 страницы в индексе есть, но помимо них написал еще 5 постов и уже 2 неделю они без внимания бота :(

    ОтветитьУдалить
  28. Ну вот опять выдача яндекса седня обновилась ни единого + к индексации. Кстати, вот что заметил, в вебмастере пишет 1 ошибку sitemap
    http://cs405529.userapi.com/v405529514/6586/5sHH2rLFrPw.jpg

    как-то влияет на индексацию? :(

    ОтветитьУдалить
  29. Ну влияние сайтмап не такое сильное, как хотелось бы, но в ряде случаев сайтмапа помогает.
    У вас в Вебмастере неправильный сайтмап. Тот, что вы поставили не читался никогда Яндексом. Правильный я описал здесь - http://blogger.omg-linux.ru/2013/01/sitemap-dlya-bloga.html.

    ОтветитьУдалить
  30. Так вот оно как:) спасибо переделал. Ну и robots у меня быть может неправильный

    ОтветитьУдалить
  31. Роботс можно не трогать, если нет нужды закрыть какие-то отдельные страницы.

    ОтветитьУдалить
  32. Так что что такое то вобще? Я в начале года начал свой блог вести на припаркованном домене, а с 23 февраля гугл вобще больше нихрена не индексирует. Это что за ад то? (

    ОтветитьУдалить
  33. Alex, если есть желание разобраться, гоу сюда. Региться не надо, просто авторизуйтесь гугло-учёткой. Создайте топик в Сео/Оптимизация-Воспользуюсь услугами - Добавить, опишите подробно свою проблему + ссылка на блог, будем коллективно смотреть.

    ОтветитьУдалить
  34. Яндекс отписался :)

    Здравствуйте, Артем!

    Две первые страницы уже известный роботу и смогут попасть в поиск после индексирования с обновлениями поисковых баз.
    Третья страница проиндексирована роботом и должна появиться в поиске после одного-двух таких обновлений. Пожалуйста, немного подождите.

    Немного приободрился, но ждать "немного" уже затянулось. еще раз уточню про сайтмэп. скопировал первообразную ссылку с блоггеровского домена (сайт.blogspot.com/sitemap.xml) и тупо в яндекс вставил?! чтобы удалить старый сайтмап нужно в роботс покапаться говорит, нужно ли это делать? (и главное как)

    ОтветитьУдалить
  35. А зачем вы в Яндекс писали? У вас ссылки в индексе есть. Новые могут появляться сразу, могут не появляться. Робот приходит, сверяет изменения в старых постах. 5 дней - не срок.
    Насчёт сайтмап - старый оставьте. Просто в Вебмастер вставьте сайт.blogspot.com/sitemap.xml и всё.

    ОтветитьУдалить
  36. И ещё забыл спросить: где у вас в постах description? Что-то не видно в исходнике страницы метатег уникального описания к статье.

    ОтветитьУдалить
  37. Спрашивает тоже :D я же чайник. Блог делал на подсказках и уроках. И по всей видимости много чего упустил. Description это как я понимаю http://cs405529.userapi.com/v405529514/6632/l2Wms18zJds.jpg
    описание сайта в выдаче, правильно?
    так..так..так. посмотрел твой пост добавил пару строк http://cs405529.userapi.com/v405529514/663b/JoYvzr_VUis.jpg
    и еще, не очень понятен момент когда: "Делаем уникальными метатеги description и keywords, указав url конкретной страницы в Blogger"

    получается для каждой страницы надо вручную вставлять в шаблон все новый и новый код?



    ОтветитьУдалить
  38. Нет, нет! Теперь это не нужно. Всё уже есть в Blogger.
    Я уже отвечал на этот вопрос, так что даю ссылку на этот коммент:
    "Описание вы можете увидеть в редакторе сообщения...".
    Всё, что ставили вручную ранее, в код шаблона, касаемо только description, удаляйте.

    ОтветитьУдалить
  39. я правильно понял? http://cs405529.userapi.com/v405529514/664d/w4OrvM2fNNI.jpg

    ну и навел же я шороху у тебя :D

    ОтветитьУдалить
  40. Условия b:if с description и keywords надо удалить. Ещё выше какое-то странное условие, не имеющее конца, что это?

    ОтветитьУдалить
  41. вообще не в курсах. http://cs405529.userapi.com/v405529514/665d/x-v457By-u8.jpg

    ОтветитьУдалить