Еще раз: не плодим дубли, категорически закрываем от индексации все технические страницы, в строгом соответствии с рекомендациями в "Яндексе" и Google составляем robots.txt. На 95 % сайтов, аудит которых я проводил, robots.tx был написан с синтаксическими (что не страшно, в общем - то) или фактическими ошибками. За последние два года мне три раза приходилось сталкиваться с тем, что сайт вылетал из индекса, поскольку веб - мастер нечаянно запретил индексацию сайта в файле robots.txt, просто написав строку Allow без параметров, подумав, что она разрешает индексировать на сайте.
Смотрим, чтобы было с robots.txt. В обязательном порядке проверяем, что выдает наш сервер в ответ на запрос браузера. Если ваш сервер отвечает – типичная ситуация, – что срок валидности опубликованного материала истек 1 января 1980 года, то ни о каком регулярном и системном посещении вашего сайта поисковыми роботами и речи нет. Вы можете прописать в sitemap все параметры как положено, однако, если робот увидит эту запись в коде ответа сервера, он ваш sitemap проигнорирует. Пустячок, но я сам был свидетелем того, как новостной сайт нормально не индексировался. После того как в полях, касающихся модификации публикаций, появились валидные даты, возникла валидная дата истечения cookie, сайт взлетел просто за счет того, что робот стал заходить практически секунда в секунду с публикуемым материалом. Грубо говоря, вы делаете технически правильный сайт и потом не платите мне 30 тыс. за то, чтобы я вам сказал: "Исправьте эту строчку в robots.tx или закройте с помощью noindex технические страницы".
К слову о noindex. Он позволяет закрыть часть страницы от индексации. Проглядываю сайт, и каждое второе предложение – в noindex. Спрашиваю у владельца сайта:
– Что это такое у тебя?
– А это я придумал такой очень хороший способ уникализации текста!
– Как так?
– Вот "Яндекс" это предложение читает, это предложение читает, это предложение, и вроде как текст уникальный.
– Да "Яндекс" у тебя все прочитает, понимаешь?
Noindex – это "не помещать в индекс", это не значит "нельзя читать, нельзя анализировать". Это значит "прочти, проанализируй, но не помещай в индекс". На сайте "Яндекса" четко все написано в "Помощи", двоякие толкования исключены.
Очень серьезная контора, имеющая десятки сайтов по всему бывшему СССР Специфика компании вынуждает одни и те же позиции товара по 50, по 100 раз на одной странице приводить. В какой - то момент сайт перестает нормально индексироваться, все рушится, из индекса тоже много вылетает. Когда я проверяю сайт, в первую очередь смотрю robots.txt, потом код страницы. Открываю совсем небольшую страничку – там 150 раз noindex.
– А что это, господа?
– Понимаете, у нас слово "насос" встречается 150 раз, и мы подумали, что "Яндекс" это сочтет спамом. Только один "насос" оставили, а все остальные забрали в noindex, чтобы поисковик их не прочитал.
Во - первых, "Яндекс" никогда прайс - лист, табличку не сочтет спамом. Он не дурак и распознает, где у вас прайс - лист, а где текст, насыщенный спамом. Он это начал понимать лет десять назад. Во - вторых, если на сайте 50 тыс. страниц и на каждой надо обработать тег по 150 раз, это же какие вычислительные мощности потребуются. В конце концов, либо роботу самому "надоело", либо человек зашел, увидел 150 noindex, у него глаза из орбит вылезли, он – чпок! – нажал кнопку.
Повторюсь, когда я слышу: "Помогите, мой сайт попал под АГС!" – то, если это достаточно серьезная площадка, почти наверняка она попала не под АГС, а под информационный белый шум в Интернете, помноженный на глупость владельца.
Если не АГС, то что может грозить хорошему сайту и за что именно?
А. Ш.: Да простит меня поисковая система "Яндекс", но у нее очень часто случаются разного рода ошибки и глюки. В большинстве случаев они некритические и остались бы незамеченными, кабы владельцы сайтов, "вооруженные" информационным шумом, не следили за позициями. Здравый смысл подсказывает, что важно следить за трафиком сайта. А информационный шум говорит: "Мониторь позиции". Вдруг владелец сайта видит, что у него позиции начинают скакать. Когда подобное происходит, у меня первая мысль: "А не глюк ли это "Яндекса"?" Ведь мне известно, что с моим сайтом все нормально и ни с того ни с сего он прыгать в выдаче не начнет. А у человека, который живет в белом шуме, иная реакция: "А какой фильтр на меня наложили?" Он делает лихорадочные шаги в поисках мнимого фильтра и надеется устранить проблему, мечась от одного предположения к другому: "Ах, может быть, у меня переспам? А давай на 1 % меньше ключевых слов на всех страницах сделаем? Ах, может быть, я слишком много ссылок закупил? Дай - ка я от части откажусь, закуплю вместо них другие…" Сайт, в общем - то, стабильный и нормальный, но с ним в одночасье затевается чехарда: синхронно меняются тексты на всех страницах, ссылки скачут. Все, и никаких фильтров не надо. Просто потому, что тексты синхронно поменялись, позиции у вас упадут.
Технологии совершенствуются. Раньше – да: накупил ссылок – фильтр "Ты последний" (уж не знаю, существовал он на самом деле или нет), переспамил – фильтр "Ты спамный". Сейчас такого нет. Действуют очень сложные механизмы, которые стараются понапрасну не наказывать. На сегодняшний день "Яндекс" наказывает, только если его изрядно достать. Четкой статистики у меня нет, но частенько ко мне приходят люди с просьбой: "Ах, определите, какой у меня фильтр!" Нередко дело в региональной принадлежности оказывается. "Яндекс" все время что - то у регионов подкручивает. Господа, ваш сайт привязан к Перми. Поменяйте регион, и вы увидите, что эта чехарда только в конкретном регионе происходит, в других ее нет. У "Яндекса" написано чуть ли не аршинными буквами черным по белому на панели "Веб - мастер", что для каждого региона используются свои правила ранжирования. Следовательно, что - то с факторами ранжирования в вашем регионе происходит. Можно задать "Москву", зайти с зарубежного IP и убедиться, что на самом деле с сайтом все нормально. Я не знаю, как он внутри устроен, в моих глазах "Яндекс" – это "черный ящик" что на входе, что на выходе. Но очень часто по какой - то причине "Яндекс" перестает видеть часть страницы. Может, действительно какие - то проблемы с базой, а может, проблемы со считыванием. Тем не менее он индексирует страницу до половины, а оставшуюся часть не видит. Такие эксцессы, впрочем, кратковременны. Если вас "Яндекс" видит по одному заголовку, по тупому вхождению предложения целиком, а абзацем ниже – нет, то подождите немножко. При условии, что вы страницу в noindex не забирали, не бывает так, чтобы страница индексировалась кусочками, она всегда индексируется полностью.
Когда позиции скачут или нечто подобное происходит, как правило, это не фильтр?
А. Ш.: Я бы не сказал "как правило". Всегда можно проверить. Все боятся: "А ну как у меня на сайте какой - то криминал, и если я напишу в техподдержку "Яндекса", то меня накажут еще сильнее". На самом деле написал и получил ответ: "Извините, с вашим сайтом все в порядке, у нас была ошибка. Подождите немного, ваш сайт начнет ранжироваться нормально". Уверяю вас, когда я обращаюсь по поводу нормального сайта, я в 90 % случаев получаю именно такой ответ. Так и пишут: "Проблемы с нашей стороны. Подождите, ваш сайт начнет нормально ранжироваться". Спросите! Нет, я буду уменьшать количество вхождений на сайте. Нет, я буду менять структуру: кто - то мне подсказал, что у меня неправильный sitemap. Я нагенерю sitemap, куда для надежности включу все технические страницы, которые "Яндекс" никогда бы не нашел самостоятельно. Итог печален.
Говносайты, MFA - сайты11 (между прочим, хорошие MFA - сайты очень тяжело отличить от обычных качественных сайтов, это практически одно и то же), сайты под Sape, под продажу ссылок, для арбитража всегда видно сразу. Если сайт нормальный, приличный, на нем несымитированная людская активность, но он оказывается наказанным, это не АГС. У АГС нет конкретной причины. АГС – это сложный механизм, который берет совокупность огромного количества параметров. Когда сайт наказывают за что - то конкретное, это не АГС, а в 90 % случаев глупость владельца.
Если что - то случается с позициями, до ответа от "Яндекса" лучше не делать "резких движений"?
А. Ш.: Да. Конечно, если ваш сайт плохой и наказан за то, что он плохой, вам так и скажут честно: "Развивайте ваш сайт. Наши алгоритмы приняли решение". Если ваш сайт до сих пор был нормальным, то глупо опасаться, что на основании письма его отнесут к плохим. Может быть, такая вероятность есть, но она намного ниже, чем шансы на то, что вы сами испортите свой сайт необдуманными действиями. Для того и существует диалог. Можно даже написать: "Был такой - то запрос, по нему у меня сайт был на пятой позиции, а сейчас на пятнадцатой. Что случилось?"
Клиент стесняется написать. А я всегда пишу, даже если клиент меня просит не писать уж открою секрет. Потом отвечаю клиенту, что его сайт вернется в индекс через два - три апдейта, и с чистой совестью беру с него деньги за письмо, написанное в "Яндекс". Если он не хочет платить, ради бога, пусть напишет сам, но если он хочет мне заплатить за то, чтобы я написал, я сделаю это.
За что все - таки могут наказать качественный, сделанный для людей сайт? Ведь, кроме АГС, существуют и другие фильтры.