Главная

Основной причиной прихода АГС-17 и АГС-30(фильтр яндекса после которого остается от 1 до 20 страниц в индексе) является так называемые дубли(дублирование контента на одном сайте) страничек. Старым трастовым сайтам это еще как-то прощается, молодым нет. Многие популярные CMS автоматически генерируют кучу этих самых дублей, и если их не убирать то в итоге сайт или блог попадает под фильтр АГС.

Рассмотрим на примере популярного движка WordPress как убрать(сделать невидимым) дублируемый контент от поисковых систем. WP автоматом создает множество дублирующих страниц(теги, категории, страницы авторов,архив и прочее). Известный плагин для WP под названием All in One SEO Pack не решает проблему дублей(как думают многие).

Спрятать дубли от поисковиков можно с помощью файла robot.txt что находить в корневом каталоге вашего сайта(если его нет то создайте его с помощью блокнота и залейте в корневой каталог). Скрыть что-то(в нашем случае повторяющийся контент) от глаз поисковых роботов можно командой Disallow в файле robot.txt

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /tag/

Disallow: /category/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /2010/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Данный пример файла robot.txt для сайтов на движке ВордПресс , имейте ввиду что для каждого сайта надо делать robot.txt индивидуально, универсальных robot.txt нет.

Для того что бы определить какие странички у вас являются дублями наберите в строке поиска Яндекса следующие:

http://yandex.ru/yandsearch?text=&site=blog-nc.ru&ras=1&site_manually=true&lr=213

blog-nc.ru – замените на доменное имя вашего сайта.

И вам откроется полный список страниц в индексе Яндекса посмотрите внимательно какие странички дублируют контент и закройте их от поисковиков в robot.txt.

P.S. Те кто торгует ссылками с сайтов скажут что мол убирать дубли невыгодно и у них некоторые сайты прекрасно чувствуют себя с ними. До поры до времени скажу я вам уважаемые манимейкеры, лучше 100- 200 страниц стабильно в индексе чем 1000 на две недели.