Огромное спасибо! Буду пробовать! Надеюсь, индексация ровная станет после внесения изменений.
На ускорение индексации это не повлияет, но то что в индексе не будет лишнего - гарантирую 
Огромное спасибо! Буду пробовать! Надеюсь, индексация ровная станет после внесения изменений.
На ускорение индексации это не повлияет, но то что в индексе не будет лишнего - гарантирую
У себя через метатег закрыл следующие страницы: (обратите внимание, в некоторых разделах я оставил "//")
$do == 'addnews' OR /* Страница добавления новости с сайта */
$do == 'alltags' OR /* Страница просмотра списка тегов */
$do == 'feedback' OR /* Страница формы обратной связи */
$do == 'favorites' OR /* Страницы закладок пользователей */
$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
$do == 'lostpassword' OR /* Страница восстановления пароля */
$do == 'pm' OR /* Страницы личных сообщений пользователей */
$do == 'register' OR /* Страница регистрации нового пользователя */
$do == 'rules' OR /* Страница правил сайта */
$do == 'stats' OR /* Страница статистики сайта */
$do == 'search' OR /* Страница поиска и результатов поиска */
//$do == 'static' OR /* Все статические страницы */
$do == 'tags' OR /* Просмотр новостей по тегу */
//$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
$catalog != '' /* Просмотр каталога по буквенному идентификатору */Вообще все параметры должны задаваться индвивдуально для каждого сайта. Вот возьмем, к примеру, строку "$do == 'tags' OR /* Просмотр новостей по тегу */" - если сраницы с тегами грамотно оптимизированы, то закрывать их от индексации явно не стоит.
//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */ - как видите, эту страницу я закрывать не стал. Все потому, что у меня на главйной не публикуются все добавленные новости, а только несколько важных блоков. В моем случае закрывать страницу lastnews было бы очень глупо... Если же у Вас все добавленные новости прокручиваются через главную, то страница lastnews Вам совершенно не нужна.
Что касается robots.txt
В статье писалось, что дублировать запрет на индексацию в robots.txt и метатеге не стоит. Так как метатег работает гораздо эффективнее чем robots.txt, то в robots.txt вносим только следующее:
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml