1 (03.03.2013 13:56 отредактировано Beach82)

Тема: Правильный robots.txt

Всем доброго дня! Пожалуйста, помогите. Сайт на  DLE. Материал про robots прочитал https://alaev.info/blog/post/3900  Не понимаю: что закрывать от индексации, а что нет. Т.е. где убирать "//" в добавленном куске кода. Может кто-нибудь поделится нормальным, рабочим, проверенным robots.txt? Т.е. настройками в файл /engine/engine.php Буду благодарен. Спасибо!

2 (22.03.2013 03:32 отредактировано Axel)

Re: Правильный robots.txt

В /engine/engine.php страницы закрываются метатегом. В robots.txt руками вводите разделы, которые нужно закрыть. Это немного разные понятия, так что стоит их разделять... smile

У себя через метатег закрыл следующие страницы: (обратите внимание, в некоторых разделах я оставил "//")

    $do == 'addnews' OR /* Страница добавления новости с сайта */
    $do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    ($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    ($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    ($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */

Вообще все параметры должны задаваться индвивдуально для каждого сайта. Вот возьмем, к примеру, строку "$do == 'tags' OR /* Просмотр новостей по тегу */" - если сраницы с тегами грамотно оптимизированы, то закрывать их от индексации явно не стоит.

//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */ - как видите, эту страницу я закрывать не стал. Все потому, что у меня на главйной не публикуются все добавленные новости, а только несколько важных блоков. В моем случае закрывать страницу lastnews было бы очень глупо... Если же у Вас все добавленные новости прокручиваются через главную, то страница lastnews Вам совершенно не нужна.


Что касается robots.txt
В статье писалось, что дублировать запрет на индексацию в robots.txt  и метатеге не стоит. Так как метатег работает гораздо эффективнее чем robots.txt, то в robots.txt вносим только следующее:
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

3

Re: Правильный robots.txt

Огромное спасибо! Буду пробовать! Надеюсь, индексация ровная станет после внесения изменений.

Re: Правильный robots.txt

Beach82 пишет:

Огромное спасибо! Буду пробовать! Надеюсь, индексация ровная станет после внесения изменений.

На ускорение индексации это не повлияет, но то что в индексе не будет лишнего - гарантирую smile