1

Тема: Robots checker - ошибка при анализе файла robots.tхt

Добрый день!
Вот на этом сайте http://tool.motoricerca.info/robots-checker.phtml протестировал файл robots.tхt. Вот что выдало:

Что это означает?

Re: Robots checker - ошибка при анализе файла robots.tхt

dark4000 пишет:

Что это означает?

Ничего не означает, все в порядке. Просто директива Host это придуманная Яндексом штука, потому буржуйские сервисы и говорят, что это ошибка.
Почему бы не проверить свой роботс тут - http://webmaster.yandex.ru/robots.xml

3

Re: Robots checker - ошибка при анализе файла robots.tхt

Благодарю.

4

Re: Robots checker - ошибка при анализе файла robots.tхt

Добрый день господа!
Может кто подскажет по robots, что перекрыл правильно, а что не правильно.
Сайт простой (По вашему ГОВ..САЙТ).

$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    //$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    //$do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    //$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    //$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    ($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    ($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    ($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    ($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */

И я не пойму про "Страницы пагинации", читаю а понять не могу
Может кто простым языком объяснит?

5 (27.09.2012 19:14 отредактировано Hooligan)

Re: Robots checker - ошибка при анализе файла robots.tхt

Значит смотри ты закрыл:
- Просмотр профиля пользователя
- Просмотр новостей по тегу
- Страница статистики сайта
- Страница правил сайта
- Страница регистрации нового пользователя
- Страницы личных сообщений пользователей
- Страница восстановления пароля
- Страницы закладок пользователей
- Страница формы обратной связи
- Страница добавления новости с сайта
Страницы пагинации- это страницы навигации по категории или по главной. Тоесть Страница -1, страница -2 и тд
Я бы закрыл не 2 пунктами а одним

//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */

так как они плодят дублирование контента!
Так же у вас закрыт Просмотр каталога по буквенному идентификатору
Так же я бы рас комментировал :

//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
//$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
//$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */

И не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет!
Будут вопросы пишите поможем:)

6

Re: Robots checker - ошибка при анализе файла robots.tхt

Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.

7

Re: Robots checker - ошибка при анализе файла robots.tхt

dark4000 пишет:

Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.

Не за что!

8 (25.11.2012 16:36 отредактировано sprrut)

Re: Robots checker - ошибка при анализе файла robots.tхt

Добрый вечер!
Подскажите по robots, что  правильно, а что не правильно.

Мой был такой :

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /tags/
Disallow: /favorites/
Host: www….
Sitemap: www….sitemap.xml

User-agent: MediaPartners-Google
Allow: /

Сейчас

User-agent: *
Disallow: /engine/
Host: www….
Sitemap www….sitemap.xml

User-agent: MediaPartners-Google
Allow: /

И в engine.php ;

if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    $do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    $do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    (intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

На страницах print и admin запрет установил.Вообщем все вроде сделал как написал АлаичЪ

Re: Robots checker - ошибка при анализе файла robots.tхt

sprrut, Все ок!

10

Re: Robots checker - ошибка при анализе файла robots.tхt

Спасибо за консультацию и за Ваш ТРУД !

11

Re: Robots checker - ошибка при анализе файла robots.tхt

Hooligan пишет:

не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет

Если друг-другу не противоречат указания, каким образом это может помешать. Я продублировал, думаю хуже от этого не будет, а то теги в Google вдруг вылезли несмотря на <meta name="robots" content="noindex,nofollow" />