<![CDATA[Форум АлаичЪ'а о SEO - Robots checker - ошибка при анализе файла robots.tхt]]> 2012-11-23T23:32:55Z PunBB https://talk.alaev.info/topic/105/ <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Hooligan пишет:

не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет

Если друг-другу не противоречат указания, каким образом это может помешать. Я продублировал, думаю хуже от этого не будет, а то теги в Google вдруг вылезли несмотря на <meta name="robots" content="noindex,nofollow" />

]]> https://talk.alaev.info/user/135/ 2012-11-23T23:32:55Z https://talk.alaev.info/post/2034/#p2034 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Спасибо за консультацию и за Ваш ТРУД !

]]> https://talk.alaev.info/user/168/ 2012-11-20T13:33:29Z https://talk.alaev.info/post/1991/#p1991 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> sprrut, Все ок!

]]> https://talk.alaev.info/user/2/ 2012-11-20T09:19:34Z https://talk.alaev.info/post/1984/#p1984 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Добрый вечер!
Подскажите по robots, что  правильно, а что не правильно.

Мой был такой :

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /tags/
Disallow: /favorites/
Host: www….
Sitemap: www….sitemap.xml

User-agent: MediaPartners-Google
Allow: /

Сейчас

User-agent: *
Disallow: /engine/
Host: www….
Sitemap www….sitemap.xml

User-agent: MediaPartners-Google
Allow: /

И в engine.php ;

if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    $do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    $do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    (intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

На страницах print и admin запрет установил.Вообщем все вроде сделал как написал АлаичЪ

]]> https://talk.alaev.info/user/168/ 2012-11-19T20:50:31Z https://talk.alaev.info/post/1981/#p1981 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> dark4000 пишет:

Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.

Не за что!

]]> https://talk.alaev.info/user/92/ 2012-09-27T16:14:24Z https://talk.alaev.info/post/943/#p943 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.

]]> https://talk.alaev.info/user/48/ 2012-09-27T15:44:53Z https://talk.alaev.info/post/939/#p939 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Значит смотри ты закрыл:
- Просмотр профиля пользователя
- Просмотр новостей по тегу
- Страница статистики сайта
- Страница правил сайта
- Страница регистрации нового пользователя
- Страницы личных сообщений пользователей
- Страница восстановления пароля
- Страницы закладок пользователей
- Страница формы обратной связи
- Страница добавления новости с сайта
Страницы пагинации- это страницы навигации по категории или по главной. Тоесть Страница -1, страница -2 и тд
Я бы закрыл не 2 пунктами а одним 

//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */

так как они плодят дублирование контента!
Так же у вас закрыт Просмотр каталога по буквенному идентификатору
Так же я бы рас комментировал :

//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
//$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
//$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */

И не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет!
Будут вопросы пишите поможем:)

]]> https://talk.alaev.info/user/92/ 2012-09-27T15:10:13Z https://talk.alaev.info/post/935/#p935 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Добрый день господа!
Может кто подскажет по robots, что перекрыл правильно, а что не правильно.
Сайт простой (По вашему ГОВ..САЙТ). 

$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    //$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    //$do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    //$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    //$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    ($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    ($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    ($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    ($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */

И я не пойму про "Страницы пагинации", читаю а понять не могу
Может кто простым языком объяснит?

]]> https://talk.alaev.info/user/48/ 2012-09-27T15:04:24Z https://talk.alaev.info/post/934/#p934 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> Благодарю.

]]> https://talk.alaev.info/user/48/ 2012-09-25T08:11:18Z https://talk.alaev.info/post/806/#p806 <![CDATA[Re: Robots checker - ошибка при анализе файла robots.tхt]]> dark4000 пишет:

Что это означает?

Ничего не означает, все в порядке. Просто директива Host это придуманная Яндексом штука, потому буржуйские сервисы и говорят, что это ошибка.
Почему бы не проверить свой роботс тут - http://webmaster.yandex.ru/robots.xml

]]> https://talk.alaev.info/user/2/ 2012-09-25T04:18:58Z https://talk.alaev.info/post/801/#p801 <![CDATA[Robots checker - ошибка при анализе файла robots.tхt]]> Добрый день!
Вот на этом сайте http://tool.motoricerca.info/robots-checker.phtml протестировал файл robots.tхt. Вот что выдало:

Что это означает?

]]> https://talk.alaev.info/user/48/ 2012-09-25T03:35:11Z https://talk.alaev.info/post/797/#p797