Тема: Robots checker - ошибка при анализе файла robots.tхt
Добрый день!
Вот на этом сайте http://tool.motoricerca.info/robots-checker.phtml протестировал файл robots.tхt. Вот что выдало:
Что это означает?
Сообщество читателей блога alaev.info
Не ссы! Входи или зарегистрируйся!
Форум АлаичЪ'а о SEO → Начинающим оптимизаторам → Robots checker - ошибка при анализе файла robots.tхt
Стр.: 1
Надо войти или зарегиться
Добрый день!
Вот на этом сайте http://tool.motoricerca.info/robots-checker.phtml протестировал файл robots.tхt. Вот что выдало:
Что это означает?
Что это означает?
Ничего не означает, все в порядке. Просто директива Host это придуманная Яндексом штука, потому буржуйские сервисы и говорят, что это ошибка.
Почему бы не проверить свой роботс тут - http://webmaster.yandex.ru/robots.xml
Благодарю.
Добрый день господа!
Может кто подскажет по robots, что перекрыл правильно, а что не правильно.
Сайт простой (По вашему ГОВ..САЙТ).
$do == 'addnews' OR /* Страница добавления новости с сайта */
//$do == 'alltags' OR /* Страница просмотра списка тегов */
$do == 'feedback' OR /* Страница формы обратной связи */
$do == 'favorites' OR /* Страницы закладок пользователей */
//$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
$do == 'lostpassword' OR /* Страница восстановления пароля */
$do == 'pm' OR /* Страницы личных сообщений пользователей */
$do == 'register' OR /* Страница регистрации нового пользователя */
$do == 'rules' OR /* Страница правил сайта */
$do == 'stats' OR /* Страница статистики сайта */
//$do == 'search' OR /* Страница поиска и результатов поиска */
//$do == 'static' OR /* Все статические страницы */
$do == 'tags' OR /* Просмотр новостей по тегу */
//$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
//$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
//$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
//$subaction == 'showfull' OR /* Просмотр полной новости */
$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
//$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
//($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
$catalog != '' /* Просмотр каталога по буквенному идентификатору */
И я не пойму про "Страницы пагинации", читаю а понять не могу
Может кто простым языком объяснит?
Значит смотри ты закрыл:
- Просмотр профиля пользователя
- Просмотр новостей по тегу
- Страница статистики сайта
- Страница правил сайта
- Страница регистрации нового пользователя
- Страницы личных сообщений пользователей
- Страница восстановления пароля
- Страницы закладок пользователей
- Страница формы обратной связи
- Страница добавления новости с сайта
Страницы пагинации- это страницы навигации по категории или по главной. Тоесть Страница -1, страница -2 и тд
Я бы закрыл не 2 пунктами а одним
//(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
так как они плодят дублирование контента!
Так же у вас закрыт Просмотр каталога по буквенному идентификатору
Так же я бы рас комментировал :
//$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
//$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
//$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
И не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет!
Будут вопросы пишите поможем:)
Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.
Ден, большое спасибо!
Конечно обращусь, если будут проблемы!
Пока форум молодой, люди хоть отвечают.
Ещё раз спасибо.
Не за что!
Добрый вечер!
Подскажите по robots, что правильно, а что не правильно.
Мой был такой :
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /201*/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /tags/
Disallow: /favorites/
Host: www….
Sitemap: www….sitemap.xml
User-agent: MediaPartners-Google
Allow: /
Сейчас
User-agent: *
Disallow: /engine/
Host: www….
Sitemap www….sitemap.xml
User-agent: MediaPartners-Google
Allow: /
И в engine.php ;
if (
$do == 'addnews' OR /* Страница добавления новости с сайта */
$do == 'alltags' OR /* Страница просмотра списка тегов */
$do == 'feedback' OR /* Страница формы обратной связи */
$do == 'favorites' OR /* Страницы закладок пользователей */
$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
$do == 'lostpassword' OR /* Страница восстановления пароля */
$do == 'pm' OR /* Страницы личных сообщений пользователей */
$do == 'register' OR /* Страница регистрации нового пользователя */
$do == 'rules' OR /* Страница правил сайта */
$do == 'stats' OR /* Страница статистики сайта */
$do == 'search' OR /* Страница поиска и результатов поиска */
$do == 'static' OR /* Все статические страницы */
$do == 'tags' OR /* Просмотр новостей по тегу */
//$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
//($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
//($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
//($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
$catalog != '' /* Просмотр каталога по буквенному идентификатору */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;
На страницах print и admin запрет установил.Вообщем все вроде сделал как написал АлаичЪ
sprrut, Все ок!
Спасибо за консультацию и за Ваш ТРУД !
не забудьте, удалить не нужные строки из вашего файла robots.txt на сервере, иначе толку не будет
Если друг-другу не противоречат указания, каким образом это может помешать. Я продублировал, думаю хуже от этого не будет, а то теги в Google вдруг вылезли несмотря на <meta name="robots" content="noindex,nofollow" />
Стр.: 1
Надо войти или зарегиться
Форум АлаичЪ'а о SEO → Начинающим оптимизаторам → Robots checker - ошибка при анализе файла robots.tхt
Форум работает на PunBB