1 Фанатик

  • Фанатик
  • Я тут новенький
  • Карма: 0 / 0

Тема: Правильно прописать запрет в robots.txt

Здравствуйте.

У меня на сайте стоит древовидная система комментариев DLE, которая создает дубли страниц по адресам site.ru/page,1,1,123-news_name.html (КОГДА ПРАВИЛЬНЫЙ АДРЕС site.ru/123-news_name.html) добавляя page,1,1, page,1,2, page,1,3, и тд

Как исправить проблему я нашел, теперь мне нужно узнать как правильно скрыть страницу site.ru/page,1,1,123-news_name.html от поисковых систем и как правильно прописать запрет для robots.txt чтобы поисковик не индексировал ссылки комментариев, то есть дубль?

Добавлено: 18.08.2014 19:30

Я нашел ответ, нужно прописать в роботсе
Disallow: /page,

  • rpob
  • Уже не новичок
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

а не лучше canonical'ом зафигарить

3 Фанатик

  • Фанатик
  • Я тут новенький
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

Яндекс Вебмастер мне пишет:

Возможно, был использован недопустимый символ
Disallow: /page,
_______________________________________________

Что теперь делать?

Добавлено: 18.08.2014 20:42

rpob, https://talk.alaev.info/post/8611/

  • rpob
  • Уже не новичок
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

Disallow: /page*-*.html

5 Фанатик

  • Фанатик
  • Я тут новенький
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

rpob, а где там у меня в ссылке "-" ? Это наверное, не правильно(

  • rpob
  • Уже не новичок
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

что то я вчера запутался в  url'ах.
123- номер поста?
Урл с комментариями:
/page%номер страницы комментов% %номер записи% %название записи%
так ?
Тогда
Disallow: /page*-*.html
Allow: /*-*.html

7 Фанатик

  • Фанатик
  • Я тут новенький
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

rpob, скрыть нужно страницы которые начинаются с page, и дальше уже плодятся page,1,1,  page,1,2,  page,1,3,  или page,2,3,

  • rpob
  • Уже не новичок
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

если просто все  с page, то
Disallow: /page*

А лучше просто покажи сайт и живые примеры, тогда будет проще

9 Фанатик

  • Фанатик
  • Я тут новенький
  • Карма: 0 / 0

Re: Правильно прописать запрет в robots.txt

rpob, не все с page. А ссылки с комментариев DLE

site.ru/page,1,1,123-news_name.html
site.ru/page,1,3,123-news_name.html
site.ru/page,1,4,123-news_name.html
site.ru/page,1,5,123-news_name.html
site.ru/page,1,6,123-news_name.html

КОГДА ПРАВИЛЬНАЯ ССЫЛКА site.ru/123-news_name.html)

10 svetlana (26.08.2014 01:10 отредактировано svetlana)

  • svetlana
  • Чув-а-а-а-к!!!
  • Карма: 47 / 0

Re: Правильно прописать запрет в robots.txt

А чем страницы (ссылки на них) с древовидным выводом отличаются от обычных?
site.ru/page,1,3,123-news_name.html  это стандартный вывод страниц комментариев в dle.

Как там в роботс вписать не скажу, но почему не попробовать сделать в engine.php 

if ($newsid and (intval($_GET['cstart']) > 1)) 
 $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow">
HTML;

и не забивать голову роботсом smile

На работопригодность не проверяла, тем более не понятно как у вас там работает древовидные комменты, но данный способ должен вывести ноиндекс для всех страниц комментариев в полной новости, кроме первой.