<![CDATA[Форум АлаичЪ'а о SEO - Правильно прописать запрет в robots.txt]]> 2014-08-25T20:22:15Z PunBB https://talk.alaev.info/topic/1250/ <![CDATA[Re: Правильно прописать запрет в robots.txt]]> А чем страницы (ссылки на них) с древовидным выводом отличаются от обычных?
site.ru/page,1,3,123-news_name.html  это стандартный вывод страниц комментариев в dle.

Как там в роботс вписать не скажу, но почему не попробовать сделать в engine.php 

if ($newsid and (intval($_GET['cstart']) > 1)) 
 $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow">
HTML;

и не забивать голову роботсом smile

На работопригодность не проверяла, тем более не понятно как у вас там работает древовидные комменты, но данный способ должен вывести ноиндекс для всех страниц комментариев в полной новости, кроме первой.

]]> https://talk.alaev.info/user/783/ 2014-08-25T20:22:15Z https://talk.alaev.info/post/8678/#p8678 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> rpob, не все с page. А ссылки с комментариев DLE

site.ru/page,1,1,123-news_name.html
site.ru/page,1,3,123-news_name.html
site.ru/page,1,4,123-news_name.html
site.ru/page,1,5,123-news_name.html
site.ru/page,1,6,123-news_name.html

КОГДА ПРАВИЛЬНАЯ ССЫЛКА site.ru/123-news_name.html)

]]> https://talk.alaev.info/user/948/ 2014-08-20T08:18:27Z https://talk.alaev.info/post/8648/#p8648 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> если просто все  с page, то
Disallow: /page*

А лучше просто покажи сайт и живые примеры, тогда будет проще

]]> https://talk.alaev.info/user/182/ 2014-08-19T19:00:42Z https://talk.alaev.info/post/8642/#p8642 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> rpob, скрыть нужно страницы которые начинаются с page, и дальше уже плодятся page,1,1,  page,1,2,  page,1,3,  или page,2,3,

]]> https://talk.alaev.info/user/948/ 2014-08-19T15:01:18Z https://talk.alaev.info/post/8639/#p8639 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> что то я вчера запутался в  url'ах.
123- номер поста?
Урл с комментариями:
/page%номер страницы комментов% %номер записи% %название записи%
так ?
Тогда
Disallow: /page*-*.html
Allow: /*-*.html

]]> https://talk.alaev.info/user/182/ 2014-08-19T08:50:31Z https://talk.alaev.info/post/8632/#p8632 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> rpob, а где там у меня в ссылке "-" ? Это наверное, не правильно(

]]> https://talk.alaev.info/user/948/ 2014-08-19T02:30:01Z https://talk.alaev.info/post/8622/#p8622 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> Disallow: /page*-*.html

]]> https://talk.alaev.info/user/182/ 2014-08-18T17:55:25Z https://talk.alaev.info/post/8614/#p8614 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> Яндекс Вебмастер мне пишет:

Возможно, был использован недопустимый символ
Disallow: /page,
_______________________________________________

Что теперь делать?

Добавлено: 18.08.2014 20:42

rpob, https://talk.alaev.info/post/8611/

]]> https://talk.alaev.info/user/948/ 2014-08-18T17:42:49Z https://talk.alaev.info/post/8613/#p8613 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> а не лучше canonical'ом зафигарить

]]> https://talk.alaev.info/user/182/ 2014-08-18T17:05:18Z https://talk.alaev.info/post/8612/#p8612 <![CDATA[Правильно прописать запрет в robots.txt]]> Здравствуйте.

У меня на сайте стоит древовидная система комментариев DLE, которая создает дубли страниц по адресам site.ru/page,1,1,123-news_name.html (КОГДА ПРАВИЛЬНЫЙ АДРЕС site.ru/123-news_name.html) добавляя page,1,1, page,1,2, page,1,3, и тд

Как исправить проблему я нашел, теперь мне нужно узнать как правильно скрыть страницу site.ru/page,1,1,123-news_name.html от поисковых систем и как правильно прописать запрет для robots.txt чтобы поисковик не индексировал ссылки комментариев, то есть дубль?

Добавлено: 18.08.2014 19:30

Я нашел ответ, нужно прописать в роботсе
Disallow: /page,

]]> https://talk.alaev.info/user/948/ 2014-08-18T16:30:30Z https://talk.alaev.info/post/8603/#p8603