<![CDATA[Форум АлаичЪ'а о SEO - Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/topic/1250/ Mon, 25 Aug 2014 20:22:15 +0000 PunBB <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8678/#p8678 А чем страницы (ссылки на них) с древовидным выводом отличаются от обычных?
site.ru/page,1,3,123-news_name.html  это стандартный вывод страниц комментариев в dle.

Как там в роботс вписать не скажу, но почему не попробовать сделать в engine.php 

if ($newsid and (intval($_GET['cstart']) > 1)) 
 $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow">
HTML;

и не забивать голову роботсом smile

На работопригодность не проверяла, тем более не понятно как у вас там работает древовидные комменты, но данный способ должен вывести ноиндекс для всех страниц комментариев в полной новости, кроме первой.

]]> Mon, 25 Aug 2014 20:22:15 +0000 https://talk.alaev.info/post/8678/#p8678 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8648/#p8648 rpob, не все с page. А ссылки с комментариев DLE

site.ru/page,1,1,123-news_name.html
site.ru/page,1,3,123-news_name.html
site.ru/page,1,4,123-news_name.html
site.ru/page,1,5,123-news_name.html
site.ru/page,1,6,123-news_name.html

КОГДА ПРАВИЛЬНАЯ ССЫЛКА site.ru/123-news_name.html)

]]> Wed, 20 Aug 2014 08:18:27 +0000 https://talk.alaev.info/post/8648/#p8648 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8642/#p8642 если просто все  с page, то
Disallow: /page*

А лучше просто покажи сайт и живые примеры, тогда будет проще

]]> Tue, 19 Aug 2014 19:00:42 +0000 https://talk.alaev.info/post/8642/#p8642 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8639/#p8639 rpob, скрыть нужно страницы которые начинаются с page, и дальше уже плодятся page,1,1,  page,1,2,  page,1,3,  или page,2,3,

]]> Tue, 19 Aug 2014 15:01:18 +0000 https://talk.alaev.info/post/8639/#p8639 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8632/#p8632 что то я вчера запутался в  url'ах.
123- номер поста?
Урл с комментариями:
/page%номер страницы комментов% %номер записи% %название записи%
так ?
Тогда
Disallow: /page*-*.html
Allow: /*-*.html

]]> Tue, 19 Aug 2014 08:50:31 +0000 https://talk.alaev.info/post/8632/#p8632 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8622/#p8622 rpob, а где там у меня в ссылке "-" ? Это наверное, не правильно(

]]> Tue, 19 Aug 2014 02:30:01 +0000 https://talk.alaev.info/post/8622/#p8622 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8614/#p8614 Disallow: /page*-*.html

]]> Mon, 18 Aug 2014 17:55:25 +0000 https://talk.alaev.info/post/8614/#p8614 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8613/#p8613 Яндекс Вебмастер мне пишет:

Возможно, был использован недопустимый символ
Disallow: /page,
_______________________________________________

Что теперь делать?

Добавлено: 18.08.2014 20:42

rpob, https://talk.alaev.info/post/8611/

]]> Mon, 18 Aug 2014 17:42:49 +0000 https://talk.alaev.info/post/8613/#p8613 <![CDATA[Re: Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8612/#p8612 а не лучше canonical'ом зафигарить

]]> Mon, 18 Aug 2014 17:05:18 +0000 https://talk.alaev.info/post/8612/#p8612 <![CDATA[Правильно прописать запрет в robots.txt]]> https://talk.alaev.info/post/8603/#p8603 Здравствуйте.

У меня на сайте стоит древовидная система комментариев DLE, которая создает дубли страниц по адресам site.ru/page,1,1,123-news_name.html (КОГДА ПРАВИЛЬНЫЙ АДРЕС site.ru/123-news_name.html) добавляя page,1,1, page,1,2, page,1,3, и тд

Как исправить проблему я нашел, теперь мне нужно узнать как правильно скрыть страницу site.ru/page,1,1,123-news_name.html от поисковых систем и как правильно прописать запрет для robots.txt чтобы поисковик не индексировал ссылки комментариев, то есть дубль?

Добавлено: 18.08.2014 19:30

Я нашел ответ, нужно прописать в роботсе
Disallow: /page,

]]> Mon, 18 Aug 2014 16:30:30 +0000 https://talk.alaev.info/post/8603/#p8603