1 okokod

  • okokod
  • Я тут новенький
  • Карма: 0 / 0

Тема: Файл robots.txt для DLE

Прошу разъяснить, по какой причине в DLE в файле robots.txt
рекомендуют специалисты SEO такой пункт:

Disallow: /page/
Запрещаем индексировать страницы с постами (Вернуться назад << 1 2 3 4 5 6 7 8 9 10 … 26 >> Следующая страница).

  • admin
  • АлаичЪ
  • Карма: 143 / 2

Re: Файл robots.txt для DLE

okokod, Мало ли что рекомендуют. Я рекомендую другой - https://alaev.info/blog/post/3900
Видимо, переживают, что будет дублирование контента на страницах пагинации. Это небезосновательно, но нужно далеко не всегда.

3 okokod (03.04.2013 18:32 отредактировано okokod)

  • okokod
  • Я тут новенький
  • Карма: 0 / 0

Re: Файл robots.txt для DLE

Вопрос удалён автором.

4 syav41k

  • syav41k
  • Уже не новичок
  • Карма: 0 / 0

Re: Файл robots.txt для DLE

Прошу прощения что влезаю в тему.но всё же!
У меня сайт с фильмами, я закрыл page от индексации в роботс для того,что бы не дублировались метаописания на каждой странице.
Меня интересует вопрос будут ли индексироваться фильмы из этих страниц,которые закрыты в роботс?
Спасибо

  • Axel
  • Псевдооптимизатор
  • Карма: 16 / 0

Re: Файл robots.txt для DLE

syav41k пишет:

У меня сайт с фильмами, я закрыл page от индексации в роботс для того,что бы не дублировались метаописания на каждой странице.

К каждой странице добавь " - Страница 2..." и дубля не будет. В любом случае поисковик поймет, что это не дубль. Гугл вообще отлично справляется с такого рода дублями..

syav41k пишет:

Меня интересует вопрос будут ли индексироваться фильмы из этих страниц,которые закрыты в роботс?

В Яндексе не будут. Гугл же такие страницы будет держать в соплях. Если уже закрывать, то через мета-тег.
Я вообще роботс использую только для того, чтобы поисковикам показать путь к sitemap и главное зеркало сайта.

  • admin
  • АлаичЪ
  • Карма: 143 / 2

Re: Файл robots.txt для DLE

syav41k пишет:

будут ли индексироваться фильмы из этих страниц

Будут. Так как страницы фильмов и страницы навигации никак не связаны.

7 syav41k

  • syav41k
  • Уже не новичок
  • Карма: 0 / 0

Re: Файл robots.txt для DLE

Axel пишет:

К каждой странице добавь " - Страница 2..." и дубля не будет. В любом случае поисковик поймет, что это не дубль. Гугл вообще отлично справляется с такого рода дублями..

Вообще-то страница 2 или 3 неважно (добавлена по умолчанию)я задавал вопрос про метаописания,а не про тайтл.

admin пишет:

Будут. Так как страницы фильмов и страницы навигации никак не связаны.

Спасибо

  • Axel
  • Псевдооптимизатор
  • Карма: 16 / 0

Re: Файл robots.txt для DLE

admin пишет:

Будут. Так как страницы фильмов и страницы навигации никак не связаны.

А, блин... Тут про страницы с фильмами спрашивалось...)