1 sorusnomad (08.04.2015 00:51 отредактировано sorusnomad)

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Тема: В Индексе Гугла материалы за 1668 год! - Прошу помочь

Здравствуйте форумчане!
Сегодня чисто случайно заметил, что в выдаче Гугла присутствуют страницы, которых в теории быть не должно.
Дело в том, что там находятся страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!
Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).
Образовалась ситуация, когда из 6,340 страниц сайта (всего на ресурсе 100 материалов!) не  под фильтрами только 3%.

Какие могут быть варианты исправления?
Все что приходит на ум (не судите строго) - это пропись в Robots.txt

Disallow: /*11
Disallow: /*12
Disallow: /*1
Disallow: /*2

Но на сайте есть урлы типа сайт.ру/12-название-статьи... - такие статье ведь тогда тоже выпадут из индекса...

Также в выдаче полно страниц вида сайт.ру/lastnews/page/8/  и   сайт.ру/page/...

Буду очень признателен за экспертное мнение! Заранее спасибо!

  • DVE
  • Тиран
  • Карма: 7 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

Что-то ничего не понял.
Гугл указал дату индексации - 1668 год? Нет?
А что тогда? Проиндексированы директории вида /1668/11/ ?
А почему это плохо?

И прежде, чем что-то закрывать в robots.txt (с маленькой буквы, кстати), надо разобраться, откуда появились лишние страницы в индексе.

3 sorusnomad

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

DVE пишет:

Проиндексированы директории вида /1668/11/ ?

Да

DVE пишет:

А почему это плохо?

Потому, что когда из всех страниц сайта только три не од фильтрами - это, как минимум, не "эстетично".
К тому же, про "сопли" по разному говорят...

DVE пишет:

откуда появились лишние страницы в индексе

В силу своей неопытности в этой сфере, я не смогу сделать это...

4 svetlana

  • svetlana
  • Чув-а-а-а-к!!!
  • Карма: 47 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

в плане попадания в индекс все достаточно просто
на сайте есть календарь и в нем ссылки 

<a class="monthlink" onclick="doCalendar('10','2014','right'); return false;" href="http://======.ru/2014/10/" title="Предыдущий месяц">«</a>

которые листают дату и все эти даты отдают 200 ответ, а должны отдавать 404, вероятнее всего, что-то накосячили в движке.

Disallow не выход (там может до начала нашей эры просканированы даты), нужно искать причину или настраивать вывод ноиндекса для этих дат.

5 sorusnomad

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

svetlana пишет:

что-то накосячили в движке

Да там много накосячено, вы уже в курсе ))) Но хочу все-таки как-то исправить недочеты верстальщика шаблона...

В main.tpl здел такое

 <div class="span4 ">
                  <noindex>{calendar}</noindex>
               </div>

а в /engine/engine.php такое

if (
    $do == 'addnews' OR /* Страница добавления новости с сайта */
    $do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    $do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    //$do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    $do == 'tags' OR /* Просмотр новостей по тегу */
    $do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    $dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    ($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    ($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    ($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    (intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    ($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    ($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

Если я все правильно понял - должно помочь. Где искать причину такого "явления" - понятия нималейшого не имею...

6 svetlana

  • svetlana
  • Чув-а-а-а-к!!!
  • Карма: 47 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

а в /engine/engine.php такое

Да, поможет, через некоторое время выпадут из индекса!

7 sorusnomad

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

svetlana пишет:

через некоторое время выпадут из индекса

А сколько приблизительно нужно ждать, чтобы понять тенденцию?

Добавлено: 12.04.2015 01:46

Еще буду очень признателен, если объясните мне одну вещь...
Вот настроил я "правильный роботс"... Там, где нужно на страничке выдает:
<meta name="robots" content="noindex,nofollow" />
Но вот один нюанс... Захожу  в Гугл Вебмастер - Просмотреть как Googlebot... И там каждая из этих страниц отображается! Так и должно быть или что то не так?

Гуглбот показывает как старые страницы так и только созданные...

8 svetlana

  • svetlana
  • Чув-а-а-а-к!!!
  • Карма: 47 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

Гуглбот показывает все что видит, но это не значит что все попадет в индекс. <meta name="robots" content="noindex,nofollow" /> его не слепит smile, просто информирует.
В среднем от 1 недели до месяца.

9 sorusnomad

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

Тоесть количество страниц сайта в выдаче (дополнительной) уменьшится?  Просто сейчас чуть меньше 6 тис. страниц там при том, что нормальных страниц 190 (все присутствуют в основном индексе)...

10 admin

  • admin
  • АлаичЪ
  • Карма: 143 / 2

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

sorusnomad пишет:

Тоесть количество страниц сайта в выдаче (дополнительной) уменьшится?  Просто сейчас чуть меньше 6 тис. страниц там при том, что нормальных страниц 190 (все присутствуют в основном индексе)...

Да, со временем уменьшится.

11 sorusnomad

  • sorusnomad
  • Свой в доску :)
  • Карма: 0 / 0

Re: В Индексе Гугла материалы за 1668 год! - Прошу помочь

admin пишет:

Да, со временем уменьшится.

Метод на 100% дал результат! В индексе теперь все, что нужно! Спасибо всем, кто помог разобраться мне "зеленому". Хорошего вам настроения!