В общем траффик с гугла просел в 5 раз...

Надо посмотреть, по каким ключевым словам приходили раньше, а по каким теперь?

Так вот начал я извращаться оптимизировать сайт в ноябре 2012 как видно по дате этой темы. И по сей день продолжаю и не могу успокоиться.

1) Закрывал мета тегом noindex,nofollow страницы пагинации в категориях, главной и тп. (на всех страницах где есть пагинация). Так как видел что они плохо индексируются, а цель моя что бы лучше индексировались именно статьи.
2) Прятал разные блоки/футер через ajax в отдельный файл который находился в папке куда гуглу через роботс нельзя.
3) Заголовки менял, по началу они были как у nnm.me, потом дернул меня черт знакомый поменять заголовки на статические (а ни как у ннм - там они меняются в зависимости от первой статьи на странице)
4) Сайтмап обновляющийся раз в 2 часа и отсылающий пинг гуглу об этом.
5) Новые статьи сразу пингуют гугл что появились на свет.
Ну и много чего еще по мелочи пробовал.

Результат один - весь трафик плавно плавно так падает в низ и по сей день, конечно у гугла в алгоритме думаю тоже много чего за это время поменялось. В общем траффик с гугла просел в 5 раз... было 50к в сутки стало почти 10 сейчас )

[sarcasm]Зато![/sarcasm] Индексироваться в итоге стали статьи (ну само собой остальное я все позакрывал....), и кстати достаточно шустро начали, но потом тоже индексация помедленнее стала.

Я уже вообще не могу понять этот гугл. Писал им на пересмотры пару раз - ответ: вы чисты, спама нету, наш алгоритм крут.

Сегодня попробовал снять все мета теги nofollow и noindex с пагинаций, тегов и тп. Так же вытащил все блоки и футер из под ajaxa. Теперь от гугла ничего не скрывается. Как он на это среагирует опишу позже. Но я уже настолько затараранился с этим гуглом, что вообще не пойму что им надо.

Ах да зато я получил прирост в 2 раза от Яндекса по переходам, но ру траф увы не интересен......

Строго не судить, просто поделился своими действиями и накипевшими нервами.
P.S. ссылок и тп. не закупал, все естесвенное. Домену больше 8 лет. ПР4.

Я полагаю, что при всем при этом у тебя есть карта сайта xml, и обновляется сразу с выходом очередной новости, а так же каждая страница связана с предыдущими (принцип аналогичный действию модуля LinkEnso). А так же на страницах не сильно много внутренних ссылок и сайт грузится быстро и весит не много...
Много требований, но, так или иначе, все это влияет на скорость индексации.
PS Чуть не забыл, настрой автопостинг в twitter - отлично работает!

Да есть карта xml, но не обновляется с выходом каждой новости ) я использую xml sitemap  скрипт для создания сайтмапа, очень кстати радует, если правильно настроен.
Страницы связаны с предыдущими - есть такое.

Вот по поводу внутренних ссылок и внешних вопрос - ПОДДОМЕН это для гугла внутренняя или внешняя ссылка? Я так понимаю так как это отдельный сайт то это внешняя ссылка? И много ссылок на поддомены - это не есть хорошо?

Я вот думаю просто какие-то блоки выводить через ajax что бы снизить кол-во как внутренних так и внешних ссылок... Возможно поможет?

А по изменениям - в итоге со всеми моими манипуляциями кол-во переходов с гугла все же снизилось на 3-4 тысячи  Сначала кстати даже индексировать стало лучше, а сейчас как то опять вернулось на тот уровень когда по 10-15 страниц в сутки индексируется.

Чего я опять же хочу добиться всем этим - хочу получить быструю индексацию нового контента как это было 3 года назад....но как это сделать я без понятия, но руки опускать тоже не хочется.

Я полагаю, что при всем при этом у тебя есть карта сайта xml, и обновляется сразу с выходом очередной новости, а так же каждая страница связана с предыдущими (принцип аналогичный действию модуля LinkEnso). А так же на страницах не сильно много внутренних ссылок и сайт грузится быстро и весит не много...
Много требований, но, так или иначе, все это влияет на скорость индексации.
PS Чуть не забыл, настрой автопостинг в twitter - отлично работает!

+ Как вариант думаю над закрытием поддоменов категорий - например game.site.com, soft.site.com - ведь на этих поддоменах по сути просто страницы пагинации со статьями имеющими ссылки на главный домен site.com/blogs/news.html

Чего я опять же хочу добиться всем этим - хочу получить быструю индексацию нового контента как это было 3 года назад....но как это сделать я без понятия, но руки опускать тоже не хочется.

В итоге я хочу добиться хорошей индексации сайта, а не как сейчас по 20-30 страниц в сутки индексируется.

Вот я очень сильно сомневаюсь, что закрытие страниц на ПОДДОМЕНЕ скажется как-то на индексацию ОСНОВНОГО ДОМЕНА. Скорее всего это никак не повлияет, но вот по результатам и узнаем

Если как говорится ТС дает добро, то закройте и Теги для индексации, возможно ПС в последствии отдаст приоритет кратким новостям а не тегам, но не вариант, как говорится! Все познается в сравнении!
Очень заинтересовал результат, ваших исследований!!! Подпишусь на данную тему!!!Удачи!!

Теги тоже руки чешутся закрыть... Но ждем результата от закрытия поиска 3-4 недельки, а может и быстрее, в общем отпишу результаты своих экспериментов тут.

После прояснения ситуации с поиском, Теги тоже попробую закрыть. В общем время покажет.

Так вот там процентов 90% это мой поддомен tags - как раз таки тот контент с которого толку то и мало...Очень хочется там увидеть основной домен в такой доле индексации и что бы это были статьи полные, а не страница с 15 новостями через Tags.

Если как говорится ТС дает добро, то закройте и Теги для индексации, возможно ПС в последствии отдаст приоритет кратким новостям а не тегам, но не вариант, как говорится! Все познается в сравнении!
Очень заинтересовал результат, ваших исследований!!! Подпишусь на данную тему!!!Удачи!!

<meta name="robots" content="noindex,nofollow">

Посмотрим 3-4 недели что будет, если как то хоть чуть-чуть положительно скажется, то закрою еще и ТЕГИ. Время покажет ))

++

Как то меня смущает, когда смотрю что гугл индексирует через

site: site.com

Так вот там процентов 90% это мой поддомен tags - как раз таки тот контент с которого толку то и мало...Очень хочется там увидеть основной домен в такой доле индексации и что бы это были статьи полные, а не страница с 15 новостями через Tags.

В итоге я хочу добиться хорошей индексации сайта, а не как сейчас по 20-30 страниц в сутки индексируется. Раньше 3-4 года назад сайт индексировался в реальном времени - выходит новость - через 5-10 минут я ее вижу в гугле. После смены движка - гугл как то сразу завернул сайт в индексации, новые статьи в гугле могут появится через 10-15 дней теперь...
Да безусловно уникальные посетители это хорошо, не спорю, но возможно стоит поэксперементировать и получуть куда больше уников в итоге? Ну и конечно же всегда есть шанс переоптимизировать и получить кучу проблем...

Опять же на главный домен я получаю 40 тысяч уников с гугла, и впринципи готов порисковать этими 3300 посетителями, вопрос в том станет ли от этого что-то лучше ?

1) Есть поиск по сайту - он находится на поддомене my.site.com/search/ - его я не закрывал от поисковиков, так как хотел оптимизировать его для гугла - а именно вывод последних поисковых запросов на всех страницах сайта с кол-вом слов от 2-х.
В принципе гугл их индексирует, ссылки получаются по типу my.site.com/search/?q=Text+text (в индексе гугла на этот поддомен уже "About 5,790,000 results" )
Смотрю по этому поддомену в Гугл Аналитикс - примерно 1300 кликов на 250 000 показов / в СУТКИ .
Так вот вопрос стоит ли закрывать поиск через мета роботс - но индекс, но фоллоу  ?

2) Почти аналогичный вопрос - есть ТЕГИ, так же на поддомене tags.site.com, гугл очень хорошо их индексирует, даже лучше чем основные статьи на сайте - всмысле раньше года 3-4 назад сайт индексировался гуглом в режиме реального времени, потом после смены движка, в день по 20-30 страниц индексирует и большая часть из них на tags.site.com, хотя на сайте в сутки появляется по 400-500 новыйх статей. С тагами по ГА статистика тоже не супер 700 000 показов в сутки = 2000 кликов.
И все тот же вопрос стоит ли попробовать закрыть ТЕГИ через мета роботс - но индекс, но фоллоу  ? Или оставить их открытыми?

Для примера главный домен - по ГА 2 200 000 показов и 40 000 кликов в сутки.

3) Сама структура сайта такова что новости все находятся на галвном домене site.com/blog/name/text.html
Ну а вот ТАГИ, ПОИСК и КАТЕГОРИИ например games.site.com находятся на поддоменах... По поводу категорий тоже не знаю стоит ли их закрывать?

Сейчас пока закрыта пагинация через роботс... на всем сайте дабы не плодить дубликаты, возможно стоит попробовать закрыть все перечисленное выше и открыть пагинацию?

В гугле на главный домен порядка 1 800 000 страниц в индексе

Что посоветуете?