<![CDATA[Форум АлаичЪ'а о SEO - Google не видеть robots.txt]]> 2012-12-19T20:36:55Z PunBB https://talk.alaev.info/topic/259/ <![CDATA[Re: Google не видеть robots.txt]]> TITAN-UZ пишет:

Просмотреть как Googlebot показывает успешно!

Как быт а.
Хостер не блокировал ип и трафик тоже в норме.

Яндекс  сканирует?

]]> https://talk.alaev.info/user/92/ 2012-12-19T20:36:55Z https://talk.alaev.info/post/2492/#p2492 <![CDATA[Re: Google не видеть robots.txt]]> Просмотреть как Googlebot показывает успешно!

Как быт а.
Хостер не блокировал ип и трафик тоже в норме.

]]> https://talk.alaev.info/user/44/ 2012-11-25T01:21:08Z https://talk.alaev.info/post/2043/#p2043 <![CDATA[Re: Google не видеть robots.txt]]> Варианты:

1. В момент доступа гуглобота сайт недоступен.
2. На уровне хостера заблокированый айпишники с которых ходит гуглобот.
3. При доступе к роботсу отдается ответ сервера отличный от 200. При этом в браузере открывается, но гуглобот не будет забирать файл.

]]> https://talk.alaev.info/user/57/ 2012-11-24T16:03:39Z https://talk.alaev.info/post/2040/#p2040 <![CDATA[Google не видеть robots.txt]]> Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.файлу robots.txt.

уж 4 день не может сканировать как быт с этим.

robots.txt по линку доступен.

]]> https://talk.alaev.info/user/44/ 2012-11-24T14:06:19Z https://talk.alaev.info/post/2038/#p2038