1 TITAN-UZ

  • TITAN-UZ
  • Уже не новичок
  • Карма: 0 / 2

Тема: Google не видеть robots.txt

Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.файлу robots.txt.

уж 4 день не может сканировать как быт с этим.

robots.txt по линку доступен.

2 MasterMarti (24.11.2012 20:04 отредактировано MasterMarti)

  • MasterMarti
  • Хитрый Лис
  • Карма: 6 / 0

Re: Google не видеть robots.txt

Варианты:

1. В момент доступа гуглобота сайт недоступен.
2. На уровне хостера заблокированый айпишники с которых ходит гуглобот.
3. При доступе к роботсу отдается ответ сервера отличный от 200. При этом в браузере открывается, но гуглобот не будет забирать файл.

3 TITAN-UZ

  • TITAN-UZ
  • Уже не новичок
  • Карма: 0 / 2

Re: Google не видеть robots.txt

Просмотреть как Googlebot показывает успешно!

Как быт а.
Хостер не блокировал ип и трафик тоже в норме.

4 Hooligan

  • Hooligan
  • ТоварисЧЬ!
  • Карма: 31 / 0

Re: Google не видеть robots.txt

TITAN-UZ пишет:

Просмотреть как Googlebot показывает успешно!

Как быт а.
Хостер не блокировал ип и трафик тоже в норме.

Яндекс  сканирует?