1 tifozya

  • tifozya
  • Я тут новенький
  • Карма: 0 / 0

Тема: Как защитить контент от парсинга?

Как минимизировать это все, столько скриптов , софта всякого по парсингу dle сайтов, хотелось бы избежать в поиске сайта под копирку как твой(, а особенно если новости долго индексируются то ваще пипец...
Или просто не стоит быть параноиком?

2 DaivZ (26.11.2012 17:32 отредактировано DaivZ)

  • DaivZ
  • Уже не новичок
  • Карма: 2 / 0

Re: Как защитить контент от парсинга?

Я смирился, единственное шифруеш атачи, речная защита от грабера.
Свои пости пингуеш и заганяеш в соц сети. Больше борьбы нету

+ tifozya

3 darwin

  • darwin
  • Интерн
  • Карма: 12 / 0

Re: Как защитить контент от парсинга?

Пингуй контент пингаторами типо http://pingler.com/
они ускоряют индексацию, боты почти сразу забегают на сайт и индексируют новость.
По крайней мере у меня это работает

4 tifozya

  • tifozya
  • Я тут новенький
  • Карма: 0 / 0

Re: Как защитить контент от парсинга?

Darwin, и долго после пинга сайты сидят в ПС, в баню не уходят?
Дорвейщики все сайты для пинга дерьмом забивают, х.з теперь как это на СДЛ  сказывается

5 darwin

  • darwin
  • Интерн
  • Карма: 12 / 0

Re: Как защитить контент от парсинга?

tifozya, в бан не уходят. Пингатор просто насильно вызывает бота на адрес статьи индексировать ее и не более того. А бот как всегда дальше действует по стандартной программе. Пингатор ни есть плохо, даже на оборот. Просто не злоупотребляйте... не нужно старые новости прогонять, только то, что добавляется новое.
Если есть деньги и DLE купленное, можете попробовать вот это - http://4dle.ru/sel_mods/1147159037-dle-ping-service.html - или же поискать бесплатные аналоги.
А для ручного режима в нете довольно много пингаторов

+ tifozya
  • admin
  • АлаичЪ
  • Карма: 143 / 2

Re: Как защитить контент от парсинга?

От "умного" парсинга никак не спастись, например, парсер может эмулировать поведение пользователя, так что в любом случае спарсит все. Но от примитивных парсеров может быть спасет отключение rss.

+ tifozya

7 Totals (24.07.2013 12:32 отредактировано Totals)

  • Totals
  • Уже не новичок
  • Карма: 0 / 0

Re: Как защитить контент от парсинга?

Вот я встречал в интернете такие варианты защиты от грабберов:
1) необходимо открыть файл engine/modules/show.full.php и найти строку:

$tpl->set( '{full-story}', stripslashes( "<div id=\"news-id-" . $row['id'] . "\" style=\"display:inline;\">" . $row['full_story'] . "</div>" ) );

В ней следует заменить news-id на свои любой другой индикатор или вовсе удалить:

$tpl->set( '{full-story}', stripslashes( $row['full_story'] ) );

2) в файле engine/modules/show.full.php так же следует найти строку:

$tpl->set( '{full-story}', stripslashes( "<div id=\"news-id-" . $row['id'] . "\" style=\"display:inline;\">" . $row['full_story'] . "</div>" ) );

заменить ее на: 

$random = substr(md5($row['category']), 0, 4);
$tpl->set('{full-story}', stripslashes("<div class=\"{$random}" . $row['id'] . "\">" .$row['full_story'] . "</div>"));

Не знаю работающие ли это методы и вопрос если использовать скажем второй вариант не будет ли проблем с индексированием новостей, ведь там что то с id новости завязано?

8 ПафНутиЙ

  • ПафНутиЙ
  • Делаю всякие полезности для DLE и не только
  • Карма: 51 / 1

Re: Как защитить контент от парсинга?

Totals пишет:

сли использовать скажем второй вариант не будет ли проблем с индексированием новостей, ведь там что то с id новости завязано?

будет проблема с редактированием новостей с сайта. Но проблему парсинга не решит))