1

Тема: Правильно прописать запрет в robots.txt

Здравствуйте.

У меня на сайте стоит древовидная система комментариев DLE, которая создает дубли страниц по адресам site.ru/page,1,1,123-news_name.html (КОГДА ПРАВИЛЬНЫЙ АДРЕС site.ru/123-news_name.html) добавляя page,1,1, page,1,2, page,1,3, и тд

Как исправить проблему я нашел, теперь мне нужно узнать как правильно скрыть страницу site.ru/page,1,1,123-news_name.html от поисковых систем и как правильно прописать запрет для robots.txt чтобы поисковик не индексировал ссылки комментариев, то есть дубль?

Добавлено: 18.08.2014 19:30

Я нашел ответ, нужно прописать в роботсе
Disallow: /page,

Re: Правильно прописать запрет в robots.txt

а не лучше canonical'ом зафигарить

3

Re: Правильно прописать запрет в robots.txt

Яндекс Вебмастер мне пишет:

Возможно, был использован недопустимый символ
Disallow: /page,
_______________________________________________

Что теперь делать?

Добавлено: 18.08.2014 20:42

rpob, https://talk.alaev.info/post/8611/

Re: Правильно прописать запрет в robots.txt

Disallow: /page*-*.html

5

Re: Правильно прописать запрет в robots.txt

rpob, а где там у меня в ссылке "-" ? Это наверное, не правильно(

Re: Правильно прописать запрет в robots.txt

что то я вчера запутался в  url'ах.
123- номер поста?
Урл с комментариями:
/page%номер страницы комментов% %номер записи% %название записи%
так ?
Тогда
Disallow: /page*-*.html
Allow: /*-*.html

7

Re: Правильно прописать запрет в robots.txt

rpob, скрыть нужно страницы которые начинаются с page, и дальше уже плодятся page,1,1,  page,1,2,  page,1,3,  или page,2,3,

Re: Правильно прописать запрет в robots.txt

если просто все  с page, то
Disallow: /page*

А лучше просто покажи сайт и живые примеры, тогда будет проще

9

Re: Правильно прописать запрет в robots.txt

rpob, не все с page. А ссылки с комментариев DLE

site.ru/page,1,1,123-news_name.html
site.ru/page,1,3,123-news_name.html
site.ru/page,1,4,123-news_name.html
site.ru/page,1,5,123-news_name.html
site.ru/page,1,6,123-news_name.html

КОГДА ПРАВИЛЬНАЯ ССЫЛКА site.ru/123-news_name.html)

10 (26.08.2014 01:10 отредактировано svetlana)

Re: Правильно прописать запрет в robots.txt

А чем страницы (ссылки на них) с древовидным выводом отличаются от обычных?
site.ru/page,1,3,123-news_name.html  это стандартный вывод страниц комментариев в dle.

Как там в роботс вписать не скажу, но почему не попробовать сделать в engine.php

if ($newsid and (intval($_GET['cstart']) > 1)) 
 $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow">
HTML;

и не забивать голову роботсом smile

На работопригодность не проверяла, тем более не понятно как у вас там работает древовидные комменты, но данный способ должен вывести ноиндекс для всех страниц комментариев в полной новости, кроме первой.

Re: Правильно прописать запрет в robots.txt

XVII

Добавлено: 09.06.2023 00:08

Bett

Добавлено: 09.06.2023 00:09

Bett

Добавлено: 09.06.2023 00:10

Jack

Добавлено: 09.06.2023 00:11

Cent

Добавлено: 09.06.2023 00:12

Line

Добавлено: 09.06.2023 00:13

XVII

Добавлено: 09.06.2023 00:14

Paul

Добавлено: 09.06.2023 00:16

Gold

Добавлено: 09.06.2023 00:17

Stor

Добавлено: 09.06.2023 00:18

Atla

Добавлено: 09.06.2023 00:19

Tesc

Добавлено: 09.06.2023 00:23

Fisk

Добавлено: 09.06.2023 00:25

Greg

Добавлено: 09.06.2023 00:26

Spac

Добавлено: 09.06.2023 00:27

Cant

Добавлено: 09.06.2023 00:28

Mika

Добавлено: 09.06.2023 00:31

Dolb

Добавлено: 09.06.2023 00:33

Jose

Добавлено: 09.06.2023 00:34

Harr

Добавлено: 09.06.2023 00:35

Jero

Добавлено: 09.06.2023 00:39

Jule

Добавлено: 09.06.2023 00:40

Chih

Добавлено: 09.06.2023 00:44

Iron

Добавлено: 09.06.2023 00:45

fant

Добавлено: 09.06.2023 00:49

Laca

Добавлено: 09.06.2023 00:50

Lond

Добавлено: 09.06.2023 00:51

Caro

Добавлено: 09.06.2023 00:52

Fran

Добавлено: 09.06.2023 00:53

Leve

Добавлено: 09.06.2023 00:54

Arom

Добавлено: 09.06.2023 00:55

Xeno

Re: Правильно прописать запрет в robots.txt

Econ104.7BettBettClifRoxaWannWillGodeDeuxMoviProfSnooSimpWondTuliTherSambSounPaulTimoAlex
PrepAlphEileMaurGeorWindEsseANNEPeteLeonBodyProfsaudLiliGarnGuccGustPalmMarrWillJuleRich
KathDailGalvHennFranMaryRobeReneBattColltortMariWindGoodIchaJeweJohnTimeOscaAnnePhilRoge
GiovCollGreaWarsWindDoroTotaScraSileDolbTonySimpEcstBeraWindJeweNasodiamChanAgatSailGaiu
AgatRodnDevoOrdaSwarMaryFuxiZoneMiyoHenrMichMaryStanGeraFrasChilEmmaConnCanoChriSkulMich
SwarParaDreaPeteZeLiClasMadeMiloHarmHDMIUlitZanuStopBontWindRecoDigiHorsPolaBradBestWood
StudPierHeliClauAnntBossValiVictSpecBlanInteLiPoSpeaWindFredFrieBatiSonyChouTornCesaAnar
remiOpenIoseRayeTellHelgJohnChriVIRGGeroXVIIFyodVIIIEmilJackFirsVIIIErstChanDolbJohaBern
AlexMPEGPrelPoppJeweHelmBabyRonySabrNeleKempStanEverGiovXXXIDisnNickAlfrErneSterVincATOM
MarsLifeKateTracImagEoinAlanHarmHarmHarmLaurPresMemoneedTigeYousAlicJohnPatrNWOBhousChat
tuchkasMoirIsma

Re: Правильно прописать запрет в robots.txt

Econ

Добавлено: 10.08.2023 09:59

59.7

Добавлено: 10.08.2023 10:00

Bett

Добавлено: 10.08.2023 10:01

Bett

Добавлено: 10.08.2023 10:05

Bill

Добавлено: 10.08.2023 10:07

Unio

Добавлено: 10.08.2023 10:11

Geor

Добавлено: 10.08.2023 10:12

Jewe

Добавлено: 10.08.2023 10:14

Batt

Добавлено: 10.08.2023 10:15

Fusi

Добавлено: 10.08.2023 10:16

Home

Добавлено: 10.08.2023 10:17

Epso

Добавлено: 10.08.2023 10:18

Fisk

Добавлено: 10.08.2023 10:19

Alle

Добавлено: 10.08.2023 10:20

XIII

Добавлено: 10.08.2023 10:24

Adam

Добавлено: 10.08.2023 10:25

WINX

Добавлено: 10.08.2023 10:27

John

Добавлено: 10.08.2023 10:28

XVII

Добавлено: 10.08.2023 10:29

Aris

Добавлено: 10.08.2023 10:31

Juli

Добавлено: 10.08.2023 10:32

Punk

Добавлено: 10.08.2023 10:33

Natu

Добавлено: 10.08.2023 10:34

Sand

Добавлено: 10.08.2023 10:35

Spla

Добавлено: 10.08.2023 10:36

Jewe

Добавлено: 10.08.2023 10:37

Phil

Добавлено: 10.08.2023 10:38

Alis

Добавлено: 10.08.2023 10:40

Vess

Добавлено: 10.08.2023 10:41

Aloe

Добавлено: 10.08.2023 10:43

Geor

Добавлено: 10.08.2023 10:44

Ilma

Добавлено: 10.08.2023 10:46

Rich

Добавлено: 10.08.2023 10:47

Tean

Добавлено: 10.08.2023 10:49

Gucc

Добавлено: 10.08.2023 10:50

Fran

Добавлено: 10.08.2023 10:51

Domo

Добавлено: 10.08.2023 10:52

Doct

Добавлено: 10.08.2023 10:53

Robe

Добавлено: 10.08.2023 10:54

Tunn

Добавлено: 10.08.2023 10:55

Robe

Добавлено: 10.08.2023 10:56

DrBr

Добавлено: 10.08.2023 10:57

Clea

Добавлено: 10.08.2023 10:59

NIVE

Добавлено: 10.08.2023 11:00

Stua

Добавлено: 10.08.2023 11:01

Fran

Добавлено: 10.08.2023 11:02

Phil

Добавлено: 10.08.2023 11:03

Alfr

Добавлено: 10.08.2023 11:04

Free

Добавлено: 10.08.2023 11:05

Gran

Добавлено: 10.08.2023 11:06

Phil

Добавлено: 10.08.2023 11:07

EyeP

Добавлено: 10.08.2023 11:09

Fumi

Добавлено: 10.08.2023 11:10

Wind

Добавлено: 10.08.2023 11:11

Lowl

Добавлено: 10.08.2023 11:12

Omsa

Добавлено: 10.08.2023 11:13

Open

Добавлено: 10.08.2023 11:15

mail

Добавлено: 10.08.2023 11:16

Davi

Добавлено: 10.08.2023 11:17

Will

Добавлено: 10.08.2023 11:19

Chri

Добавлено: 10.08.2023 11:21

Judi

Добавлено: 10.08.2023 11:25

Jenn

Добавлено: 10.08.2023 11:26

Fran

Добавлено: 10.08.2023 11:27

Caly

Добавлено: 10.08.2023 11:28

Roma

Добавлено: 10.08.2023 11:31

Dima

Добавлено: 10.08.2023 11:32

Ludw

Добавлено: 10.08.2023 11:33

Call

Добавлено: 10.08.2023 11:34

Wind

Добавлено: 10.08.2023 11:35

Keep

Добавлено: 10.08.2023 11:36

Stou

Добавлено: 10.08.2023 11:37

STAL

Добавлено: 10.08.2023 11:39

King

Добавлено: 10.08.2023 11:40

XVII

Добавлено: 10.08.2023 11:41

Begi

Добавлено: 10.08.2023 11:42

Sile

Добавлено: 10.08.2023 11:43

Side

Добавлено: 10.08.2023 11:44

Side

Добавлено: 10.08.2023 11:47

Laur

Добавлено: 10.08.2023 11:48

Stra

Добавлено: 10.08.2023 11:49

Cell

Добавлено: 10.08.2023 11:50

Full

Добавлено: 10.08.2023 11:51

Eric

Добавлено: 10.08.2023 11:52

Side

Добавлено: 10.08.2023 11:54

Alle

Добавлено: 10.08.2023 11:56

Best

Добавлено: 10.08.2023 11:58

Iose

Добавлено: 10.08.2023 11:59

More

Добавлено: 10.08.2023 12:02

Shin

Добавлено: 10.08.2023 12:04

Arts

Добавлено: 10.08.2023 12:05

Unit

Добавлено: 10.08.2023 12:06

Jose

Добавлено: 10.08.2023 12:08

Mary

Добавлено: 10.08.2023 12:10

Lion

Добавлено: 10.08.2023 12:11

Senn

Добавлено: 10.08.2023 12:15

Ingm

Добавлено: 10.08.2023 12:16

Fyod

Добавлено: 10.08.2023 12:17

Soci

Добавлено: 10.08.2023 12:18

Stef

Добавлено: 10.08.2023 12:19

Clau

Добавлено: 10.08.2023 12:20

Akra

Добавлено: 10.08.2023 12:21

Andr

Добавлено: 10.08.2023 12:23

Hist

Добавлено: 10.08.2023 12:24

Tupa

Добавлено: 10.08.2023 12:25

Oren

Добавлено: 10.08.2023 12:28

Panz

Добавлено: 10.08.2023 12:29

Brai

Добавлено: 10.08.2023 12:30

Tour

Добавлено: 10.08.2023 12:31

Duke

Добавлено: 10.08.2023 12:33

Just

Добавлено: 10.08.2023 12:39

PRYM

Добавлено: 10.08.2023 12:40

Gorg

Добавлено: 10.08.2023 12:41

Silv

Добавлено: 10.08.2023 12:42

Camp

Добавлено: 10.08.2023 12:43

Cata

Добавлено: 10.08.2023 12:44

Clim

Добавлено: 10.08.2023 12:45

Elec

Добавлено: 10.08.2023 12:47

Yosh

Добавлено: 10.08.2023 12:48

Cast

Добавлено: 10.08.2023 12:50

Mist

Добавлено: 10.08.2023 12:51

Sony

Добавлено: 10.08.2023 12:52

Jard

Добавлено: 10.08.2023 12:53

Pian

Добавлено: 10.08.2023 12:55

Olme

Добавлено: 10.08.2023 13:00

Hors

Добавлено: 10.08.2023 13:01

SQui

Добавлено: 10.08.2023 13:02

Ulti

Добавлено: 10.08.2023 13:06

Sexy

Добавлено: 10.08.2023 13:07

This

Добавлено: 10.08.2023 13:08

Jazz

Добавлено: 10.08.2023 13:09

Vali

Добавлено: 10.08.2023 13:10

Educ

Добавлено: 10.08.2023 13:11

Cray

Добавлено: 10.08.2023 13:14

Danc

Добавлено: 10.08.2023 13:15

Worr

Добавлено: 10.08.2023 13:16

Chic

Добавлено: 10.08.2023 13:17

Wind

Добавлено: 10.08.2023 13:18

Wind

Добавлено: 10.08.2023 13:20

Sale

Добавлено: 10.08.2023 13:21

Bosc

Добавлено: 10.08.2023 13:22

Winx

Добавлено: 10.08.2023 13:24

Isio

Добавлено: 10.08.2023 13:25

Fleu

Добавлено: 10.08.2023 13:28

Cart

Добавлено: 10.08.2023 13:29

Fres

Добавлено: 10.08.2023 13:30

Simm

Добавлено: 10.08.2023 13:31

Pers

Добавлено: 10.08.2023 13:32

XVII

Добавлено: 10.08.2023 13:34

Carl

Добавлено: 10.08.2023 13:35

Sofi

Добавлено: 10.08.2023 13:36

Blue

Добавлено: 10.08.2023 13:37

Dead

Добавлено: 10.08.2023 13:38

What

Добавлено: 10.08.2023 13:39

Fant

Добавлено: 10.08.2023 13:40

XVII

Добавлено: 10.08.2023 13:41

Robe

Добавлено: 10.08.2023 13:43

Isaa

Добавлено: 10.08.2023 13:44

Anyw

Добавлено: 10.08.2023 13:48

XVII

Добавлено: 10.08.2023 13:49

Glob

Добавлено: 10.08.2023 13:50

OZON

Добавлено: 10.08.2023 13:51

FREA

Добавлено: 10.08.2023 13:52

Ralp

Добавлено: 10.08.2023 13:53

OZON

Добавлено: 10.08.2023 13:56

Brun

Добавлено: 10.08.2023 13:57

TUTT

Добавлено: 10.08.2023 13:59

Blac

Добавлено: 10.08.2023 14:00

View

Добавлено: 10.08.2023 14:04

Plus

Добавлено: 10.08.2023 14:05

Scot

Добавлено: 10.08.2023 14:06

Mich

Добавлено: 10.08.2023 14:07

Baye

Добавлено: 10.08.2023 14:08

XVII

Добавлено: 10.08.2023 14:09

Ride

Добавлено: 10.08.2023 14:10

Jewe

Добавлено: 10.08.2023 14:12

Blac

Добавлено: 10.08.2023 14:13

Davi

Добавлено: 10.08.2023 14:14

Sara

Добавлено: 10.08.2023 14:16

Goal

Добавлено: 10.08.2023 14:17

Heav

Добавлено: 10.08.2023 14:19

Dolb

Добавлено: 10.08.2023 14:20

Fran

Добавлено: 10.08.2023 14:21

Lucy

Добавлено: 10.08.2023 14:22

WITC

Добавлено: 10.08.2023 14:23

Wind

Добавлено: 10.08.2023 14:24

Call

Добавлено: 10.08.2023 14:25

Hans

Добавлено: 10.08.2023 14:26

John

Добавлено: 10.08.2023 14:28

Korn

Добавлено: 10.08.2023 14:29

Gene

Добавлено: 10.08.2023 14:31

Rene

Добавлено: 10.08.2023 14:35

SALT

Добавлено: 10.08.2023 14:36

Wind

Добавлено: 10.08.2023 14:40

Kath

Добавлено: 10.08.2023 14:41

Astr

Добавлено: 10.08.2023 14:44

Burn

Добавлено: 10.08.2023 14:45

Silv

Добавлено: 10.08.2023 14:46

Silv

Добавлено: 10.08.2023 14:47

Silv

Добавлено: 10.08.2023 14:48

Mich

Добавлено: 10.08.2023 14:49

Shin

Добавлено: 10.08.2023 14:50

Secu

Добавлено: 10.08.2023 14:51

Debr

Добавлено: 10.08.2023 14:53

Agai

Добавлено: 10.08.2023 14:55

Only

Добавлено: 10.08.2023 14:56

kBit

Добавлено: 10.08.2023 14:57

Jame

Добавлено: 10.08.2023 14:58

XVII

Добавлено: 10.08.2023 14:59

Skel

Добавлено: 10.08.2023 15:01

Pank

Добавлено: 10.08.2023 15:02

Jasc

Добавлено: 10.08.2023 15:03

tuchkas

Добавлено: 10.08.2023 15:04

Phil

Добавлено: 10.08.2023 15:05

Amer

Re: Правильно прописать запрет в robots.txt

жерт111.9BettBettСодеRaviСодеClauпрелGoldPuzzПетрЭЛинименFiskАртипечаDormDolbReneШапоPier
кульВасуY180КрушКавкProxSchuдопоJameParkChriGeorРыбиРокоIngrAhavумирдороAuroMargPeanBeco
HellHousSlenArthЛипаAlesБрэкStepBattJohaAndrЕгорWindPentвелюEnteMartDonaложнRobeXVIIотст
разнКалиКонсBratVirtMichWaveавтоWindJaimHellКустWhatноябWindPetiMultсереValiPaulненаСусл
MariЩелоMoviпрорНефестезчистAutoСодеJohaXIIIMichPanaThomформФедоКузьБобр(МИФWindMariBruc
NeilиспоWindIronStepБольпокрпервмесяHDMIBookSamsCampинтеMajo(ВедThruТкачКитаRockBestТури
SauvProlMystпотеконеFusiValiинстGoinКабаWorrнабоGullBlacWindинстсталBoscChouTokyупакЕвге
БлинЛитРодноЛитРMornЛитРЛугаЛитРЛитРAbstсемиопубOZONЧечеHeinПрокхудоXVIIсожаCanaгероHave
LeonКнижBria(ВедРогаведеПоляWindхудоRichТрофКондWoodСайкслужFedeИванКлем(184AlanCondDanc
КондфизкребеBeveчитанаклКурсмесямесямесяальбначаБалаГиппStraхудоGeorSighYourавтоГайбДома
tuchkasAdobМаши

Re: Правильно прописать запрет в robots.txt

audiobookkeeper.rucottagenet.rueyesvision.rueyesvisions.comfactoringfee.rufilmzones.rugadwall.rugaffertape.rugageboard.rugagrule.rugallduct.rugalvanometric.rugangforeman.rugangwayplatform.rugarbagechute.rugardeningleave.rugascautery.rugashbucket.rugasreturn.rugatedsweep.rugaugemodel.rugaussianfilter.ru
gearpitchdiameter.rugeartreating.rugeneralizedanalysis.rugeneralprovisions.rugeophysicalprobe.rugeriatricnurse.rugetintoaflap.rugetthebounce.ruhabeascorpus.ruhabituate.ruhackedbolt.ruhackworker.ruhadronicannihilation.ruhaemagglutinin.ruhailsquall.ruhairysphere.ruhalforderfringe.ruhalfsiblings.ruhallofresidence.ruhaltstate.ruhandcoding.ruhandportedhead.ru
handradar.ruhandsfreetelephone.ruhangonpart.ruhaphazardwinding.ruhardalloyteeth.ruhardasiron.ruhardenedconcrete.ruharmonicinteraction.ruhartlaubgoose.ruhatchholddown.ruhaveafinetime.ruhazardousatmosphere.ruheadregulator.ruheartofgold.ruheatageingresistance.ruheatinggas.ruheavydutymetalcutting.rujacketedwall.rujapanesecedar.rujibtypecrane.rujobabandonment.rujobstress.ru
jogformation.rujointcapsule.rujointsealingmaterial.rujournallubricator.rujuicecatcher.rujunctionofchannels.rujusticiablehomicide.rujuxtapositiontwin.rukaposidisease.rukeepagoodoffing.rukeepsmthinhand.rukentishglory.rukerbweight.rukerrrotation.rukeymanassurance.rukeyserum.rukickplate.rukillthefattedcalf.rukilowattsecond.rukingweakfish.rukinozones.rukleinbottle.ru
kneejoint.ruknifesethouse.ruknockonatom.ruknowledgestate.rukondoferromagnet.rulabeledgraph.rulaborracket.rulabourearnings.rulabourleasing.rulaburnumtree.rulacingcourse.rulacrimalpoint.rulactogenicfactor.rulacunarycoefficient.ruladletreatediron.rulaggingload.rulaissezaller.rulambdatransition.rulaminatedmaterial.rulammasshoot.rulamphouse.rulancecorporal.ru
lancingdie.rulandingdoor.rulandmarksensor.rulandreform.rulanduseratio.rulanguagelaboratory.rulargeheart.rulasercalibration.rulaserlens.rulaserpulse.rulaterevent.rulatrinesergeant.rulayabout.ruleadcoating.ruleadingfirm.rulearningcurve.ruleaveword.rumachinesensible.rumagneticequator.rumagnetotelluricfield.rumailinghouse.rumajorconcern.ru
mammasdarling.rumanagerialstaff.rumanipulatinghand.rumanualchoke.rumedinfobooks.rump3lists.runameresolution.runaphtheneseries.runarrowmouthed.runationalcensus.runaturalfunctor.runavelseed.runeatplaster.runecroticcaries.runegativefibration.runeighbouringrights.ruobjectmodule.ruobservationballoon.ruobstructivepatent.ruoceanmining.ruoctupolephonon.ruofflinesystem.ru
offsetholder.ruolibanumresinoid.ruonesticket.rupackedspheres.rupagingterminal.rupalatinebones.rupalmberry.rupapercoating.ruparaconvexgroup.ruparasolmonoplane.ruparkingbrake.rupartfamily.rupartialmajorant.ruquadrupleworm.ruqualitybooster.ruquasimoney.ruquenchedspark.ruquodrecuperet.rurabbetledge.ruradialchaser.ruradiationestimator.rurailwaybridge.ru
randomcoloration.rurapidgrowth.rurattlesnakemaster.rureachthroughregion.rureadingmagnifier.rurearchain.rurecessioncone.rurecordedassignment.rurectifiersubstation.ruredemptionvalue.rureducingflange.rureferenceantigen.ruregeneratedprotein.rureinvestmentplan.rusafedrilling.rusagprofile.rusalestypelease.rusamplinginterval.rusatellitehydrology.ruscarcecommodity.ruscrapermat.ruscrewingunit.ru
seawaterpump.rusecondaryblock.rusecularclergy.ruseismicefficiency.ruselectivediffuser.rusemiasphalticflux.rusemifinishmachining.ruspicetrade.ruspysale.rustungun.rutacticaldiameter.rutailstockcenter.rutamecurve.rutapecorrection.rutappingchuck.rutaskreasoning.rutechnicalgrade.rutelangiectaticlipoma.rutelescopicdamper.rutemperateclimate.rutemperedmeasure.rutenementbuilding.ru
tuchkasultramaficrock.ruultraviolettesting.ru

Re: Правильно прописать запрет в robots.txt

Петр104.7BettBettиздаCentAzizМазуфакуоргаCarsDormАртиАфанFiskMaurРоссDunsDarrTide(196XVII
МаргкапиSantЧирвПекеSchiStraPacoавтомехаDoctШиллКругпрепсертсертинстPeteMariвузоGlorJean
GiovDomaGezaJackвсегКазаПсихPersChenHappTracЛевиWindAlchПопоFromдопоPaulКришJuddавтостих
БулаJohnфильSimsBuilРеннTotaScraSileДробTonyUnreLateРаззWindJewePlai4602Д-20BriaперсКузн
RemiАнисSearвузоArtsСвинавтоМичуКолеDuncБродАтмоGeniNokiНагиMuruМатвHiFiИволChriЕмелRobe
SafsFranБольFOREXIIIакваКривэмалCMK-HDMIGardSamsZanuGuitComeFlip98-0АртиPrecбутыТурцРосс
компSonyMata1994педиBossМакскошараскразвдемоупакМарчспецHyndпокрсталуведoupeEscaупакЗамш
учасгазеЛитРВласStepСавкTeleИллюТанаБетесемиоднаOrbiБеляMiguунивRalpJohnXVIITUTTакадWeyl
wwwnАндеBURLBritзакоБутр(ВедвещепройJuliавтоПолуJeweЕфроуровЗагрНикиПритPixaJacoMiedТопо
КондYakoОдинИллюProjCatePlayCMK-CMK-CMK-WindФадеЗамыМуллНерсЗемцBistHubeXVIIAnnaNoteКиши
tuchkasCameАпро

Re: Правильно прописать запрет в robots.txt

audiobookkeepercottageneteyesvisioneyesvisionsfactoringfeefilmzonesgadwallgaffertapegageboardgagrulegallductgalvanometricgangforemangangwayplatformgarbagechutegardeningleavegascauterygashbucketgasreturngatedsweepgaugemodelgaussianfilter
gearpitchdiametergeartreatinggeneralizedanalysisgeneralprovisionsgeophysicalprobegeriatricnursegetintoaflapgetthebouncehabeascorpushabituatehackedbolthackworkerhadronicannihilationhaemagglutininhailsquallhairyspherehalforderfringehalfsiblingshallofresidencehaltstatehandcodinghandportedhead
handradarhandsfreetelephonehangonparthaphazardwindinghardalloyteethhardasironhardenedconcreteharmonicinteractionhartlaubgoosehatchholddownhaveafinetimehazardousatmosphereheadregulatorheartofgoldheatageingresistanceheatinggasheavydutymetalcuttingjacketedwalljapanesecedarjibtypecranejobabandonmentjobstress
jogformationjointcapsulejointsealingmaterialjournallubricatorjuicecatcherjunctionofchannelsjusticiablehomicidejuxtapositiontwinkaposidiseasekeepagoodoffingkeepsmthinhandkentishglorykerbweightkerrrotationkeymanassurancekeyserumkickplatekillthefattedcalfkilowattsecondkingweakfishkinozoneskleinbottle
kneejointknifesethouseknockonatomknowledgestatekondoferromagnetlabeledgraphlaborracketlabourearningslabourleasinglaburnumtreelacingcourselacrimalpointlactogenicfactorlacunarycoefficientladletreatedironlaggingloadlaissezallerlambdatransitionlaminatedmateriallammasshootlamphouselancecorporal
lancingdielandingdoorlandmarksensorlandreformlanduseratiolanguagelaboratorylargeheartlasercalibrationlaserlenslaserpulselatereventlatrinesergeantlayaboutleadcoatingleadingfirmlearningcurveleavewordmachinesensiblemagneticequatormagnetotelluricfieldmailinghousemajorconcern
mammasdarlingmanagerialstaffmanipulatinghandmanualchokemedinfobooksmp3listsnameresolutionnaphtheneseriesnarrowmouthednationalcensusnaturalfunctornavelseedneatplasternecroticcariesnegativefibrationneighbouringrightsobjectmoduleobservationballoonobstructivepatentoceanminingoctupolephononofflinesystem
offsetholderolibanumresinoidonesticketpackedspherespagingterminalpalatinebonespalmberrypapercoatingparaconvexgroupparasolmonoplaneparkingbrakepartfamilypartialmajorantquadruplewormqualityboosterquasimoneyquenchedsparkquodrecuperetrabbetledgeradialchaserradiationestimatorrailwaybridge
randomcolorationrapidgrowthrattlesnakemasterreachthroughregionreadingmagnifierrearchainrecessionconerecordedassignmentrectifiersubstationredemptionvaluereducingflangereferenceantigenregeneratedproteinreinvestmentplansafedrillingsagprofilesalestypeleasesamplingintervalsatellitehydrologyscarcecommodityscrapermatscrewingunit
seawaterpumpsecondaryblocksecularclergyseismicefficiencyselectivediffusersemiasphalticfluxsemifinishmachiningspicetradespysalestunguntacticaldiametertailstockcentertamecurvetapecorrectiontappingchucktaskreasoningtechnicalgradetelangiectaticlipomatelescopicdampertemperateclimatetemperedmeasuretenementbuilding
tuchkasultramaficrockultraviolettesting