Një nga mjetet për menaxhimin e indeksimit të faqeve nga motorët e kërkimit është skedari robots.txt. Përdoret kryesisht për të parandaluar që të gjithë ose vetëm robotë të caktuar të shkarkojnë përmbajtjen e grupeve të caktuara të faqeve. Kjo ju lejon të heqni qafe "mbeturinat" në rezultatet e motorëve të kërkimit dhe, në disa raste, të përmirësoni ndjeshëm renditjen e burimit. Importantshtë e rëndësishme të keni skedarin e saktë robots.txt për një aplikim të suksesshëm.
E nevojshme
redaktues teksti
Udhëzimet
Hapi 1
Bëni një listë të robotëve për të cilët do të vendosen rregulla të veçanta të përjashtimit ose direktivat e standardit të zgjeruar robots.txt, si dhe direktivat jo standarde dhe specifike (zgjerimet e një motori specifik kërkimi) do të përdoren. Futni në këtë listë vlerat e fushave User-Agent të titullit të kërkesave HTTP të dërguara nga robotët e zgjedhur në serverin e faqes. Emrat e robotëve mund të gjenden gjithashtu në seksionet e referencës në faqet e motorëve të kërkimit.
Hapi 2
Zgjidhni grupet e URL-ve të burimeve të faqes në të cilat duhet t'i refuzohet hyrja secilit prej robotëve në listën e përpiluar në hapin e parë. Kryeni të njëjtin operacion për të gjithë robotët e tjerë (një grup i papërcaktuar i botëve indeksues). Me fjalë të tjera, rezultati duhet të jetë disa lista që përmbajnë lidhje me seksionet e faqes, grupe faqesh ose burime të përmbajtjes mediatike që janë të ndaluara nga indeksimi. Çdo listë duhet të korrespondojë me një robot të ndryshëm. Duhet të ketë gjithashtu një listë të URL-ve të ndaluara për të gjithë botët e tjerë. Bëni lista bazuar në krahasimin e strukturës logjike të faqes me vendndodhjen fizike të të dhënave në server, si dhe duke grupuar URL-të e faqeve sipas karakteristikat e tyre funksionale. Për shembull, mund të përfshini në listat e mohimit përmbajtjen e çdo katalogu të shërbimit (të grupuar sipas vendndodhjes) ose të të gjitha faqeve të profilit të përdoruesit (të grupuara sipas qëllimit).
Hapi 3
Zgjidhni shenjat URL për secilin prej burimeve që përmbahen në listat e përpiluara në hapin e dytë. Kur përpunoni listat e përjashtimit për robotët duke përdorur vetëm direktivat standarde robots.txt dhe robotë të papërcaktuar, theksoni pjesët unike të URL-së të gjatësisë maksimale. Për grupet e mbetura të adresave, mund të krijoni shabllone në përputhje me specifikimet e motorëve të veçantë të kërkimit.
Hapi 4
Krijoni një skedar robots.txt. Shtoni grupe direktive për të, secila prej të cilave korrespondon me një sërë rregullash ndaluese për një robot specifik, lista e të cilave është përpiluar në hapin e parë. Kjo e fundit duhet të ndiqet nga një grup direktivash për të gjithë robotët e tjerë. Grupet e ndara të rregullave me një vijë të vetme bosh. Çdo rregull duhet të fillojë me një direktivë të Përdoruesit-agjent që identifikon robotin, e ndjekur nga një direktivë Disallow, e cila ndalon indeksimin e grupeve URL. Bëni linjat e marra në hapin e tretë me vlerat e direktivave Disallow. Ndani direktivat dhe kuptimet e tyre me një dy pika. Merrni parasysh shembullin e mëposhtëm: Përdoruesi-agjent: YandexDisallow: / temp / data / images / Përdoruesi-agjent: * Mos lejoni: / temp / data / Ky grup direktivash udhëzon robotin kryesor të Motori i kërkimit Yandex të mos indeksojë URL-në. E cila përmban nënshtresën / temp / të dhëna / imazhe /. Parandalon gjithashtu që të gjithë robotët e tjerë të indeksojnë URL-të që përmbajnë / temp / data /.
Hapi 5
Plotësoni robotët.txt me direktiva standarde të zgjeruara ose direktiva specifike të motorëve të kërkimit. Shembuj të direktivave të tilla janë: Pritësi, Harta e sitit, Shkalla e kërkesës, Koha e vizitës, Vonimi i zvarritjes.
