Shumica e blogerëve me përvojë sigurisht e dinë se çfarë është robots.txt dhe pse ju duhet kjo skedar. Por pak autorë menjëherë nxitojnë të krijojnë një skedar robots.txt pasi instaluan një blog në WordPress.
Robots.txt është një skedar teksti që ngarkohet në direktorinë rrënjë të faqes tuaj dhe përmban udhëzime për zvarritësit. Qëllimi kryesor i përdorimit të tij është të ndalojë indeksimin e faqeve dhe seksioneve individuale në sit. Sidoqoftë, duke përdorur robots.txt, ju gjithashtu mund të specifikoni pasqyrën e saktë të domenit, të përshkruani shtegun për në sitemap dhe të ngjashme.
Shumica e motorëve modernë të kërkimit kanë mësuar të lundrojnë mirë në CMS të mirënjohur dhe zakonisht nuk përpiqen të indeksojnë përmbajtje që nuk është menduar për këtë. Për shembull, Google nuk do të indektojë zonën tuaj të administratorit të blogut WordPress edhe nëse nuk e specifikoni direkt në robots.txt. Sidoqoftë, në disa raste, përdorimi i ndalimeve të drejtpërdrejta mund të jetë akoma i dobishëm. Dhe ne po flasim kryesisht për ndalimin e përmbajtjes së kopjuar.
Disa webmastera shkojnë aq larg sa të ndalojnë indeksimin e faqeve të kategorive dhe etiketave, pasi që përmbajtja e tyre pjesërisht dublikon përmbajtjen e faqes kryesore. Por shumica janë të kufizuara në ndalimin e ndjekjes dhe faqeve të furnizimit, të cilat kopjojnë plotësisht përmbajtjen e artikullit dhe nuk janë të destinuara fare për motorët e kërkimit. Një masë paraprake e tillë jo vetëm që do t'i bëjë rezultatet e faqes "më të pastra", por gjithashtu do t'ju kursejë nga filtrat e mundshëm të kërkimit, veçanërisht pas prezantimit të algoritmit të ri Google Panda.
Këtu janë udhëzimet e rekomanduara për një skedar robots.txt (do të funksionojë për pothuajse çdo blog WordPress):
Agjenti i Përdoruesit: * Mos lejo: /wp-login.php Mos lejo: /wp-register.php Mos lejo: /xmlrpc.php Mos lejo: / wp-admin Mos lejo: / wp-përfshin Mos lejo: / wp-content / plugins Mos lejo: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Ju lutemi vini re se në robots.txt dosjet administrative wp-admin dhe wp-include janë mbyllur plotësisht për indeksim. Dosja me përmbajtje wp është mbyllur vetëm pjesërisht, pasi përmban direktorinë e ngarkimeve, e cila përmban të gjitha imazhet nga blogu juaj që duhet të indeksohen.
E tëra çfarë ju duhet të bëni është të kopjoni direktivat nga kodi i mësipërm (vini re se secila direktivë duhet të shkruhet në një rresht të ri), t'i ruani ato në një skedar teksti të quajtur robots.txt dhe t'i ngarkoni ato në direktorinë rrënjë të faqes tuaj.
Ju gjithmonë mund të kontrolloni nëse robots.txt po funksionon si duhet përmes veglave të Google Webmaster dhe ndërfaqeve të Yandex Webmaster.
