Robots.txt

Servere virtuale de la 20 eur / luna. Servere dedicate de la 100 eur / luna - servicii de administrare si monitorizare incluse. Colocare servere si echipamente de la 75 eur / luna. Pentru detalii accesati site-ul BluePink.

ROBOTS.TXT

    Robots.txt este un fisier de pe serverul tau ce te ajuta sa controlezi indexarea siteului tau de catre motoarele de cautare, implicit de catre Google. Robots.txt “spune” motoarelor de cautare ce fisiere sa indexeze si ce fisiera sa nu. Astfel, ai posibilitatea sa ii “comanzi” botului Google ce are voie sa vada pe situl tau si care sunt locurile unde nu poate ajunge.

    Ai doua motive pentru a avea un fisier robots.txt:
1. Vrei ca Google sa indexeze cat mai repede situl si daca are multe fisiere la dispozitie acest lucru va afecta si timpul, iar aici vine in ajutor robots.txt prin interzicerea unor fisiere.
2. NU creezi continut duplicat (care e foarte nasol pentru situl tau pentru ca: afecteaza timpul de indexare, acelasi post avand pagini diferite (url) si in cadrul unei categorii (arhiva) si la search, autor sau data; pentru ca risca sa creeze rezultate suplimentare in motoarele de cautare lucru ce va afecta “sanatatea” siteului, page-rankul si originalitatea articolelor individuale).

    Crearea fisierului robots.txt:
    Se creeaza un fisier in notepad denumit robots, ce contine urmatoarea structura:

    User-agent: *
    Disallow: /wp-
    Disallow: /feed/

    Disallow: /trackback/

    User-agent: * = toate motoarele de cautare vor urma instructiunile de mai jos.

    Disallow: /wp- = motoarele de cautare nu au voie sa indexeze fisierele wordpress si orice fisier care incepe cu literele mentionate de tine dupa splash “/”. Daca nu folosesti wordpress, atunci poti adauga numele oricarui fisier ce nu vrei sa fie indexat si apoi caracterul “/”: Disallow: /wp-content/

    O buna idee ar fi si limitarea accesului la feed prin acelasi robots.txt, datorita faptului ca acesta nu este menit a fi citit direct deci nu ar trebui sa apara in rezultatele unei cautari. Dupa ce ai terminat de scris fisierul, uploadeaza-l in directorul princpal de pe serverul tau.