Creare un file robots.

Il file robots.txt è un file di testo utilizzato per negare o autorizzare l'accesso agli spider dei motori di ricerca nel sito o in alcune pagine e risorse.

Il file deve chiamarsi robot.txt e deve essere inserito nella root principale del nostro sito:

esempio: http://www.tuosito.com/robots.txt

Per creare un file robots usiamo il notepad o qualsiasi altro programma per creare file e documenti di testo con estensione .txt

Una volta creato un nuovo file .txt al suo interno scriviamo il seguente codice:

User-agent: *
Disallow:

Questo codice comunicherà a tutti gli spider dei motori di ricerca di indicizzare tutte le pagine del nostro sito compreso il loro contenuto.

Una volta inserito il codice salviamo il tutto con il nome robots.txt e carichiamo il file nella root principale del sito.

Inoltre è da ricordare che creare un file robots è molto importante per poter ottenere un ottimo posizionamento tra i risultati di ricerca di google e di qualsiasi altro motore di ricerca presente nel web.