Abbonati ai feed di SEO per SEO

L’importanza del robots.txt

In: Seo medium

11 giu 2009

robots

Proprio in questi giorni ho letto un articolo riguardante il file robots.txt sul TagliaBlog.

Molto utile ed interessante. Eccolo qua.

Mi è successa una cosa simile in questi ultimi mesi, quando per un sito che curo personalmente mi sono trovato ad una netta diminuzione delle statistiche di scansione anche se ancora non sono arrivato allo zero.

Ho analizzato il problema per diverso tempo.

Nonostante il mio lavoro di ottimizzazione e di link building per il sito, non ho ottenuto risultati.

Nemmeno sottoponendo gli url con una sitemap multipla ho ottenuto qualcosa, e dopo 3 mesi il sito aveva solo 3 pagine della sitemap indicizzate.

Preso dalla rabbia di quest’ultimo dato, mi sono chiesto dove fosse il problema.

Ho identificato la causa in un banale errore di distrazione.

Avevo semplicemente operato una riscrittura delle url con un redirect 404 verso una pagina di errore, dimenticandomi di caricare il file robots.txt sul sito.

Per questo, quando Google andava a cercare il file robotx.txt, riceveva un errore 404 e quindi veniva presentato allo spider il contenuto della pagina di errore.

Quindi il file robots.txt conteneva codice html, generando scompiglio nello spider che piano piano ha smesso di visitare il sito.

Quando facciamo un redirect 404 è quindi necessario accettarsi che i file cercati dallo spider ci siano e non restituiscano un errore 404.

1 Response to L’importanza del robots.txt

Avatar

Matteo

giugno 14th, 2009 at 18:44

mandami una mail, la tua non la trovo :)

[Rispondi]

Comment Form

SEO Blog:.

Photostream