Robots.txt: Google usa anche Allow:

Volete permette a Google di raggiungere una pagina in una directory nascosta? Le specifiche “normali” e “standard” adottate dai motori di ricerca attraverso il file robots.txt non lo permettono e, anzi, vi obbligherebbero a creare, per ogni pagina contenuta, una direttiva di Disallow!

Ma Google è diverso e vi dà la possibilità di indicare, in maniera molto semplice, una pagina da raggiungere, anche se “racchiusa” in una directory bloccata: big G, infatti, ha aggiunto ai suoi spider (web bot) la direttiva “Allow:”.

L’utilizzo della direttiva Allow è banale, funzionando esattamente in maniera opposta della consolidata Disallow. Se nel file robots.txt scrivevate, per esempio

Disallow: /cartella-privata/

ora, con la clausola Allow seguita dal file (o cartella) che dovete e volete indicizzare, potete far raggiungere comodamente pagine particolari a Google

Allow: /cartella-privata/pagina-libera.html

Secondo te quanto verrà utilizzata? Per me, poco!