Generatore Robots.txt
Generatore gratuito di robots.txt online. Crea e personalizza file robots.txt per controllare la scansione dei motori di ricerca, gestire l'accesso dei crawler e ottimizzare il SEO del tuo sito.
Cos'è robots.txt?
Robots.txt è un file di testo posizionato nella root del tuo sito web che indica ai crawler web (come Googlebot) quali pagine o directory possono o non possono accedere. Fa parte del Robots Exclusion Protocol (REP).
Dove devo posizionare robots.txt?
Posiziona robots.txt nella root del tuo dominio: https://www.example.com/robots.txt. I motori di ricerca lo cercano in questa posizione esatta.
Cosa significa User-agent?
User-agent specifica a quale crawler si applica la regola. Usa * per applicare a tutti i crawler, o specifica bot particolari come Googlebot, Bingbot o Baiduspider.
Qual è la differenza tra Allow e Disallow?
Allow consente ai crawler di accedere a percorsi specifici, mentre Disallow impedisce l'accesso. Disallow ha la precedenza quando entrambe le regole esistono per lo stesso percorso.
Robots.txt può bloccare l'accesso alle pagine?
Robots.txt fornisce direttive ma non impone il controllo dell'accesso. I crawler conformi rispetteranno le regole, ma i bot malintenzionati potrebbero ignorarle. Usa l'autenticazione lato server o la protezione tramite password per una sicurezza reale.
Come specifico una sitemap in robots.txt?
Aggiungi una direttiva Sitemap: Sitemap: https://www.example.com/sitemap.xml. Questo aiuta i motori di ricerca a scoprire tutte le tue pagine importanti.
Cos'è Crawl-delay?
Crawl-delay indica ai crawler di attendere un numero specifico di secondi tra le richieste. Esempio: Crawl-delay: 10 significa attendere 10 secondi. Nota: Google non supporta questa direttiva.
Dovrei bloccare le pagine di amministrazione con robots.txt?
Sì, bloccare le aree di amministrazione (/admin/, /wp-admin/) previene la scansione non necessaria e riduce il carico del server. Tuttavia, le pagine bloccate non appariranno nei risultati di ricerca anche se collegate da altrove.
Posso avere più sezioni User-agent?
Sì, puoi avere set di regole separati per diversi crawler. Ogni blocco User-agent dovrebbe avere le proprie regole Allow/Disallow.
Robots.txt migliora il SEO?
Indirettamente, sì. Controllando cosa scansionano i motori di ricerca, puoi focalizzare la loro attenzione sulle pagine importanti, prevenire problemi di contenuto duplicato e ridurre il carico del server.
Cosa succede se robots.txt manca?
Se robots.txt non esiste, i crawler presumono di poter accedere a tutte le pagine. Questo di solito va bene per i siti piccoli ma può portare all'indicizzazione di pagine non desiderate su siti più grandi.
Come testo il mio file robots.txt?
Usa il tester robots.txt di Google Search Console, o il nostro validatore integrato per controllare la sintassi e vedere come diversi crawler interpreteranno le tue regole.
Posso bloccare tipi di file specifici?
Sì, usa Disallow con estensioni di file: Disallow: /*.pdf$ blocca tutti i file PDF. Usa $ per corrispondere alla fine degli URL.
Robots.txt è case-sensitive?
Sì, robots.txt è case-sensitive. /Admin/ e /admin/ sono trattati come percorsi diversi. Usa sempre il minuscolo per coerenza.