Generatore Robots.txt
Generatore gratuito di robots.txt online. Crea e personalizza file robots.txt per controllare la scansione dei motori di ricerca, gestire l'accesso dei crawler e ottimizzare il SEO del tuo sito.
Cos'è robots.txt?
Robots.txt è un file di testo posizionato nella root del tuo sito web che indica ai crawler web (come Googlebot) quali pagine o directory possono o non possono accedere. Fa parte del Robots Exclusion Protocol (REP).
Dove devo posizionare robots.txt?
Posiziona robots.txt nella root del tuo dominio: https://www.example.com/robots.txt. I motori di ricerca lo cercano in questa posizione esatta.
Cosa significa User-agent?
User-agent specifica a quale crawler si applica la regola. Usa * per applicare a tutti i crawler, o specifica bot particolari come Googlebot, Bingbot o Baiduspider.
Qual è la differenza tra Allow e Disallow?
Allow consente ai crawler di accedere a percorsi specifici, mentre Disallow impedisce l'accesso. Disallow ha la precedenza quando entrambe le regole esistono per lo stesso percorso.
Robots.txt può bloccare l'accesso alle pagine?
Robots.txt fornisce direttive ma non impone il controllo dell'accesso. I crawler conformi rispetteranno le regole, ma i bot malintenzionati potrebbero ignorarle. Usa l'autenticazione lato server o la protezione tramite password per una sicurezza reale.
Come specifico una sitemap in robots.txt?
Aggiungi una direttiva Sitemap: Sitemap: https://www.example.com/sitemap.xml. Questo aiuta i motori di ricerca a scoprire tutte le tue pagine importanti.
Cos'è Crawl-delay?
Crawl-delay indica ai crawler di attendere un numero specifico di secondi tra le richieste. Esempio: Crawl-delay: 10 significa attendere 10 secondi. Nota: Google non supporta questa direttiva.
Dovrei bloccare le pagine di amministrazione con robots.txt?
Sì, bloccare le aree di amministrazione (/admin/, /wp-admin/) previene la scansione non necessaria e riduce il carico del server. Tuttavia, le pagine bloccate non appariranno nei risultati di ricerca anche se collegate da altrove.
Posso avere più sezioni User-agent?
Sì, puoi avere set di regole separati per diversi crawler. Ogni blocco User-agent dovrebbe avere le proprie regole Allow/Disallow.
Robots.txt migliora il SEO?
Indirettamente, sì. Controllando cosa scansionano i motori di ricerca, puoi focalizzare la loro attenzione sulle pagine importanti, prevenire problemi di contenuto duplicato e ridurre il carico del server.
Cosa succede se robots.txt manca?
Se robots.txt non esiste, i crawler presumono di poter accedere a tutte le pagine. Questo di solito va bene per i siti piccoli ma può portare all'indicizzazione di pagine non desiderate su siti più grandi.
Come testo il mio file robots.txt?
Usa il tester robots.txt di Google Search Console, o il nostro validatore integrato per controllare la sintassi e vedere come diversi crawler interpreteranno le tue regole.
Posso bloccare tipi di file specifici?
Sì, usa Disallow con estensioni di file: Disallow: /*.pdf$ blocca tutti i file PDF. Usa $ per corrispondere alla fine degli URL.
Robots.txt è case-sensitive?
Sì, robots.txt è case-sensitive. /Admin/ e /admin/ sono trattati come percorsi diversi. Usa sempre il minuscolo per coerenza.
Come usare Generatore Robots.txt
Genera un robots.txt valido con un editor visuale: aggiungi regole per ogni crawler, consenti o blocca percorsi e dichiara il tuo sitemap. Tutto viene generato localmente nel browser.
- Inizia dal gruppo predefinito il cui User-Agent è * — queste regole valgono per ogni crawler che rispetta robots.txt.
- Clicca su Add Path per aggiungere una regola, alternala tra Allow e Disallow e inserisci un percorso come /path/.
- Aggiungi un altro gruppo con uno User-Agent specifico, per esempio Googlebot, per dare a quel crawler regole più severe o più permissive.
- Inserisci l'URL del tuo sitemap, per esempio https://www.localtoolz.com/sitemap.xml, nel campo Sitemap.
- Imposta il ritardo di scansione se serve (0 significa nessun limite per la maggior parte dei crawler), poi copia il robots.txt generato nella root del sito.
I percorsi distinguono maiuscole e minuscole e valgono come prefissi: Disallow: /admin/ blocca tutto ciò che è sotto /admin/, mentre un solo Disallow: / blocca l'intero sito — ricontrolla prima di pubblicare.
Strumenti correlati
- Generatore di Sitemap Generatore gratuito di sitemap XML online. Aggiungi URL, imposta priorità e frequenze, crea sitemap SEO istantaneamente.
- Calcolatrice Chmod Calcolatrice chmod online gratuita per visualizzare e calcolare i permessi dei file Linux con caselle di controllo. Converti istantaneamente tra notazione numerica (755, 644) e simbolica (rwxr-xr-x). Supporta permessi speciali come setuid, setgid, sticky bit.
- Tabella ASCII Riferimento completo per la codifica dei caratteri ASCII con codici decimali, esadecimali, ottali, binari, entità HTML e descrizioni. Ricerca e filtro istantanei.
- Visualizzatore HAR Apri file HAR online. Tabella richieste con colori di stato, ordinamento, filtro, header, anteprima del corpo e cascata dei tempi — elaborazione locale, nessun upload.
- Validatore IBAN Valida numeri di conto bancario internazionale (IBAN) istantaneamente. Verifica formato, lunghezza e checksum per oltre 80 paesi con risultati in tempo reale.
- Tester di Richieste HTTP Testa le API REST direttamente nel browser. Invia richieste GET, POST, PUT, DELETE con header, body e parametri personalizzati. Visualizza stato, header e corpo JSON della risposta istantaneamente.
- Generatore di Porte Casuali Genera numeri di porte di rete casuali dagli intervalli standard IANA — noti (1-1023), registrati (1024-49151) e dinamici (49152-65535). Supporta valori unici, ordinamento e generazione in massa. 100% nel browser, senza server.
- Generatore .htaccess Genera regole .htaccess Apache per reindirizzamenti, riscritture, header di sicurezza, caching e altro.