Generatore di Robots.txt
Creare file robots.txt per i motori di ricerca
Regole per i crawler
Scelga un modello iniziale, poi regoli l'accesso dei crawler e le eccezioni per i percorsi.
Gruppi di regole
Gruppo 1
Disallow · percorsi bloccati
Allow · eccezioni
Il Suo robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /
Anteprima aggiornata. Esamini le Sue regole prima di pubblicare.
Installazione sul Suo sito web
- Copi o scarichi il contenuto generato.
- Lo salvi in un file di testo UTF-8 chiamato robots.txt.
- Lo carichi nella radice dell'host, del protocollo e della porta corrispondenti.
- Visiti yoursite.com/robots.txt e ne verifichi il contenuto.
- Esamini il rapporto robots.txt in Search Console dopo la pubblicazione.
Prima della pubblicazione
- robots.txt controlla la scansione. Un URL bloccato potrebbe comunque apparire nei risultati di ricerca.
- Per utilizzare noindex, consenta al crawler di recuperare la pagina e leggere il suo meta tag o l'intestazione della risposta.
- Protegga le pagine private e di staging con l'autenticazione; robots.txt è leggibile pubblicamente.
- Mantenga accessibili ai crawler CSS e JavaScript necessari al rendering delle Sue pagine.
- Verifichi ogni modello rispetto alla struttura dei Suoi URL.
- Utilizzi user-agent specifici quando crawler diversi richiedono regole diverse.
- I percorsi distinguono maiuscole e minuscole; * è un carattere jolly e $ indica la fine dell'URL.
Disallow · percorsi bloccati
Allow · eccezioni
Informazioni sul Generatore di Robots.txt
Il Generatore di Robots.txt è uno strumento online gratuito che aiuta a creare file robots.txt formattati correttamente per il vostro sito web. Il file robots.txt è un componente fondamentale della SEO tecnica che indica ai crawler dei motori di ricerca quali pagine o directory possono o non possono visitare. Le regole per i crawler possono ridurre le richieste verso percorsi selezionati. Gli URL bloccati possono comunque comparire nei risultati di ricerca e le aree private richiedono un'autenticazione, non il file robots.txt.
Un sito web può usare un file robots.txt nella radice del proprio host quando servono regole per i crawler. I siti possono anche consentire la scansione senza questo file. Il generatore offre modelli comuni, più gruppi di user-agent e campi facoltativi per sitemap e ritardo; verificateli rispetto ai percorsi del vostro sito.
Che gestiate un blog, un negozio online, un sito aziendale o un'applicazione SaaS, il creatore di robots.txt permette di configurare visivamente le regole per i crawler, vedere l'anteprima in tempo reale del file generato e copiarlo con un solo clic. Per modificare le regole non serve saper programmare. Il supporto delle direttive varia da crawler a crawler: Google supporta User-agent, Allow, Disallow e Sitemap, mentre il ritardo facoltativo e la riga Host, ormai obsoleta, possono essere ignorati.
Funzioni principali
- Modelli rapidi per siti web di base, configurazioni restrittive, blog WordPress e negozi online
- Più regole per i crawler con supporto di user-agent diversi (Googlebot, Bingbot, Yandex e altri)
- Configurazione dei percorsi Allow e Disallow con voci illimitate per ogni regola
- Campo per l'URL della sitemap, per facilitare la scoperta da parte dei motori di ricerca
- Impostazione Crawl-delay per i bot che la rispettano (Bing e Yandex sì, Google la ignora)
- Riga Host facoltativa e obsoleta per le vecchie configurazioni Yandex (non più usata da Yandex dal 2018; per la canonicalizzazione del dominio usate un reindirizzamento 301)
- Anteprima in tempo reale del file robots.txt generato
- Copia negli appunti con un clic per una pubblicazione rapida
- Istruzioni di installazione passo passo incluse
- Compatibile con i crawler di Google, Bing, Yandex, Baidu e DuckDuckGo
Come usare lo strumento
- Scegliete un modello: selezionate un modello rapido (Base, Restrittivo, Blog WordPress o E-commerce) per precompilare le regole più comuni, oppure partite da zero.
- Configurate le regole per i crawler: impostate lo user-agent, aggiungete i percorsi Disallow per le directory da bloccare e i percorsi Allow per le eccezioni.
- Impostate le opzioni globali: inserite l'URL della sitemap e, se necessario, un ritardo di scansione nella sezione Impostazioni globali.
- Controllate l'anteprima: esaminate il file robots.txt generato nel pannello di anteprima in tempo reale sulla destra.
- Copiate e pubblicate: fate clic sul pulsante Copia per copiare il contenuto del file, poi salvatelo come «robots.txt» nella directory radice del vostro sito web.
- Provate e convalidate: dopo il caricamento, controllate il report robots.txt in Google Search Console (Impostazioni) per confermare che Google abbia recuperato e analizzato il file.
Casi d'uso
- Ottimizzazione del crawl budget: bloccate le pagine di scarso valore come pannelli di amministrazione, risultati di ricerca e archivi di tag per concentrare l'attenzione dei crawler sui contenuti importanti.
- Prevenzione dei contenuti duplicati: impedite l'accesso a pagine impaginate, viste filtrate e URL ricchi di parametri che creano contenuti duplicati.
- Gestione del carico del server: impostate un ritardo di scansione per rallentare i bot che lo rispettano, come Bingbot e YandexBot (Googlebot ignora Crawl-delay).
- Protezione dei siti di staging: usate l'autenticazione per limitare l'accesso agli ambienti di sviluppo o di staging. Il solo file robots.txt non impedisce l'indicizzazione dei loro URL.
- Ottimizzazione di WordPress: bloccate wp-admin e i risultati della ricerca interna, lasciando però scansionabili admin-ajax.php, i temi e i caricamenti, così che le pagine vengano renderizzate e le immagini possano essere indicizzate.
- Ottimizzazione per l'e-commerce: impedite la scansione di carrello, checkout, account ed endpoint API, consentendo invece le pagine di prodotto e di categoria.
Domande frequenti
Questo strumento è gratuito?
Sì, il Generatore di Robots.txt è completamente gratuito, senza registrazione né limiti di utilizzo. Generate e copiate tutti i file che vi servono.
I miei dati sono al sicuro?
Tutta la configurazione avviene nel browser. Nessun dato viene inviato a un server. Il contenuto del robots.txt viene generato interamente sul lato client.
Dove devo mettere il file robots.txt?
Il file robots.txt deve essere collocato nella directory radice del sito web. Ad esempio, deve essere raggiungibile all'indirizzo https://yourdomain.com/robots.txt affinché i motori di ricerca lo trovino.
Il file robots.txt può impedire l'indicizzazione delle pagine?
Un URL bloccato può comunque comparire nei risultati di ricerca. Per impedire l'indicizzazione con noindex, lasciate che il crawler recuperi la pagina e legga il meta tag o l'intestazione di risposta X-Robots-Tag. L'autenticazione può proteggere le pagine private.
Devo bloccare i file CSS e JavaScript?
No. Google ha bisogno di accedere ai file CSS e JavaScript per renderizzare correttamente le pagine. Bloccarli può danneggiare la SEO, perché Google non riesce a valutare in modo corretto il layout e il contenuto della pagina.
Il file robots.txt è una misura di sicurezza?
No. Il file robots.txt è accessibile pubblicamente e funge solo da indicazione per i crawler che rispettano le regole. Non affidatevi mai a esso per proteggere informazioni sensibili. Usate invece l'autenticazione lato server e i controlli di accesso.
Consigli e buone pratiche
- Includete sempre la sitemap: aggiungere una direttiva Sitemap aiuta i motori di ricerca a scoprire più in fretta tutte le pagine importanti.
- Provate dopo la pubblicazione: usate il report robots.txt di Google Search Console e lo strumento Ispezione URL per verificare che le pagine importanti non siano bloccate per errore.
- Siate precisi con i percorsi: usate percorsi di directory esatti anziché pattern generici, per evitare di bloccare per errore contenuti di valore.
- Usate user-agent mirati: se servono regole diverse per Google e Bing, create blocchi di regole separati con i nomi degli user-agent specifici.
- Rivedete con regolarità: aggiornate il robots.txt ogni volta che aggiungete nuove sezioni, cambiate la struttura degli URL o migrate il sito web.
- Non abusate dei caratteri jolly: il carattere jolly * e il marcatore di fine URL $ sono potenti, ma se usati in modo scorretto possono bloccare per errore pagine importanti.