Verifica robots.txt e crawler IA
Verifica robots.txt per motori e crawler IA. L’accesso consentito non garantisce scansioni o citazioni.
La richiesta va al server e alla fonte pubblica indicata. Non inserire URL privati o credenziali.
Risultato
Scegli le opzioni ed esegui lo strumento per vedere il risultato.
Come usare lo strumento
- Scegli dati e opzioni. Puoi sostituire gli esempi.
- Verifica robots.txt per motori e crawler IA. L’accesso consentito non garantisce scansioni o citazioni.
- Salva o esporta il risultato e prosegui.
Ambito e privacy
La richiesta va al server e alla fonte pubblica indicata. Non inserire URL privati o credenziali.
Il controllo è limitato. Verifica risultati e copertura.
User agent: 20 · Dimensione massima: 500 KB
Cosa controllare prima di usare il risultato?
I miei dati vengono caricati?
La richiesta va al server e alla fonte pubblica indicata. Non inserire URL privati o credenziali.
Ambito e privacy
Verifica robots.txt per motori e crawler IA. L’accesso consentito non garantisce scansioni o citazioni. Il controllo è limitato. Verifica risultati e copertura.
Usa il risultato
Continua nello spazio di lavoro per salvare e gestire il risultato.