Robots.txt- und KI-Crawler-Prüfung
Prüfen Sie robots.txt für Such- und KI-Crawler. Erlaubter Zugriff garantiert weder Crawling noch Zitate.
Die Abfrage geht an unseren Server und die angegebene öffentliche Quelle. Keine privaten URLs oder Zugangsdaten.
Ergebnis
Einstellungen wählen und das Tool ausführen, um das Ergebnis zu sehen.
So funktioniert das Tool
- Eingaben und Optionen wählen. Beispielwerte ersetzen.
- Prüfen Sie robots.txt für Such- und KI-Crawler. Erlaubter Zugriff garantiert weder Crawling noch Zitate.
- Ergebnis speichern oder exportieren und nächsten Schritt wählen.
Umfang und Datenschutz
Die Abfrage geht an unseren Server und die angegebene öffentliche Quelle. Keine privaten URLs oder Zugangsdaten.
Die Prüfung ist begrenzt. Ergebnis und Umfang vor Verwendung prüfen.
User-Agents: 20 · Max. Dateigröße: 500 KB
Was sollte ich vor der Nutzung prüfen?
Werden meine Eingaben hochgeladen?
Die Abfrage geht an unseren Server und die angegebene öffentliche Quelle. Keine privaten URLs oder Zugangsdaten.
Umfang und Datenschutz
Prüfen Sie robots.txt für Such- und KI-Crawler. Erlaubter Zugriff garantiert weder Crawling noch Zitate. Die Prüfung ist begrenzt. Ergebnis und Umfang vor Verwendung prüfen.
Ergebnis weiterverwenden
Im Arbeitsbereich Ergebnisse speichern und weiterverwenden.