Robots.txt-Checker
Prüfen, ob robots.txt erreichbar ist und Ihre URL zum Crawling erlaubt wird. Mit Konto werden Änderungen automatisch überwacht.
Typische robots.txt-Fehler
Staging-Regeln, die versehentlich live gehen. Ein Disallow auf /wp-admin/, das zu breit gesetzt wurde. Oder eine leere robots.txt nach einem Server-Umzug.
Robots.txt vs. Meta-Robots
robots.txt steuert, ob ein Crawler eine URL abrufen darf. Meta-Robots und X-Robots-Tag steuern, ob eine bereits abgerufene Seite indexiert werden darf. Beides kann eine URL unsichtbar machen.
Häufige Fragen
Was prüft der Robots.txt-Checker?
Ob die robots.txt unter der Domain erreichbar ist (HTTP 200) und ob der Pfad Ihrer URL für den User-Agent * erlaubt ist.
Kann robots.txt eine einzelne Seite blockieren?
Ja. Disallow-Regeln gelten für Pfade und Unterordner. Ein versehentliches Disallow: / nach einem Deploy kann die gesamte Website blockieren.
Ersetzt das die Google Search Console?
Nein, aber für die technische Freigabe reicht oft ein direkter HTTP-Check. Mit Überwachung erhalten Sie eine E-Mail, sobald sich robots.txt ändert.