Robots.txt-Generator
Visueller robots.txt-Builder mit Voreinstellungen für WordPress, Next.js, Shopify — Crawl-Delay, Sitemap, Download
Über Robots.txt-Generator
Erstelle eine robots.txt-Datei visuell mit Voreinstellungen für beliebte Plattformen — konfiguriere Crawl-Regeln, ohne eine einzige Zeile manuell zu schreiben.
So verwenden Sie Robots.txt-Generator
- 1Wähle einen/eine preset (WordPress, Next.js, Shopify, or custom) to start with sensible defaults.
- 2Konfiguriere User-Agent-Gruppen, um zu steuern, welche Bots auf welche Teile deiner Website zugreifen können.
- 3Füge Allow- und Disallow-Regeln hinzu, um bestimmte Pfade für jede Bot-Gruppe zu erlauben oder zu blockieren.
- 4Setze ein optionales Crawl-Delay, um aggressive Bots daran zu hindern, deinen Server zu überlasten.
- 5Add your sitemap URL so search engines can discover it automatisch.
- 6Kopiere den/die/das generated robots.txt and upload it to deine Website's root directory.
Tipps
- Never block CSS or JavaScript files in robots.txt — Google needs them to render and index deine Seites properly.
- Verwende spezifische Disallow-Regeln für Admin-, Staging- und Duplikatinhalt-Pfade, um das Crawl-Budget auf wichtige Seiten zu fokussieren.
- Teste deine robots.txt im robots.txt-Tester der Google Search Console, bevor du sie bereitstellst, um versehentliche Sperren zu vermeiden.
OneKitTools-TeamAktualisiert 2.21.4