Robots.txt Generator
Kostenloser Online-robots.txt-Generator. Erstellen und passen Sie robots.txt-Dateien an, um das Crawling von Suchmaschinen zu steuern, Crawler-Zugriff zu verwalten und die SEO Ihrer Website zu optimieren.
Was ist robots.txt?
Robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, die Web-Crawlern (wie Googlebot) mitteilt, auf welche Seiten oder Verzeichnisse sie zugreifen können oder nicht. Es ist Teil des Robots Exclusion Protocol (REP).
Wo sollte ich robots.txt platzieren?
Platzieren Sie robots.txt im Stammverzeichnis Ihrer Domain: https://www.example.com/robots.txt. Suchmaschinen suchen genau an diesem Ort danach.
Was bedeutet User-agent?
User-agent gibt an, auf welchen Crawler die Regel angewendet wird. Verwenden Sie * für alle Crawler, oder geben Sie bestimmte Bots wie Googlebot, Bingbot oder Baiduspider an.
Was ist der Unterschied zwischen Allow und Disallow?
Allow erlaubt Crawlern den Zugriff auf bestimmte Pfade, während Disallow den Zugriff verhindert. Disallow hat Vorrang, wenn beide Regeln für denselben Pfad existieren.
Kann robots.txt den Zugriff auf Seiten blockieren?
Robots.txt bietet Richtlinien, erzwingt aber keine Zugriffskontrolle. Konforme Crawler werden die Regeln respektieren, aber bösartige Bots können sie ignorieren. Verwenden Sie serverseitige Authentifizierung oder Passwortschutz für echte Sicherheit.
Wie gebe ich eine Sitemap in robots.txt an?
Fügen Sie eine Sitemap-Direktive hinzu: Sitemap: https://www.example.com/sitemap.xml. Dies hilft Suchmaschinen, alle Ihre wichtigen Seiten zu entdecken.
Was ist Crawl-delay?
Crawl-delay weist Crawler an, eine bestimmte Anzahl von Sekunden zwischen Anfragen zu warten. Beispiel: Crawl-delay: 10 bedeutet, 10 Sekunden zu warten. Hinweis: Google unterstützt diese Direktive nicht.
Sollte ich Admin-Seiten mit robots.txt blockieren?
Ja, das Blockieren von Admin-Bereichen (/admin/, /wp-admin/) verhindert unnötiges Crawlen und reduziert die Serverlast. Blockierte Seiten erscheinen jedoch nicht in den Suchergebnissen, selbst wenn sie von anderswo verlinkt sind.
Kann ich mehrere User-agent-Abschnitte haben?
Ja, Sie können separate Regelsätze für verschiedene Crawler haben. Jeder User-agent-Block sollte seine eigenen Allow/Disallow-Regeln haben.
Verbessert robots.txt das SEO?
Indirekt, ja. Indem Sie steuern, was Suchmaschinen crawlen, können Sie ihre Aufmerksamkeit auf wichtige Seiten lenken, Duplicate-Content-Probleme verhindern und die Serverlast reduzieren.
Was passiert, wenn robots.txt fehlt?
Wenn robots.txt nicht existiert, nehmen Crawler an, dass sie auf alle Seiten zugreifen können. Das ist für kleine Websites normalerweise in Ordnung, kann aber bei größeren Websites zur Indexierung unerwünschter Seiten führen.
Wie teste ich meine robots.txt-Datei?
Verwenden Sie den robots.txt-Tester der Google Search Console oder unseren integrierten Validator, um die Syntax zu überprüfen und zu sehen, wie verschiedene Crawler Ihre Regeln interpretieren.
Kann ich bestimmte Dateitypen blockieren?
Ja, verwenden Sie Disallow mit Dateierweiterungen: Disallow: /*.pdf$ blockiert alle PDF-Dateien. Verwenden Sie $, um das Ende von URLs zu matchen.
Ist robots.txt case-sensitiv?
Ja, robots.txt ist case-sensitiv. /Admin/ und /admin/ werden als unterschiedliche Pfade behandelt. Verwenden Sie immer Kleinbuchstaben für Konsistenz.
So verwenden Sie Robots.txt Generator
Erstelle eine gültige robots.txt mit einem visuellen Editor: Regeln pro Crawler hinzufügen, Pfade erlauben oder blockieren und die Sitemap angeben. Alles wird lokal im Browser erzeugt.
- Beginne mit der Standardgruppe, deren User-Agent * ist — diese Regeln gelten für jeden Crawler, der robots.txt beachtet.
- Klicke auf Add Path, um eine Regel anzuhängen, wechsle zwischen Allow und Disallow und gib einen Pfad wie /path/ ein.
- Füge eine weitere Gruppe mit einem bestimmten User-Agent hinzu, etwa Googlebot, um diesem Crawler strengere oder laxere Regeln zu geben.
- Trage die URL deiner Sitemap, zum Beispiel https://www.localtoolz.com/sitemap.xml, in das Sitemap-Feld ein.
- Setze bei Bedarf die Crawl-Verzögerung (0 bedeutet bei den meisten Crawlern kein Limit) und kopiere die erzeugte robots.txt in das Stammverzeichnis deiner Website.
Pfade sind case-sensitiv und wirken als Präfix: Disallow: /admin/ blockiert alles unter /admin/, während ein bloßes Disallow: / die gesamte Website sperrt — vor dem Deployment sorgfältig prüfen.
Verwandte Tools
- Sitemap Generator Kostenloser Online-Sitemap-Generator. URLs hinzufügen, Prioritäten und Häufigkeiten setzen, SEO-Sitemaps sofort erstellen.
- Chmod-Rechner Kostenloser Online-Chmod-Rechner zur Visualisierung und Berechnung von Linux-Dateiberechtigungen mit Kontrollkästchen. Sofortige Umwandlung zwischen numerischer (755, 644) und symbolischer Notation (rwxr-xr-x). Unterstützt Sonderberechtigungen wie setuid, setgid, sticky bit.
- ASCII-Tabelle Vollständige ASCII-Zeichencodierungsreferenz mit Dezimal-, Hexadezimal-, Oktal-, Binärcodes, HTML-Entities und Beschreibungen. Sofortige Suche und Filterung.
- HAR-Viewer HAR-Dateien online öffnen. Anfragetabelle mit Statusfarben, Sortierung, Filter, Header, Antwort-Vorschau und Timing-Wasserfall — lokale Analyse, kein Upload.
- IBAN-Validator Validieren Sie Internationale Bankkontonummern (IBAN) sofort. Prüfen Sie Format, Länge und Prüfsumme für über 80 Länder mit Echtzeit-Ergebnissen.
- HTTP-Anfrage-Tester Testen Sie REST-APIs direkt im Browser. Senden Sie GET-, POST-, PUT-, DELETE-Anfragen mit benutzerdefinierten Headern, Body und Parametern. Sehen Sie sofort Status, Header und JSON-Body.
- Zufallsport-Generator Generieren Sie zufällige Netzwerkportnummern aus IANA-Standardbereichen — bekannt (1-1023), registriert (1024-49151) und dynamisch (49152-65535). Unterstützt eindeutige Werte, Sortierung und Massengenerierung. 100% im Browser, kein Server nötig.
- .htaccess-Generator Generieren Sie Apache .htaccess-Regeln für Weiterleitungen, Umschreibungen, Sicherheitsheader, Caching und mehr.