Handbuch robots.txt Manager.

Eigene robots.txt je Verkaufskanal und Domain: Vorlagen, Vorschau mit Prüfhinweisen, Live-Prüfung und was der Auslieferung im Weg stehen kann.

Was das Plugin macht

Shopware liefert die robots.txt ab Version 6.7.1 selbst aus, für alle Domains mit denselben Standardregeln. Das Plugin ersetzt diese Ausgabe durch einen eigenen Text, den du je Verkaufskanal festlegst. Braucht eine einzelne Domain etwas anderes, bekommt sie eine eigene Version.

Ist für eine Domain nichts hinterlegt oder die Version ausgeschaltet, liefert Shopware wie gewohnt seinen Standard aus.

Shopware 6.6 und 6.7.0: Dort liefern sie die robots.txt noch nicht selbst aus, das Plugin beantwortet die Anfrage selbst. Voraussetzung ist eine Domain ohne Pfad, und ausgeliefert wird nur, wenn eine eigene Version aktiv ist. Ab 6.7.1 entfällt die Einschränkung.

Erste Schritte

  1. Plugin installieren und aktivieren, danach den Cache leeren.
  2. Unter Erweiterungen, Stone & Water - Plugin Suite, den robots.txt Manager öffnen.
  3. Im Tab Übersicht prüfen, ob oben ein roter Hinweis steht.
  4. Bei einem Verkaufskanal auf "Kanal-Standard bearbeiten" klicken.
  5. Den vorgeschlagenen Inhalt anpassen oder eine Vorlage einfügen.
  6. Speichern. Die Änderung ist sofort live, der Cache wird gezielt geleert.
  7. Mit "Live prüfen" kontrollieren, ob die Domain den neuen Stand ausliefert.

Kanal-Standard und eigene Version

Der Kanal-Standard gilt für alle Domains eines Verkaufskanals. Wähle im Editor unter Domain eine einzelne Domain, um für sie eine eigene Version anzulegen.

Eine robots.txt gilt immer für einen ganzen Host. Domains mit Pfad, etwa shop.de/en, teilen sich deshalb die robots.txt von shop.de.

Reihenfolge bei der Auslieferung:

  1. Aktive eigene Version der Domain
  2. Aktiver Kanal-Standard
  3. Shopware-Standard

Einstellungen im Editor

  • Eigene robots.txt ausliefern: Aus bedeutet, die Domain fällt auf den Kanal-Standard oder den Shopware-Standard zurück. Der Inhalt bleibt gespeichert.
  • Sitemap-Einträge automatisch ergänzen: hängt für jede Domain auf dem Host eine Sitemap-Zeile an. Zeilen, die schon im Text stehen, werden nicht doppelt ausgegeben.
  • Vorlage: ersetzt den Inhalt nach Rückfrage durch eine Vorlage.

Vorlagen

  • Shopware-Standard - die Regeln, die Shopware 6.7 selbst ausliefert, inklusive Freigabe von Theme-Dateien, Medien und Vorschaubildern.
  • Shopware-Standard, KI-Training sperren - zusätzlich gesperrt für GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, meta-externalagent und Bytespider. Suchassistenten bleiben erlaubt.
  • Shopware-Standard, Google uneingeschränkt - Googlebot und Googlebot-Image dürfen alles, für alle anderen gilt der Standard.
  • Alles erlauben - keine Einschränkungen.
  • Alles sperren - sperrt die komplette Seite, etwa für Testumgebungen.

Vorschau und Prüfhinweise

Die Vorschau zeigt genau den Text, der ausgeliefert wird, inklusive der Sitemap-Zeilen. Darunter weist das Plugin auf typische Fehler hin:

  • Disallow: / für alle Crawler sperrt die komplette Seite
  • Zeilen ohne Doppelpunkt oder unbekannte Anweisungen
  • Regeln vor der ersten User-agent-Zeile
  • Pfade, die nicht mit / oder * beginnen
  • Sitemap ohne vollständige Adresse
  • Noindex und Crawl-delay, die Google nicht auswertet
  • Dateien über 500 KiB, mehr liest Google nicht

Die Hinweise blockieren das Speichern nicht.

Live-Prüfung

"Live prüfen" ruft die robots.txt der Domain vom Server aus ab und vergleicht sie mit dem gespeicherten Stand. Mögliche Ergebnisse:

  • Entspricht dem gespeicherten Stand - alles in Ordnung.
  • Cache liefert eine ältere Version - Cache leeren oder kurz warten.
  • Andere robots.txt - meist eine Datei im Ordner public oder eine Regel des Webservers.
  • Shopware-Standard - für die Domain ist keine eigene Version aktiv.
  • Nicht erreichbar - der Server erreicht sich selbst nicht, die Adresse im Browser öffnen.

Aus dem Editor heraus lässt sich der abgerufene Inhalt mit "In Editor übernehmen" als Ausgangspunkt nutzen. Sitemap-Zeilen werden dabei entfernt, wenn die automatische Ergänzung eingeschaltet ist.

Hinweise in der Übersicht

  • Physische robots.txt im Ordner public - der Webserver liefert diese Datei direkt aus, Shopware kommt nicht zum Zug. "Datei deaktivieren" benennt sie um, sie bleibt als Sicherung erhalten.
  • robots-Regel in der .htaccess - eine Weiterleitung verhindert die Auslieferung durch Shopware. Die Regel von Hand entfernen.
  • Staging-Modus aktiv - Shopware sperrt dann alle Domains. Eigene Inhalte greifen erst nach dem Abschalten.

Deinstallation

Beim Deinstallieren ohne "Daten behalten" wird die Tabelle mit allen Inhalten gelöscht. Danach liefert Shopware wieder seinen Standard aus.

Support

Fragen beantworten wir direkt. Schreib uns über das Kontaktformular.

Alle Einstellungen

Jede Einstellung des Plugins mit Standardwert und Erklärung, in derselben Reihenfolge wie im Administrationsbereich. Die Texte stammen direkt aus dem Plugin (Version 1.0.3).

Auswahl

VerkaufskanalStandard: keine Auswahl

Wählt den Verkaufskanal, dessen robots.txt bearbeitet wird. Ohne eigene Einträge liefert der Kanal den Shopware-Standard aus; der Editor schlägt ihn beim ersten Öffnen vor, gespeichert wird erst mit Speichern.

DomainStandard: Alle Domains des Verkaufskanals

Bearbeitet entweder den Kanal-Standard für alle Domains des Kanals oder eine eigene Fassung für eine einzelne Domain. Eine Domain ohne eigene Fassung nutzt den Kanal-Standard.

Einstellungen

Eigene robots.txt ausliefernStandard: an

Aus: Die Domain fällt auf den Kanal-Standard oder den Shopware-Standard zurück. Der Inhalt bleibt gespeichert.

Sitemap-Einträge automatisch ergänzenStandard: an

Hängt für jede Domain auf diesem Host eine Sitemap-Zeile an. Zeilen, die schon im Text stehen, werden nicht doppelt ausgegeben.

VorlageStandard: keine

Ersetzt den Inhalt durch eine Vorlage, danach frei anpassbar: Shopware-Standard, Shopware-Standard mit gesperrtem KI-Training, Shopware-Standard mit uneingeschränktem Google, alles erlauben oder alles sperren. Vor dem Ersetzen fragt das Plugin nach.

InhaltStandard: Shopware-Standard

Der Text der robots.txt, wie er für die gewählte Domain ausgeliefert wird. Darunter prüft das Plugin den Inhalt laufend, etwa auf Zeilen ohne Doppelpunkt, Regeln vor der ersten User-agent-Zeile, Sitemaps ohne vollständige URL oder ein Disallow: / für alle Crawler.

Verfügbarkeit

Direkt über Stone & Water

Ab sofort möglich

KostenlosDauerhaft0,00 €

Keine Buchung nötig, keine Laufzeit.

Lade die kostenlose Plugin Suite herunter und spiele sie im Admin ein, ganz ohne SSH. Darüber installierst und aktualisierst du das Plugin mit einem Klick. Die Lizenz kaufst du direkt bei uns, mit Rechnung von uns und Support direkt vom Entwickler.

Plugin Suite herunterladen+49 2555 9997342

Shopware Store

In Vorbereitung

Das Plugin wird im offiziellen Shopware Community Store gelistet. Installation und automatische Updates laufen dann über den Plugin Manager im Backend, die Abrechnung über deinen Shopware-Account. Sobald verfügbar, verlinken wir es hier.