Shopware liefert die robots.txt ab Version 6.7.1 selbst aus, für alle Domains mit denselben Standardregeln. Das Plugin ersetzt diese Ausgabe durch einen eigenen Text, den du je Verkaufskanal festlegst. Braucht eine einzelne Domain etwas anderes, bekommt sie eine eigene Version.
Ist für eine Domain nichts hinterlegt oder die Version ausgeschaltet, liefert Shopware wie gewohnt seinen Standard aus.
Shopware 6.6 und 6.7.0: Dort liefern sie die robots.txt noch nicht selbst aus, das Plugin beantwortet die Anfrage selbst. Voraussetzung ist eine Domain ohne Pfad, und ausgeliefert wird nur, wenn eine eigene Version aktiv ist. Ab 6.7.1 entfällt die Einschränkung.
Erste Schritte
Plugin installieren und aktivieren, danach den Cache leeren.
Unter Erweiterungen, Stone & Water - Plugin Suite, den robots.txt Manager öffnen.
Im Tab Übersicht prüfen, ob oben ein roter Hinweis steht.
Bei einem Verkaufskanal auf "Kanal-Standard bearbeiten" klicken.
Den vorgeschlagenen Inhalt anpassen oder eine Vorlage einfügen.
Speichern. Die Änderung ist sofort live, der Cache wird gezielt geleert.
Mit "Live prüfen" kontrollieren, ob die Domain den neuen Stand ausliefert.
Kanal-Standard und eigene Version
Der Kanal-Standard gilt für alle Domains eines Verkaufskanals. Wähle im Editor unter Domain eine einzelne Domain, um für sie eine eigene Version anzulegen.
Eine robots.txt gilt immer für einen ganzen Host. Domains mit Pfad, etwa shop.de/en, teilen sich deshalb die robots.txt von shop.de.
Reihenfolge bei der Auslieferung:
Aktive eigene Version der Domain
Aktiver Kanal-Standard
Shopware-Standard
Einstellungen im Editor
Eigene robots.txt ausliefern: Aus bedeutet, die Domain fällt auf den Kanal-Standard oder den Shopware-Standard zurück. Der Inhalt bleibt gespeichert.
Sitemap-Einträge automatisch ergänzen: hängt für jede Domain auf dem Host eine Sitemap-Zeile an. Zeilen, die schon im Text stehen, werden nicht doppelt ausgegeben.
Vorlage: ersetzt den Inhalt nach Rückfrage durch eine Vorlage.
Vorlagen
Shopware-Standard - die Regeln, die Shopware 6.7 selbst ausliefert, inklusive Freigabe von Theme-Dateien, Medien und Vorschaubildern.
Shopware-Standard, KI-Training sperren - zusätzlich gesperrt für GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, meta-externalagent und Bytespider. Suchassistenten bleiben erlaubt.
Shopware-Standard, Google uneingeschränkt - Googlebot und Googlebot-Image dürfen alles, für alle anderen gilt der Standard.
Alles erlauben - keine Einschränkungen.
Alles sperren - sperrt die komplette Seite, etwa für Testumgebungen.
Vorschau und Prüfhinweise
Die Vorschau zeigt genau den Text, der ausgeliefert wird, inklusive der Sitemap-Zeilen. Darunter weist das Plugin auf typische Fehler hin:
Disallow: / für alle Crawler sperrt die komplette Seite
Zeilen ohne Doppelpunkt oder unbekannte Anweisungen
Regeln vor der ersten User-agent-Zeile
Pfade, die nicht mit / oder * beginnen
Sitemap ohne vollständige Adresse
Noindex und Crawl-delay, die Google nicht auswertet
Dateien über 500 KiB, mehr liest Google nicht
Die Hinweise blockieren das Speichern nicht.
Live-Prüfung
"Live prüfen" ruft die robots.txt der Domain vom Server aus ab und vergleicht sie mit dem gespeicherten Stand. Mögliche Ergebnisse:
Entspricht dem gespeicherten Stand - alles in Ordnung.
Cache liefert eine ältere Version - Cache leeren oder kurz warten.
Andere robots.txt - meist eine Datei im Ordner public oder eine Regel des Webservers.
Shopware-Standard - für die Domain ist keine eigene Version aktiv.
Nicht erreichbar - der Server erreicht sich selbst nicht, die Adresse im Browser öffnen.
Aus dem Editor heraus lässt sich der abgerufene Inhalt mit "In Editor übernehmen" als Ausgangspunkt nutzen. Sitemap-Zeilen werden dabei entfernt, wenn die automatische Ergänzung eingeschaltet ist.
Hinweise in der Übersicht
Physische robots.txt im Ordner public - der Webserver liefert diese Datei direkt aus, Shopware kommt nicht zum Zug. "Datei deaktivieren" benennt sie um, sie bleibt als Sicherung erhalten.
robots-Regel in der .htaccess - eine Weiterleitung verhindert die Auslieferung durch Shopware. Die Regel von Hand entfernen.
Staging-Modus aktiv - Shopware sperrt dann alle Domains. Eigene Inhalte greifen erst nach dem Abschalten.
Deinstallation
Beim Deinstallieren ohne "Daten behalten" wird die Tabelle mit allen Inhalten gelöscht. Danach liefert Shopware wieder seinen Standard aus.
Support
Fragen beantworten wir direkt. Schreib uns über das Kontaktformular.
Alle Einstellungen
Jede Einstellung des Plugins mit Standardwert und Erklärung, in derselben Reihenfolge wie im Administrationsbereich. Die Texte stammen direkt aus dem Plugin (Version 1.0.3).
Auswahl
VerkaufskanalStandard: keine Auswahl
Wählt den Verkaufskanal, dessen robots.txt bearbeitet wird. Ohne eigene Einträge liefert der Kanal den Shopware-Standard aus; der Editor schlägt ihn beim ersten Öffnen vor, gespeichert wird erst mit Speichern.
DomainStandard: Alle Domains des Verkaufskanals
Bearbeitet entweder den Kanal-Standard für alle Domains des Kanals oder eine eigene Fassung für eine einzelne Domain. Eine Domain ohne eigene Fassung nutzt den Kanal-Standard.
Einstellungen
Eigene robots.txt ausliefernStandard: an
Aus: Die Domain fällt auf den Kanal-Standard oder den Shopware-Standard zurück. Der Inhalt bleibt gespeichert.
Sitemap-Einträge automatisch ergänzenStandard: an
Hängt für jede Domain auf diesem Host eine Sitemap-Zeile an. Zeilen, die schon im Text stehen, werden nicht doppelt ausgegeben.
VorlageStandard: keine
Ersetzt den Inhalt durch eine Vorlage, danach frei anpassbar: Shopware-Standard, Shopware-Standard mit gesperrtem KI-Training, Shopware-Standard mit uneingeschränktem Google, alles erlauben oder alles sperren. Vor dem Ersetzen fragt das Plugin nach.
InhaltStandard: Shopware-Standard
Der Text der robots.txt, wie er für die gewählte Domain ausgeliefert wird. Darunter prüft das Plugin den Inhalt laufend, etwa auf Zeilen ohne Doppelpunkt, Regeln vor der ersten User-agent-Zeile, Sitemaps ohne vollständige URL oder ein Disallow: / für alle Crawler.
Verfügbarkeit
Direkt über Stone & Water
Ab sofort möglich
KostenlosDauerhaft0,00 €
Keine Buchung nötig, keine Laufzeit.
Lade die kostenlose Plugin Suite herunter und spiele sie im Admin ein, ganz ohne SSH. Darüber installierst und aktualisierst du das Plugin mit einem Klick. Die Lizenz kaufst du direkt bei uns, mit Rechnung von uns und Support direkt vom Entwickler.
Das Plugin wird im offiziellen Shopware Community Store gelistet. Installation und automatische Updates laufen dann über den Plugin Manager im Backend, die Abrechnung über deinen Shopware-Account. Sobald verfügbar, verlinken wir es hier.