Startseite >> Blogbeiträge >> SEO Blogbeiträge

In diesem Blogbeitrag erfährst du alles wichtige über die robots.txt. Was ist sie, was kann man in ihr einstellen und was ist wichtig zu wissen?

In diesem Blogbeitrag erwartet dich:

• Was ist eine robots.txt?
• Wie wirkt sich die robots.txt aus?
• Website / Seiten
• Mediendateien
• Ressourcendateien
• Weitere wichtige Informationen

Was ist eine robots.txt?

Die robots.txt ist eine Datei auf deiner Website, welches es Webcrawlern zeigt, auf welche Websites der Crawler zugreifen kann. Die Datei macht dann Sinn, wenn du merkst, dass Google zu viele Crawlanfragen an deine Website an unwichtigen oder ähnlichen Seiten stellt. So verringerst du die Serverbelastung und deine Website läuft flüssiger. Die Datei wird dabei im Hauptverzeichnis der Website hinterlegt (z.B. https://example.blog.com/robots.txt).

Auf der gesamten Website sollte nur eine solche Datei vorhanden sein, da der Crawler sonst die erste gefundene Datei verwendet und alle weiteren ignoriert, was für Chaos bei dem indexieren deiner Seite bedeutet.

Wie wirkt sich die robots.txt aus?

Die Datei wirkt sich dabei auf drei hauptsächliche Aspekte deiner Website aus:

• Website / Seiten
• Mediendateien (Bild, Video, Audio etc.)
• Ressourcendateien (Bilddateien wie Logos, Script- oder Stildateien)

Website / Seiten

Wie wir schon erfahren haben, wirkt sich die robots.txt viel auf den Serverload aus, wenn du zu viele Crawlanfragen auf unnötigen Seiten erhältst. Hier ist wichtig zu erwähnen: wenn du deine Website, PDFs oder andere von Google unterstützte Textbasierte Formate verstecken willst, verwende dafür keine robots.txt.

Deine Website kann trotz einer Blockierung durch die robots.txt in den Suchergebnissen erscheinen, dabei fehlen aber Beschreibung, Bild- Videodateien etc., welche in der blockierten Seite eingebettet sind. Und auch hier: diese werden sichtbar, wenn eine direkte Verlinkung durch eine andere für das Crawling zulässige Seite verwiesen wird.

Solltest du weiterhin nicht wollen, dass diese Inhalte in den Suchergebnissen angezeigt werden, gibt es verschiedene Methoden, das zu erreichen:

• Entferne oder aktualisiere die Informationen
• Schütze diese Seite mit einem Passwort
• Nutze einen noindex-Tag

Mediendateien

Mit der robots.txt kannst du steuern, ob bestimmte Bilder oder Videos auf deiner Website mit indexiert werden. Sind direkte Links zu den Bildern oder Videos veröffentlich, können Crawler trotz eines noindex in der robots.txt auf die Mediendateien zugreifen und in den Suchergebnissen anzeigen lassen.

Ressourcendateien

Auch kannst du steuern, ob bestimmte Stil- oder Scriptdateien geladen werden sollen. Bist du der Meinung, dass das Fehlen des Ladens dieser Dateien dazu führt, dass die Qualität deiner Website kaum darunter leidet, kannst du diese blockieren. Hier ist aber wichtig zu erwähnen: sollte der Googlebot nach blockieren dieser Dateien Probleme haben, deine Website zu verstehen, werden deine Rankings mit hoher Wahrscheinlichkeit schlechter werden.

Weitere wichtige Informationen

Hier noch ein paar weitere wichtige Dinge, die rund um die robots-Datei zu wissen sind:

robots.txt ist keine Garantie

Die seriösen Suchmaschinen und deren Crawler werden sich an die Anweisungen in der Datei halten, aber böswillige Bots können diese ignorieren und auf nicht zu indexierende Seiten zugreifen. Daher ist diese Datei nicht als Sicherheitsmaßnahme anzusehen, wird aber aufgrund der Vorteile als Standard verwendet.

Die robots.txt testen

In der Google Seach Console ist es möglich, die robots.txt Datei zu testen, damit versehentlich keine relevanten Seiten für den Crawler blockiert werden. Das geht aber auch über viele Anbieter online, welche den Service kostenlos anbieten und man sogar verschiedene Crawler bzw. Suchmaschinen testen kann.

robots.txt selbst schreiben

Du möchtest deine robots.txt selbst schreiben? Dafür ist es notwendig, die Schreibweise für die Verständlichkeit der Crawler einzuhalten. Hier findest du den Syntax, um deine robots-Datei schreiben zu können, damit diese richtig erkannt wird.

Die Datei muss eine UTF-8 Nur-Text-Datei sein, um korrekt gelesen zu werden. Sind Zeilen anders formatiert, ist es möglich, dass diese Zeilen nicht erkannt und übersprungen werden. Die Höchstgrenze der Dateigröße für die robots.txt sind 500 Kibibyte (KiB), ist die Datei größer, wird sie ignoriert. Um die Datei kleiner zu gestalten, kannst du die Regeln für das Ausschließen von Seiten oder Daten zusammenfassen. Auch wird die Datei nur erkannt, wenn sie den Namen „robots.txt“ hat. Hier ist auch die Groß- und Kleinschreibung entscheidend.