Seite wählen

Heute dreht sich alles um die robots.txt. Ich zeige euch, wie ihr die robots.txt schnell und einfach in nur einer Minute erstellt, sodass Eure Webseite die Crawler von Google und Co. und somit auch für die Suchmaschinenoptimierung (SEO) bereit ist!

Was ist eine robots.txt?

Die robots.txt ist eine Textdatei, welche im Backend angelegt wird und den Crawlern der Suchmaschinen eine Laufkarte an die Hand gibt, mit der die Webseite absucht ohne sich zu verlaufen.

Warum braucht man eine robots.txt?

Die robots.txt ist die erste Datei, welche aufgerufen wird, wenn ein Bot/ Crawler sich die Webseite ansieht, sie sagt dem Crawler, wo er die Webseite absuchen darf und welche Bereiche er nicht „crawlen“ soll.

Was ist in einer robots.txt?

Innerhalb der robots.txt wird die XML-Sitemap angegeben, um den Crawlern die Linkstruktur zu erklären und die Whitelist und Blacklist der Seiten und Subdomains aufgeführt, um sie nicht zu indexieren und aus der Wertung der Suchmaschine auszuschließen.
Die robots.txt ist nämlich besonders für das Ranking in den Suchmaschinen ausschlaggebend und Bedarf einem ausgeklügeltem Konzept. Seiten wie z.B. ein Login oder solche mit doppeltem Inhalt können einen bei der Bewertung schnell auf die Füße fallen, aber sperrt man die Bots aus zu vielen Seiten aus kann sich das auch negativ auf das Ranking und die Platzierung auswirken. Somit ist es wichtig, die Crawler nicht zu sehr einzuschränken.

 

 

Robots.txt erstellen | Schritt für Schritt Anleitung

1. Unter „Plugins“ auf „Installieren“ klicken

 

2. In „Plugins durchsuchen“ nach „Yoast“ suchen

 

3. Plugin installieren und aktivieren

 

4. Unter „SEO“ auf „Werkzeuge“ gehen

 

5. Auf „Datei-Editor“ klicken

 

6. „robots.txt Datei erstellen“ anklicken

 

Ich hoffe, dass ich euch mit diesem Artikel helfen konnte und wünsche euch auch weiterhin viel Spaß beim Optimieren eurer Webseite.

Liebe Grüße aus Berlin,
Erik