Wer verwendet ScreamingFrog?

Unternehmen aller Größe verwenden Screaming Frog und SEO Spider, um ihre SEO zu verbessern.

Was ist ScreamingFrog?

ScreamingFrog ist als Tool für zügiges Crawling bekannt und beliebt. Bei einem Crawl werden sämtliche Links verfolgt. Dabei wird jede einzelne URL aufgerufen und alle vorhandenen Informationen über sie sukzessive gesammelt. So können problemlos einzelne URLs oder auch ganze Domains gecrawlt werden. Diese werden dann Seite für Seite geladen, um alle nötigen Optimierungsmaßnahmen nach Wertung der ausgeworfenen Daten in die Wege leiten zu können.

Der Fokus dieses SEO-Tools liegt bei OnPage-Analysen. Die Daten lassen sich exportieren und anschaulich aufbereiten. Der Screaming Frog SEO Spider informiert über defekte Links oder die Linkstruktur selbst. Metadaten können extrahiert werden.
Attraktive Zusatzfunktionen mit „Custom Extraction“ und „ Custom Search“ bieten weitere Analysemöglichkeiten, um in die Tiefe gehen zu können.

Das Tool ist in drei Modi unterteilt:

  • Crawl-Modus: Der Frog SEO Spider lädt eine URL und folgt von da aus allen vorhandenen Links. Wer richtig große Seiten crawlen möchte, benötigt dafür ein spezialisiertes Tool.
  • List-Modus: Hier werden bestimmte festgelegte Seiten dem Frog SEO Spider zum Crawlen
    Übergeben. Es werden dann genau nur diese Seiten überprüft
  • SERP-Modus: Dieser Modus überprüft Seitentitel und Meta-Descriptions auf ihre korrekte Länge

Top: 
Die Geschwindigkeit des Crawlers lässt sich mit sogenannten „Speed-Optionen“ steuern. Nice to have.

Manko: 
Das Programm ist eher was für Kenner mit SEO-Wissen. Auf Hilfe-Features wird weitestgehend verzichtet. Das Tool muss extra installiert werden. Zum Teil ist die Optik veraltet. Ergebnisse werden ausschließlich in Tabellenform
angezeigt, deswegen sind SEO-Kenntnisse erforderlich.

Mehr Infos
 
Justin Keirath Screaming Frog

ScreamingFrog Bewertungen / Erfahrungen

Diese ScreamingFrog-Bewertungen werden automatisch aus 7 eingereichten Nutzer-Erfahrungen ermittelt.

Gesamt
4.7/5
Benutzerfreundlichkeit
4.3/5
Support / Kundenbetreuung
4.4/5
Eigenschaften & Funktionalitäten
4.9/5
Preis-Leistungs-Verhältnis
5.0/5
Wahrscheinlichkeit der Weiterempfehlung
5.0/5
ScreamingFrog jetzt bewerten

ScreamingFrog Rezensionen

Marco Mayer

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„… ein SEO Projekt ohne Screaming Frog gibt es nicht 🙂 Das Tool ist ein wertvoller Begleiter. “

Vorteile von ScreamingFrog

Das Tool ist perfekt geeignet zum Crawlen von kleinen und sehr großen Webseiten. In den Grundeinstellungen tut das Tool genau das was es soll und ist in der Freeware für kleine Firmen bis 500 Unterseiten bereits gut zu benutzen. In der günstigen Bezahlversion entfaltet es dann seinen vollen Funktionsumfang der im Detail sehr mächtig ist und aus professioneller Sicht fast keine Wünsche offen lässt. Es gibt viele Filter- und Anpassungsmöglichkeiten und natürlich auch einen Export, sobald der Crawl erfolgreich beendet wurde.

Nachteile von ScreamingFrog

Bei sehr großen Seiten muss man viel Geduld mitbringen. (was aber auch der Seitengröße geschuldet ist und nur bedingt dem Tool) Die Oberfläche wirkt sehr technisch aufgeräumt und ist damit weniger etwas für Menschen die grafisch ansprechende Software mögen. Die Einarbeitung in die tiefen des Programms und all seiner Möglichkeiten nimmt Zeit in Anspruch.

Beste Funktionen von ScreamingFrog

Um einen guten Überblick über die Seitenstruktur zu bekommen, die inhaltlichen Themen und generell einen Export “aller” Informationen zur Seite zu haben, ist dieses Tool sehr gut geeignet.

Allgemeines Fazit zu ScreamingFrog

Für SEO’s meiner Meinung nach eines der Must Have Tools, wenn es darum geht den IST-Zustand der Seite zu ermitteln und natürlich auch für Zwischenkontrollen bei umfangreichen Projekten.

Miladin Mechenbier

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Für kleine Webseiten und nicht völlig im Chaos versinkende Shops etc. sogar in der limitieren Free-Version gut zu gebrauchen. “

Vorteile von ScreamingFrog

Ganz klar: In einer limitierten Version ist das Tool kostenlos zu haben – das ist erstmal perfekt.

Mit 500-Seiten-Crawls kann man – wenn bei großen Seiten die interne Link-Struktur kein völliges Chaos ist sowie natürlich bei kleinen Seiten – durchaus schon sehr viele Probleme in kürzester Zeit aufdecken.

Mit dem Support hatte ich bisher noch keinen Kontakt, weil ich schlicht immer mit dem Tool zurecht kam.

Weiterempfohlen habe ich es im Laufe der Jahre schon dutzende Male – und es kamen mir noch keine Beschwerden zu Ohren.

Nachteile von ScreamingFrog

Aus der eigenen Erfahrung kann ich keine Nachteile nennen.

Auf Konferenzen und in Konzernen habe ich ein paarmal gehört, dass der “Screaming Frog” für gewisse komplexe Anforderungen nicht geeignet sein soll. Wenn Du aber davon betroffen sein solltest, musst Du eh aufhören, diese Bewertung zu lesen – fang’ an zu testen und zu vergleichen. 😉

Beste Funktionen von ScreamingFrog

Alleine schon mit den Details inkl. der “Inlinks” und “Outlinks” finden die meisten Webseitenbetreiber einige Probleme, die es zu lösen gilt.

Mit diesen Basisfunktionen fängt es meist an.

Allgemeines Fazit zu ScreamingFrog

Nix zu meckern – also einfach testen!

Daniel Palm

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Allzweckwaffe für Digitalagenturen “

Vorteile von ScreamingFrog

Viele Konfigurationsmöglichkeiten
Javascript-Crawling
Enorm gutes Preis-Leistungs Verhältnis
Verschiedene Vorkonfigurierte User Agents
Praktische API Anbindungen

Nachteile von ScreamingFrog

Läuft lokal (ist auch ein Vorteil, lastet aber den Rechner teils ordentlich aus)
Nicht komplett intuitiv bedienbar (Bedarf ein gewisses Level)

Beste Funktionen von ScreamingFrog

Vorkonfigurierte User Agents, Java Script Crawling, List Mode (Redirect Checkup), Sitemap Testing

Allgemeines Fazit zu ScreamingFrog

Der Screaming Frog als Spider bietet unfassbar viele Konfigurationsmöglichkeiten und erleichtert das Reproduzieren und das Erfassen von Websites in Struktur und Technik ungemein. Dabei ist es sehr gute geeignet um Livegangbetreuungen zu machen oder sich schnell einen ersten Überblick über Websites zu verschaffen.

Markus Fritzsche

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Der Screaming Frog bietet auf einfache Art und Weise, aber präzise einen Status quo der Webseite und deckt unweigerlich Fehler auf. “

Vorteile von ScreamingFrog

Das Tool liefert in der Grundeinstellung schon eine sehr große Menge an Daten. Dank weiteren eingestellten Extractions und Custom Filtern, können so noch mehr Daen über den Screaming Frog erfasst werden. Der Screaming Frog bietet ein Scheduling an, sodass automatisiert in einem bestimmten Abstand, täglich, wöchentlich, etc. die URL gecrawlt wird und sich auch die entsprechenden Exports ablegen lassen. Wenn alle möglichen Exporte ausgespielt werden, bekommt man 253 Dateien als Excel geliefert.
Der Screaming Frog wird stetig weiterentwickelt, sodass es relativ oft neue Features gibt. Acuh eine Anbindung von Tools wie Google Analytics, GSC, o. ä. ist möglich.

Nachteile von ScreamingFrog

Es handelt sich um ein rein Datengetriebenes Tool. Es gibt keine grafische Oberfläche, in der die Daten zusammengefasst aufbereitet werden.

Beste Funktionen von ScreamingFrog

– Das Scheduling zum automatisierten Crawl der Seite.
– Den gezielten Export von bestimmten Listen
– Die Crawl Analye

Allgemeines Fazit zu ScreamingFrog

Der Screaming Frog gehört unweigerlich zu den Tools, die im Alltag eines SEO genutzt werden sollten. Man hat hier quasi das schweizer Taschenmesser zur Analyse von Webseiten. Ich kann den Screaming Frog uneingeschränkt weiterempfehlen.

Mareike Doll

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Der Screaming Frog ist ein Crawling Tool, mit dem man Onpage-Analysen von Websites durchführen kann. “

Vorteile von ScreamingFrog

Der Screaming Frog ist ein Crawling Tool, das unglaublich viele Funktionen enthält, die bei der Onpage-Analyse einer Website helfen. Im Vergleich zu anderen Tools ist er außerdem sehr günstig. Ich glaube, es gibt kaum ein anderes Tool, mit dem man so einfach und schnell Status Codes, Meta-Daten, interne Verlinkung und viele andere Aspekte einer Website prüfen kann. Man braucht zwar ein gewisses Verständnis für Websites und Websitestrukturen, um mit dem Tool umgehen zu können und aus den Ergebnissen die richtigen Schlüsse ziehen zu können, aber dann ist es auch für Anfänger möglich mit Hilfe der gewonnenen Informationen Websites zu optimieren. Trotzdem bietet der Screaming Frog auch viele Funktionen an, die für tiefergehende Analyse praktisch sind.
Die Crawls lassen sich als Excel-Datei exportieren, so dass man mit den erfassten Daten direkt weiterarbeiten kann. Sehr praktisch sind die unterschiedlichen Modi, mit denen man sowohl eine ganze Website aber auch eine Liste oder eine Sitemap abcrawlen kann. Mit den Bulk-Exporten lassen sich die erfassten Daten auch noch unter verschiedenen Gesichtspunkten exportieren.

Nachteile von ScreamingFrog

Ein Nachteil des Tools besteht vielleicht darin, dass es keine Empfehlungen zu den erfassten Daten bietet. Gerade für Nutzer, denen der fachliche Background fehlt, ist es so etwas schwierig einschätzen zu können, was die gesammelten Informationen aussagen und wie man mit diesen weiterarbeiten kann. Auf der anderen Seite muss man aber auch die Einschätzungen, die andere Tools in diese Richtung geben, immer kritisch hinterfragen. Mir ist es schon oft passiert, dass Fehler als kritisch ausgezeichnet wurden, die aber in keiner Weise die Performance der Website beeinträchtigt haben. Oder dass schwerwiegende Fehler lediglich als Hinweis ausgezeichnet waren. Auch die Konfiguration des Tools ist für Laien unter Umständen nicht ganz einfach zu durchschauen.
Bei sehr großen Websites stößt der Crawler zudem schon mal an seine Grenzen. Dies ist aber auch von der genutzten Hardware abhängig, auf der das Tool läuft. Cloud-basierte Tools haben hier einen Vorteil.

Beste Funktionen von ScreamingFrog

Der Screaming Frog hat so unglaublich viele Funktionen, dass es wirklich schwer ist, ein paar Lieblingsfunktionen zu nennen. Sehr praktisch ist auf jeden Fall, dass man sich anzeigen lassen kann, ob URLs indexierbar sind.

Allgemeines Fazit zu ScreamingFrog

Insgesamt ist der Screaming Frog ein gutes Tool für Onpage-Analysen, das zu einem wirklich günstigen Preis erhältlich ist. Ein wenig Fachwissen sollte man schon mitbringen, aber wenn man sich einmal mit dem Tool auseinandergesetzt hat und seine Funktionen verstanden hat, kann man damit sehr gut arbeiten.

Daniel Bruckhaus

Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Top Tool für einen umfangreichen Onsite-Check, das benutzerfreundlich und leicht zu lernen ist – auch in seiner kostenlosen Version oft (je nach Projektumfang) ausreichend. “

Vorteile von ScreamingFrog

Screaming Frog ist ein Website-Crawler-Tool, welches sowohl als kostenlose als auch als bezahlbare Vollversion zur Verfügung steht. Screaming Frog wird nicht im Browser gestartet, sondern als Programm heruntergeladen und ist sehr einfach zu bedienen – selbst für Einsteiger. Mit diesem Tool kann eine ausführliche und umfangreiche Onsite-Analyse unter der Berücksichtigung von vielen Aspekten durchgeführt werden: Überprüfung von URL Strukturen, robots.txt, Meta Daten, Attributen, Duplicate Content, Broken Links, Server- und Browserfehlern und vieles mehr. Dabei startet die Analyse durch die Eingabe einer URL und der Spider wird losgeschickt, um die Seite zu durchsuchen und jedem Link zu folgen. Screaming Frog bietet außerdem die Möglichkeit, Daten als CSV Tabelle zu exportieren.

Nachteile von ScreamingFrog

Die lokale Installation kann ein Nachteil sein, da das Tool dadurch nur über den Desktop PC nutzbar ist. Screaming Frog prüft keine Backlinks und enthält kein Keyword Monitoring. Obwohl das Tool sehr viele Funktionen bietet, ist durch die Benutzeroberfläche nicht alles schnell und einfach zu finden. Eine Übersicht in Form eines Dashboards ist nicht vorhanden. Die zeitliche Planung von Crawls ist nicht einstellbar, da kein Projekt angelegt wird, sondern die Analyse durch die Eingabe einer URL startet.

Beste Funktionen von ScreamingFrog

Überprüfung von
– Duplicate Content
– eingehenden und ausgehende Links
– Status Codes und Redirects
– Meta Daten

Allgemeines Fazit zu ScreamingFrog

Analyse in wenigen Sekunden möglich, übersichtlich (wenn man weiß, wo man was findet), umfangreicher Onsite-Check, sehr leicht zu lernen.

Stefanie Lasch

  • E-Commerce Manager (SEO)
  • 123
Gesamt
Benutzerfreundlichkeit
Kundenservice
Funktionen
Preis-Leistung
Weiterempfehlung

„Ein EKG für Deine Webseite – Bestandsaufnahme. “

Vorteile von ScreamingFrog

Extrem vielfältig wenn man sich mal etwas eingelebt hat, einfach ein tolles SEO-Toll für wenig Geld. Ideal für Leute die SEO-Analysen machen für mehrere Domain oder eine sehr grosse Seite betreuen.

Nachteile von ScreamingFrog

Etwas beängstigend man es noch nicht gut kennt, die 1’000 Funktionen & Anpassungen können echt überfordern.

Beste Funktionen von ScreamingFrog

Für Status-Kontrollen, Page-Title & Metadescripiton Optimierungen, Weiterleitungen

Allgemeines Fazit zu ScreamingFrog

Sehr vielfältig einsetzbar.

ScreamingFrog Alternativen

Searchmetrics OMT Magazin

Searchmetrics

4,4/5 (1)
TermLabs.io OMT Magazin

TermLabs.io

4,6/5 (9)
XOVI OMT Magazin

XOVI

4,4/5 (8)

ScreamingFrog Anwendungstipps

Relaunch mit dem Screaming Frog

Vermeide Fehler beim Relaunch und visualisiere Deine Webseitenstruktur mit dem Screaming Frog

Wer Suchmaschinenoptimierung (SEO) betreibt, dürfte schon mal von dem schreienden Frosch (Screaming Frog SEO Spider) gehört bzw. gelesen haben. Grundsätzlich gilt: Tools im Bereich der Suchmaschinenoptimierung gibt es wie Sand am Meer. Schnell verlieren insbesondere SEO-Neulinge den Überblick. Das ist nichts Ungewöhnliches und auch nicht schlimm. Wir haben alle mal bei Null angefangen. Den schreienden Frosch sollte man sich meines Erachtens aber auf jeden Fall widmen, und ihn ausgiebig testen. Ich bin sicher, die Fülle an Features überzeugt und macht ihn zu einem festen Bestandteil in der täglichen Arbeit. Gerade für jene, die von der zentralen Bedeutung des Onpage-SEO überzeugt sind.

Was ist der Screaming Frog?

Der Screaming Frog SEO Spider ist ein lokal auf dem Rechner installiertes Tool, mit dem sich in Echtzeit einzelne URLs oder ganze Webseiten crawlen lassen. Der Screaming Frog durchläuft, wie der Google Bot die eingetragene Seite. Es ist hierbei egal, ob es sich um die eigene Internetseite handelt oder eine x-beliebige Seite im Web. Mit dem Screaming Frog könnten somit auch interessante Informationen über die Seiten der Mitbewerber ermitteln werden.

Abbildung 1: Der Screaming Frog nach dem Start

Abbildung 1: Der Screaming Frog nach dem Start

 

Der Bot des Screaming Frog folgt allen internen Links, ruft jede URL auf und sammelt zahlreiche Informationen. So listet das Tool nach dem Crawl zum Beispiel Informationen über die Meta Angaben, die Statuscodes, die internen Links, die Dateigrößen, Canonical-Links, hreflang und noch vieles mehr auf.

Den Screaming Frog gibt es in zwei Versionen. In der kostenlosen Version bietet er sich gut für kleine Webseiten an. Bis zu 500 URLs sind in der kostenlosen und abgespeckten Version crawlbar.

In dieser eingeschränkten Version ist es zum Beispiel nicht möglich, den Crawler zu konfigurieren, die Crawl-Ergebnisse abzuspeichern, Seiten zu rendern, Informationen zu strukturierten Daten zu erhalten oder Google Analytics und die Search Console zu verbinden.

Wer größere Seiten und somit mehr crawlen und Informationen erhalten möchte, benötigt eine Lizenz. Diese kostet 149 £ pro Jahr und Nutzer. Die kostenpflichtige Version lohnt sich in der Regel – vor allem im Vergleich zu den Lizenzkosten anderer Tools.

Was der Screaming Frog nicht kann

Seit Jahren klingen „Content ist King“ und „WDF*IDF“ durch die SEO- und Online-Marketing-Szene. Beides sind Schlagworte, mit denen der schreiende Frosch wenig anfangen kann. Der Screaming Frog analysiert nicht den Inhalt, also den Content, einer Seite. Er kann somit keine Bewertung des Inhaltes auf Sinn, vorgesehenes Keyword-Set und der verfolgten Ziele vornehmen.

Der Screaming Frog bietet auch keine Lösungen zur Optimierung der Seite. Er sammelt lediglich zahlreiche Informationen. Um eine Seite für die Suchmaschinen zu optimieren, gilt es die richten Schlüsse und somit To-dos auf Basis der erhaltenen Informationen zu ziehen.

Wer den Screaming Frog SEO Spider zum ersten Mal benutzt, wird von dem nüchternen Erscheinungsbild überrascht sein. Wer bunte Grafiken erwartet, dürfte enttäuscht sein. Seit dem Update auf die Version 10.0 gibt es den Menü-Punkt „Visualisations“. In diesem Bereich werden die gesammelten Informationen mit interaktiven Diagrammen dargestellt. Eine der wenigen Stellen, an denen Farbe in die Auswertung kommt. Eine Randbemerkung an dieser Stelle: Mittlerweile gibt es die Version 11.3 (Stand August 2019).

Was solltest Du vor dem Crawlen beachten?

Je größer eine Seite ist, desto wichtiger ist es, das Crawling zu steuern. Wie bereits erwähnt, analysiert er die angegebene Seite in Echtzeit und beschäftigt somit deren Server. Ein Crawl bindet zudem Kapazitäten des Rechners. Überlege also vor dem Crawl genau, was gecrawlt werden soll. Zur „Entlastung“ des Servers kann einerseits die Crawl-Geschwindigkeit („Configuration“ > „Speed“) eingestellt werden. Weithin können auch nur bestimmte Seiten sowie Ordner ein- oder ausgeschlossen („Configuration“ > „Include“/“Exclude“) werden.

Abbildung 2: Durch entsprechende Einstellungen lässt sich der Server „entlasten“

Abbildung 2: Durch entsprechende Einstellungen lässt sich der Server „entlasten“

 

Wie der Crawler im Detail konfiguriert werden kann, soll allerdings nicht Teil dieses Artikels werden. Eine ausführliche Beschreibung liefert der Screaming Frog selbst („Help“ > „User Guide“).

Zudem gibt es geschätzte Kollegen in der Szene, wie zum Beispiel Markus Hövener, die viele Tipps und Tricks zum Screaming Frog veröffentlichen (https://blog.bloofusion.de/screaming-frog-hacks/).

Was mit dem Screaming Frog möglich ist

  • Seitentitel und Metabeschreibungen analysieren diejenigen erkennen, die zu lang, zu kurz und doppelt sind oder sogar gänzlich fehlen.
  • Informationen über Indexierungsstatus, Dateigrößen, Antwortzeit des Servers, Textumfang, Verhältnis Text zu Code, interne und externe Links, Ankertexte der internen Links, Canonical Links,… erhalten.
  • Exakt doppelte URLs (md5-Algorithmusprüfung) oder doppelte Elemente wie Seitentitel, Beschreibungen und Überschriften erkennen.
  • Defekte Links (Statuscode 404) und Serverfehler finden.
  • Nach temporären und permanenten Weiterleitungen suchen und Weiterleitungsketten und -schleifen identifizieren.
  • URLs anzeigen lassen, die von robots.txt-, Meta-Robots- oder X-Robots-Tag-Direktiven wie ‘noindex’ oder ‘nofollow’ blockiert werden.
  • SERP-Snippets analysieren und optimieren.
  • Verbindung zur Google Analytics-API herstellen und weitere Daten zu den analysierten Seiten abrufen.
  • Webseiten mithilfe des integrierten Chromium WRS rendern. Aber Vorsicht: Wenn JavaScripts gecrawlt werden, wird der Crawl langsamer. Dieses Feature sollte immer nur gezielt eingesetzt werden.
  • Site-Architektur mithilfe interaktiver Diagramme visualisieren und die interne Verlinkung und URL-Struktur bewerten.
  • Verschiedenste Informationen in csv-, xls- oder xlsx-Dateien exportieren und in Excel weiterverarbeiten.
  • Komplettes Ergebnis einer Analyse abspeichern und es später wieder aufrufen. Der Crawl einer Seite muss somit nicht immer neu für eine Seitenanalyse ausgeführt werden.

Ist das schon alles?

Die Aufzählung skizziert nur einen Teil der konkreten Einsatzmöglichkeiten des Screaming Frog SEO Spider. Durch seine stetige Weiterentwicklung können immer mehr individuelle SEO-Fragestellungen beantwortet werden.

Damit Suchmaschinen eine Webseite besser „verstehen“ sind strukturierte Daten ein wichtiger Bestandteil beim Onpage-SEO. Der Screaming Frog bietet die Möglichkeit, die per JSON-LD, Microdata oder schema.org ausgezeichneten Daten zu überprüfen.

Hilfreich ist das Tool zum Beispiel auch bei einem Relaunch der Website. Gerade bei größeren Webseiten kann es vorkommen, dass bei der Einrichtung von Weiterleitungen URLs vergessen werden. Nach dem Relaunch würden Links zu deren Seiten im Nichts landen und 404-Seiten zur Folge haben. Dies kann unter Umständen wiederum den Verlust von wichtigen Rankings und der Sichtbarkeit bedeuten.

Wie der Screaming Frog bei einem Relaunch eingesetzt werden kann, wird im weiteren Verlauf beleuchtet.

Mit dem Screaming Frog (in Verbindung mit anderen Tools und Browser-Erweiterungen) sind auch spannende Hacks möglich. So konnte zum Beispiel Alexander Holl von 121WATT herausfinden, in welchen italienischen Restaurants in München er an Silvester 2018 den Jahreswechsel feiern konnte.

Youtube-Video von Alexander Holl (https://www.youtube.com/watch?v=fFdoubZhCSc)

Alternativlos?

Für viele ist der Screaming Frog zu einem beliebten und sehr häufig genutzten Tool in der täglichen Arbeit geworden. Mit Sicherheit auch auf Grund seiner Fülle an Features und Einsatzmöglichkeiten. Alternativlos ist er deswegen aber nicht. Mit RYTE, Sitebulb und Deepcrawl gibt es vergleichbare Tools. Jedes hat für sich Vorteile und wiederum Nachteile gegenüber den anderen Tools. Auch SEO-Tools wie Sistrix, Searchmetrics, Xovi und Co. bieten Onpage-Analysen an.

Redirect-Audit beim Website-Relaunch mit dem Screaming Frog

Ein Website-Relaunch muss nicht nur optische Veränderungen mit sich bringen. Grund für einen Relaunch könnten auch die Überarbeitung und Neukonzeption von Inhalten, die Vereinfachung der Navigationsstruktur oder auch die Optimierung der Geschwindigkeit des eingesetzten Content-Management-System (CMS) sein. Oftmals kommen viele Gründe zusammen. Aus SEO-Sicht ist ein Relaunch daher eine spannende Angelegenheit. Aber Vorsicht! Auf dem Weg eines Website-Relaunch verbergen sich einige Fallstricke. Diese können weitreichende negative Folgen haben.

Gefahrenpotenzial besteht bei fehlenden oder fehlerhaften Weiterleitungen von den alten auf die neuen Inhaltseiten. Dies hat zum einen zur Folge, dass Rankings verloren gehen und schlussendlich die Besucher auf der Website fernbleiben. Zum anderen geht der Linkjuice externer Links auf die alten URLs und somit für die ganze Website verloren.

Doch die Weiterleitungen sind nicht nur für Suchmaschinen wichtig. Auch für Nutzer sind sie wichtig, die alte URLs der Website aufrufen, beispielsweise über Links im Web oder Lesezeichen in ihrem Browser. Sie erwarten eine funktionierende Seite und landen ungern auf einer 404-Fehlerseite. Beides Szenarien, welche verhindert werden können.

Was also tun? Ein Redirect-Audit mit dem Screaming Frog! Dieses wird helfen, das Gefahrenpotenzial von Sichtbarkeits- und Rankingverlusten zu minimieren. Es hilft auch, die eigene Website von lästigen und langsamen internen Redirects zu befreien.

1. Bestandsaufnahme

Im ersten Schritt ist eine Bestandsaufnahme aller existierenden URLs der Website erforderlich. Mit dem Screaming Frog ist dies bequem und mit wenigen Schritten möglich. Damit er alle URLs findet, muss er richtig konfiguriert werden. Dies erfolgt über das Menü „Configuration“ > „Spider“.

Neben der Standard-Konfiguration sollte beim Crawl auch allen internen nofollow-Links gefolgt werden. Sofern vorhanden, sollten auch die Subdomains oder die AMP-Seiten gecrawlt werden. Wenn der Crawl in einem Verzeichnis startet wäre „Crawl Outside of Start Folder“ auszuwählen, so dass auch die Root-Seite beim Crawl berücksichtigt wird. Weiterhin ist zu empfehlen, dass Rel Next- und Rel Prev-URLs ebenfalls gecrawlt werden. Schlussendlich sollten hreflang-URLs mit einbezogen werden. Zu guter Letzt könnten die Links in der XML-Sitemaps berücksichtigt werden. Diese Einstellung ist jedoch nicht zwingend notwendig.

Abbildung 3: Wenn der Crawler aller URLs finden soll, sind ein paar Häkchen zusätzlich zu setzen

Abbildung 3: Wenn der Crawler aller URLs finden soll, sind ein paar Häkchen zusätzlich zu setzen

 

Je nach Größe der Website benötigt das Tool nun Zeit, um alle URLs zu crawlen. In der nun vom Screaming Frog erstellten Liste werden alle URLs aufgelistet, auch jene von z.B. PDF-Dateien und Bildern. PDFs und Bilder können bei Bedarf auch weitergeleitet werden. Wir konzentrieren uns an dieser Stelle auf die HTML-Seiten. Über den Filter (oben links) lassen sich nur diese anzeigen. Diese Liste kann wiederum als Excel-Datei oder auch als CSV-Datei exportiert werden. 

Abbildung 4: Dropdown-Liste mit den Filtermöglichkeiten und dem „Export“-Button rechts daneben.

Abbildung 4: Dropdown-Liste mit den Filtermöglichkeiten und dem „Export“-Button rechts daneben.

 

2. URL-Mapping

In Excel oder jedem anderen Tabellenverarbeitungsprogramm lässt sich dann das sogenannte URL-Mapping erstellen. Zu empfehlen ist hierbei eine Spalte für alle alten URLs. In der zweiten Spalte werden jene URLs vermerkt, auf die sie umgeleitet werden sollen.

Erstes Ziel sollte beim URL-Mapping sein, dass jede alte URL auf ein gleichwertiges Pendant weiterleitet. Zweites Ziel sollte sein, dass so wenig wie möglich auf die Startseite weitergeleitet wird. Warum? Weil die Startseite inhaltlich die alten URLs nicht wiederspiegeln und diese daher auf kurz oder lang aus dem Index fallen.

3. Weiterleitungen einrichten

Ist das URL-Mapping fertiggestellt, ist es an der Zeit, die Weiterleitungen vorzubereiten. Hierfür sollte die .htaccess-Datei auf dem Webserver bearbeitet werden. Zu empfehlen ist hier die sogenannte 301-Weiterleitung, da es sich um dauerhafte Weiterleitungen handelt. Bei vorübergehenden Weiterleitungen kommt eher ein 302-Redirect in Frage. Alte bzw. gelöschte Seiten, für die es nach dem Relaunch kein gleichwertiges Pendant gibt, sollten den HTTP-Statuscode 404 (not found) oder besser 410 (gone) zurückgeben. Google wirft diese URLs dann aus dem Index. Aber auch hier ist Vorsicht geboten. Bei URLs, welche viele externe Links besitzen, sollte es nicht angewendet werden, da der Linkjuice dann verloren gehen würde.

4. Kontrolle der Weiterleitung mit dem Screaming Frog

Wenn die neue Seite online ist, ist der Zeitpunkt gekommen, die eingerichteten Weiterleitungen zu prüfen. Hier kommt der Screaming Frog erneut zum Einsatz. Im ersten Schritt benötigen wir hierzu die vormals exportierte Liste der alten URLs. Zudem konfigurieren wir uns den Crawler erneut. Dies erfolgt wieder über das Menü „Configuration“ > „Spider“ und der Registerkarte „Advanced“. Der Crawler wird angewiesen, Redirects zu folgen.

Abbildung 5: Redirects nicht nur erkennen, sondern ihnen bis zum Ende folgen

Abbildung 5: Redirects nicht nur erkennen, sondern ihnen bis zum Ende folgen

 

Als nächster Schritt wird in den Listenmodus gewechselt („Mode“ > „List“). Nun kann über den Button „Download“ manuell die Liste der alten URLs eingefügt und der Crawler gestartet werden. In diesem Modus werden lediglich die hochgeladenen URLs analysiert und keinen Links gefolgt, sprich mit der Crawltiefe null. Durch die entsprechende Anweisung „Always Follow Redirects“ bei der Konfiguration gibt der Screaming Frog nicht nur die Information, welchen Statuscode die jeweilige URL hat, sondern folgt den Weiterleitungen auch bis zum Ende. So werden zum Beispiel Weiterleitungsketten ermittelt.

Abbildung 6: Unkompliziert kann eine Liste von URLs zum Crawlen geladen werden

Abbildung 6: Unkompliziert kann eine Liste von URLs zum Crawlen geladen werden

 

Sobald der Screaming Frog den Crawl abgeschlossen hat, kann überprüft werden, ob alle Weiterleitungen soweit korrekt erfolgt sind. Hierzu wechseln wir in den Reiter „Response Code“ und filtern „Client Error (4xx)“. Sollte die Liste leer sein oder zumindest nur jene URLs auflisten, welchen wir den Statuscode 404 oder 410 gegeben haben, wurden keine gravierenden Fehler bei der Einrichtung der 301-Weiterleitungen gemacht.

Abbildung 7: Schnell überprüfen, ob Redirects am Ende auf einer Fehlerseite landen

Abbildung 7: Schnell überprüfen, ob Redirects am Ende auf einer Fehlerseite landen

 

5. Weiterleitungsketten erkennen

Was bis zu diesem Punkt noch nicht bekannt ist: Gibt es Weiterleitungsketten oder andere Probleme mit den Weiterleitungen. Hierzu wird der Report „Redirects & Canonical Chains“ aufgerufen und exportiert.

In der Excel-Liste können nun alle Weiterleitungen nochmal nachvollzogen werden. Das Augenmerk sollte auf jene Zeile gerichtet sein, welche in der Spalte „Chain Type“ den Hinweis „mixed“ und oder in der Spalte „Redirect Loop“ ein „true“ stehen haben. In der Spalte „Number of Redirects“ wird angegeben, um wie viele Weiterleitungen es sich in der Kette handelt. Die detaillierten Informationen zu den Weiterleitungen findet sich in den nachfolgenden Tabellenspalten.

Abbildung 8: Report „Redirects & Canonical Chains“

Abbildung 8: Report „Redirects & Canonical Chains“

 

Interne Links auf Redirects und Weiterleitungsketten auflösen

Auch ohne Relaunch kann überprüft werden, ob es interne Links gibt, die auf ein Redirect verweisen oder sogar über eine Kette von Weiterleitungen an die eigentliche Zielseite führen. Jede erneute Weiterleitung belastet den Server und verlängert letztendlich die Ladezeit der Seite. Bei Weiterleitungsketten entstehen auch Fehler, wie zum Beispiel Endlosschleifen oder das Weiterleitungsziel ist eine 404-Seite.

Um interne Links auf Redirects (interne Redirects) oder Weiterleitungsketten zu beheben wird der Crawl-Modus „Spider“ gestartet und der Crawler erneut angewiesen, Redirects zu folgen („Configuration“ > „Spider“, Reiter „Advanced“). Das anschließende Ergebnis im Reiter „Response Code“ anzeigen lassen und anschließen nach den Weiterleitungen (Redirection 3XX) filtern.

Nun kann jede einzelne URL im Detail analysiert und darauf überprüft werden, welche internen Links auf diese URL bestehen. Die Links können anschließend so angepasst werden, dass sie nicht auf den Redirect verlinken, sondern direkt zur eigentlichen Zielseite. Welche internen Links zur URL bestehen, listet der Screaming Frog im Reiter „Inlinks“ in der Fußzeile auf.

Abbildung 9: Interne Links zur ausgewählten URLs anzeigen lassen

Abbildung 9: Interne Links zur ausgewählten URLs anzeigen lassen

 

Das Crawl-Ergebnis der internen Redirects lässt sich auch wieder als Excel-Liste exportieren („Bulk-Report“ > „Response Codes“ > „Redirection 3xx Inlinks“).

Um ein Redirect-Audit zu vervollständigen werden zudem noch die internen Weiterleitungsketten überprüft. Hierbei hilft erneut der Report „Redirect & Canonical Chains“.

Visualisierung der Webseitenstruktur und Fehler/Auffälligkeiten erkennen

Mit dem Update auf die Version 10.0 hat der Screaming Frog den neuen Menüpunkt „Visualisations“ erhalten. Hier verbergen sich vier interaktive Visualisierungen, welche die Seitenarchitektur darstellen. Sie sollen das Verständnis der Seite und der internen Linkstruktur und „Auffälligkeiten“ optisch verdeutlichen. Ergänzt wird der Menüpunkt um die Visualisierungen „Inlink Anchor Text Word Cloud“ und „Body Text Word Cloud“.

1. Unterschiede der interaktiven Visualisierungen:

Zwei Arten der interaktiven Visualisierungen stehen bereit: Crawl-Visualisierung und Verzeichnisbaum-Visualisierung. Beide können in zwei verschiedenen Formaten dargestellt werden, dem Baumdiagramm oder dem kraftgerichteten Diagramm.

  • Crawl-Visualisierungen: „Crawl Tree Graph“ und „Force-Directed Crawl Diagram“
  • Verzeichnisbaum-Visualisierungen: „Directory Tree Graph“ und „Force-Directed Directory Tree Diagram“

Alle Visualisierungen besitzen die gleichen Funktionen. Der Mouse-over eines Knotenpunktes zeigt eine Vielzahl an Informationen für die jeweilige URL an. Mit einem linken Mausklick werden alle nachfolgenden Verbindungen aus- oder auch wieder eingeblendet. Mit einem Rechtsklick bestehen weitere Funktionen. „Focus here“ ist bei größeren Seiten hilfreich, um den Überblick zu behalten oder sich auf einzelne Bereiche zu konzentrieren.

Jede der vier Visualisierungen lässt sich individuell in der Darstellung konfigurieren. Ein Klick auf das Zahnrad in der rechten oberen Ecke hält diese Einstellmöglichkeiten bereit. Der „i“-Button liefert die Informationen zu den einzelnen Farben der Knotenpunkte.

Auffällig sind in den Visualisierungen ggfs. die roten Knotenpunkte. Sie heben URLs hervor, welche nicht indexierbar sind oder einen Redirect besitzen. Nicht selten gibt es Gründe für nicht indexierbare Seiten. Die Darstellung ist jedoch hilfreich, um schnell Bereiche von Interesse zu identifizieren, die weiter untersucht werden müssen.

Abbildung 10: Force-Directed Directory Tree Diagram von omt.de

Abbildung 10: Force-Directed Directory Tree Diagram von omt.de

 

2. Die verschiedenen Arten der Visualisierungen im Überblick

Crawl-Visualisierungen:
Die Visualisierungen „Crawl Tree Graph“ und „Force-Directed Crawl Diagram“ gewähren einen Überblick darüber, wie der Screaming Frog die Website auf kürzestem Weg durchforstet hat. Angezeigt wird ein einzelner Pfad zu einer Seite von der Start-URL aus. Es wird nicht jeder interne Link angezeigt. Insbesondere bei größeren Webseiten wären die Visualisierungen dadurch unübersichtlich. Die Crawl-Visualisierungen sind bei der Analyse der Seitenarchitektur und der internen Verknüpfungen nützlich.

Verzeichnisbaum-Visualisierungen
Die Visualisierungen „Directory Tree Graph“ und „Force-Directed Directory Tree Diagram“ spiegeln die URL-Architektur einer Website. Die Knoten sind hierarchisch nach URL-Komponente und -Pfad organisiert. Sie geben nicht immer auflösende URLs wieder und die Linien zwischen den URLs repräsentieren den Verzeichnispfad. Dies macht die Visualisierung des Verzeichnisbaums bei der Analyse der URL-Struktur und der allgemeinen Informationsarchitektur einer Website nützlich.

Am Ende entscheidet der persönliche Geschmack, welcher Formattyp bei der weiteren Analyse der Crawl-Ergebnisse verwendet wird. Die Visualisierungen liefern jedoch nicht mehr Daten, als bereits in einem Crawl verfügbar sind.

Hilfereich dürften sie insbesondere für Web-Agenturen im Meeting mit dem Kunden sein. Visualisierungen haben eine Stärke: Sie helfen Perspektiven zu erzeugen, Ideen zu kommunizieren oder Muster aufzudecken, die in Tabellen nur schwer offenzulegen sind.

3. Ankertexte und Bodytext als Wortwolke

Alle Visualisierungen lassen sich entweder über das Menü aufrufen oder mit einem Rechtsklick auf eine URL in der Ergebnisliste der durchgeführten Analyse.

Vielmehr als nettes Gimmik dürften die beiden Visualisierungen „Inlink Anchor Text Word Cloud“ und „Body Text Word Cloud“ gesehen werden. Die Wortwolke für den Inlink-Ankertext enthält den gesamten internen Ankertext zu einer bestimmten URL und den Alternativtext eines Bildes mit Hyperlinks zu einer Seite. Die „Textkörper-Wortwolke“ enthält den gesamten Text im HTML-Textkörper einer Seite. Um diese Visualisierung anzuzeigen, muss die „Store HTML“ über die Spider-Konfiguration aktiviert sein.

Mein Fazit:

Der Screaming Frog SEO Spider hält definitiv eine Fülle an Features bereit. So ist einerseits eine schnelle und „oberflächliche“ Analyse einer Webseite möglich. Andererseits kann das Tool sehr gut genutzt werden, um viele individuelle SEO-Fragestellungen zu beantworten. So oder so: Der Screaming Frog ist ein sehr hilfreiches Tool, welches stetig weiterentwickelt wird und immer wieder mit beeindruckenden Neuerungen aufwartet. Mit ihm lässt sich bei der Onpage-Optimierung erfahrungsgemäß sehr viel Zeit sparen. Mein Tipp: Schaut euch den schreienden Frosch auf jeden Fall einmal an und probiert einige Funktionen aus. Ihr werdet begeistert sein.

Heiko Müller

Heiko Müller ist seit 2012 in der Agentur team digital GmbH im Bereich Online-Marketing tätig. Sein Schwerpunkt liegt in der Suchmaschinenoptimierung. Er berät sowohl Selbständige als auch kleinere Betriebe sowie international tätige Unternehmen. Für ihn ist wichtig, dass Webseiten in Hinblick auf Content, Struktur und Technik gut aufgestellt sind. Nur so können sie langfristig im Web und bei Usern erfolgreich sein.

Back to top