Log-Analyse: Ein Hebel zur Optimierung Ihrer SEO
Als Säule der technischen SEO ist die Protokollanalyse eine wertvolle Informationsquelle, die Sie zur Optimierung Ihrer natürlichen Referenzierung verwenden können.
Wie sehen Crawler Ihre Website?
Um das SEO-Potenzial optimal auszuschöpfen, ist es wichtig zu verstehen, wie Suchmaschinen-Crawler mit Ihrer Website interagieren – und was sie beim Crawlen tatsächlich sehen. Da die Erkundung von Seiten nach mehreren Kriterien erfolgt (Antwortgeschwindigkeit des Servers, URL-Tiefe, Aktualisierungshäufigkeit usw.), kommt es nicht selten vor, dass das, was eine Suchmaschine von Ihrer Website kennt, von den Seiten abweicht, die tatsächlich online erscheinen und Traffic generieren. Die klassischen Tools – Search Console, Google Analytics, SEO-Crawling-Software – liefern darauf leider nur unvollständige Antworten. Die einzige Möglichkeit, genau festzustellen, was Crawler sehen, besteht darin, die Server-Logdateien zu analysieren. Daher der Begriff „Log-Analyse“ im SEO – ein grundlegender Aspekt des technischen SEO.
Log-Analyse: unverzichtbar für technisches SEO
Das „Protokoll“ bezeichnet eine Datei, die auf dem Website-Server gehostet wird – eine Art „Logbuch“, das alle Ereignisse auf diesem Server aufzeichnet: die sogenannten Anfragen oder Requests. Sobald eine Entität (Nutzer oder Bot) versucht, auf die Ressourcen der Seite zuzugreifen, wird eine neue Zeile in die Logdatei eingetragen. Die Log-Analyse im SEO ist die Operation, bei der Informationen aus dieser Datei extrahiert werden, um sie auszuwerten und Erkenntnisse für die Seitenoptimierung zu gewinnen.
Dieser Ansatz bietet einen umfassenden Überblick über die Performance der Website, ihren Einfluss auf Bots, technische Fehler, die interne Verlinkung usw. Noch wichtiger: Nur diese Daten sind zu 100 % zuverlässig. Sie helfen dabei, besser zu verstehen, was beim Crawlen der Seite durch Bots passiert – und letztlich die richtigen Hebel zu aktivieren, um das SEO kontinuierlich zu verbessern.
Welche Daten finden wir in den Protokollen?
Die Protokolldatei speichert viele wichtige Informationen. Diese werden in einer access.log-Datei als Rohdaten aufgezeichnet. Es umfasst insbesondere:
Datum und Uhrzeit der Anfrage („Timestamp“)
Die Art der Anfrage
Der User-Agent, der die Anfrage initiiert
Die besuchte URL
Die Quell-URL („Referrer“)
Seitendetails: Dateigröße, Antwortzeit, HTTP-Antwortstatuscodes (200, 301, 404, 500) usw.
Daten des Nutzers: IP-Adresse, verwendete Suchmaschine, Betriebssystem etc.
Zwei Arten des Crawlings (in Kombination zu verwenden)
Beim Crawling müssen zwei Ansätze unterschieden werden: der Crawl durch Suchmaschinen-Bots und der durch SEO-Crawling-Tools. Da sich beide Ansätze ergänzen, ist es wichtig, die Daten für optimale Ergebnisse zu kombinieren.
Crawling durch Bots
Suchmaschinen-Crawler crawlen die Seiten einer Website, indem sie den während der Erkundung gefundenen Links folgen (interne Verlinkung und eingehende Links) und die ihnen gegebenen Anweisungen befolgen (XML-Sitemap-Dateien und robots.txt). Sie identifizieren auch zuvor indexierte Seiten, die nicht mehr erreichbar sind, sowie Seiten, die von Nutzern besucht wurden, aber nicht mit der Website verlinkt sind. Genau dieses Crawling lässt sich mithilfe der Log-Analyse untersuchen.
Crawling mit SEO-Tool
Mit SEO-Crawling-Tools lassen sich alle Seiten einer Website analysieren – allerdings nur, wenn sie untereinander verlinkt sind (interne Verlinkung). Das liefert einen eingeschränkteren Einblick, da Crawler auch Seiten sehen können, die nicht mit dem Rest der Website verlinkt sind – sogenannte verwaiste Seiten (Orphan Pages). Die Daten aus dieser Art von Crawling sind wertvoll, aber weniger präzise als bei einer Log-Analyse.
Log-Dateien analysieren – und dann?
Mithilfe der Log-Analyse lässt sich der Weg von Crawlern auf einer Website präzise rekonstruieren. Das Ziel: das Crawling mit absoluter Genauigkeit und unbestreitbarer Zuverlässigkeit zu visualisieren; zu verstehen, wie die Website von Crawlern durchsucht wird, welche Seiten besucht werden – und welche nicht (und warum); Hindernisse zu identifizieren und Korrekturmaßnahmen abzuleiten, um Seiten effektiver zu positionieren. Kurz gesagt hilft diese Analysearbeit bei der Beantwortung einer zentralen Frage: „Hat die Suchmaschine dieselbe Sicht auf meine Website wie ich?“ – mit dem Ziel, diese beiden Perspektiven so weit wie möglich anzugleichen.
Wozu dient die Protokollanalyse?
Wann sollte eine Protokollanalyse durchgeführt werden?
Eine Log-Analyse kann zu jedem Zeitpunkt durchgeführt werden – insbesondere bei Websites mit hohem Seitenvolumen (mehr als 10.000 Seiten), etwa im Rahmen eines Audits, eines technischen SEO-Audits oder einer monatlichen Analyse. Für kleinere Websites (1.000 bis 10.000 Seiten) ist dieser Ansatz in mehreren Szenarien besonders sinnvoll: bei einem Redesign oder einer Migration, beim Hinzufügen einer großen Anzahl neuer URLs oder bei festgestellten Veränderungen in der SEO-Positionierung. Die Log-Analyse eignet sich besonders für E-Commerce-Websites, die oft eine sehr große Anzahl wichtiger Seiten (insbesondere Produktseiten) umfassen, sowie für Nachrichtenwebsites, bei denen eine genaue Kenntnis der Crawling-Frequenz unverzichtbar ist – da es darum geht, neue Inhalte so schnell wie möglich von Suchmaschinen indexieren zu lassen.
Wie analysiert man Protokolldateien?
Protokolldateien sind umfangreich und liegen in Rohform vor – in diesem Zustand sind sie kaum lesbar. Eine manuelle Analyse ist daher schwierig, wenn nicht unmöglich, und wäre zudem zeitaufwändig und mühsam. Es ist deshalb sinnvoll, Tools einzusetzen, die die Rohdaten sortieren und aufbereiten, um so schnell wie möglich die für die SEO-Optimierung relevanten Informationen zu extrahieren.
Auf dem Markt gibt es viele Lösungen wie Screaming Frog oder OnCrawl. Ihr Einsatz sollte jedoch durch SEO-Crawling- und Datenanalyse-Tools (Search Console, Google Analytics etc.) ergänzt werden. Denn auch wenn diese Tools das Lesen der Protokolle erleichtern, reichen sie allein nicht aus, um eine vollständige Analyse durchzuführen oder die Daten richtig zu interpretieren und konkrete Empfehlungen abzuleiten. Entscheidend ist letztlich, die richtigen Kennzahlen korrekt einzusetzen.
Kennzahlen, die bei der Log-Analyse berücksichtigt werden müssen
Crawling-Frequenz
Diese Kennzahl zeigt, wie häufig Ihre Website von Suchmaschinen-Crawlern besucht wird – mit Daten zu den letzten Besuchen und der Besuchsanzahl (eine Seite kann mehrmals täglich gecrawlt werden, wenn sie besonders wichtig ist). So lässt sich überprüfen, ob strategische Seiten tatsächlich und regelmäßig von Crawlern besucht werden.
Crawl-Fenster
Dies ist die Anzahl der Tage, die zum Crawlen aller URLs Ihrer Website benötigt werden. Dieses Fenster liegt in der Regel zwischen 1 und 3 Wochen – das ist die durchschnittliche Zeit zwischen zwei Crawler-Durchgängen. Wichtig zu wissen, wenn Änderungen vorgenommen werden und man abschätzen möchte, wann sie indexiert werden und wann ihre Auswirkungen auf die SEO spürbar sind. Es hilft auch dabei, günstige Zeiträume für die Veröffentlichung neuer Inhalte vorauszuplanen.
Crawl-Budget-Nutzung
Die Log-Analyse gibt Zugang zu einem wichtigen Kennwert: der Art und Weise, wie das Crawl-Budget von Suchmaschinen genutzt wird – also die Begrenzung der Anzahl von Seiten, die ein Crawler besuchen darf. Wichtige Information, um zu verstehen, welche Seiten oder Kategorien beim Crawling bevorzugt werden, und um Crawler gezielt auf die URLs umzulenken, die SEO-strategisch am wichtigsten sind.
Technische SEO-Fehler
Mehrere Kennzahlen helfen dabei, technische Blockaden zu identifizieren, die die SEO-Performance der Website beeinträchtigen – etwa doppelte URLs, Ladegeschwindigkeitsprobleme oder Seiten mit Fehler-Codes (301, 404, 500). Diese Probleme betreffen sowohl das Crawling als auch die Nutzererfahrung – ein Signal, das Suchmaschinen bei der Bewertung der Relevanz einer Seite berücksichtigen.
Irrelevante Inhalte
Die Log-Analyse hilft dabei, irrelevante Inhalte auf Ihrer Website zu identifizieren. Diese werden von Crawlern besucht, mit zwei negativen Folgen: Sie verschwenden Crawl-Budget-Ressourcen (auf Kosten strategischer Seiten, deren Entdeckung sich verzögert) und können Ihre SEO-Performance beeinträchtigen. Gemeint sind doppelte Inhalte, 404-Fehler, gehackte Seiten, minderwertige Inhalte usw.
Verwaiste Webseiten
In Kombination mit einem SEO-Crawl ermöglicht die Log-Analyse das Aufspüren sogenannter verwaister Seiten: Sie sind Suchmaschinen bekannt (weil sie hohe Werte bei wichtigen Kennzahlen aufweisen), ohne mit der Website verlinkt zu sein – mangels eingehender Links. Diese Seiten können gut in den SERPs positioniert sein und Traffic generieren – daher ist es wichtig, sie in die interne Verlinkung zu integrieren.
Mobile Crawling-Anteil
Mithilfe der Protokolldateien lässt sich der Anteil von Mobile Crawl und Desktop Crawl auswerten. Bei Google zeigt diese Kennzahl, ob eine Website in den Mobile-First-Index verschoben wurde: Sie wird dann zu 80 % vom mobilen Crawler und zu 20 % vom Desktop-Crawler besucht (umgekehrte Werte gelten für den klassischen Index). Das ermöglicht es, die mobilen Versionen der Seiten bei Bedarf gezielt zu überarbeiten.
Stärke der internen Verlinkung
Durch den Vergleich der von Suchmaschinen gecrawlten URLs mit den bei einem SEO-Crawl analysierten URLs lässt sich ein klares Bild der Website-Struktur und ihrer internen Verlinkung gewinnen. Der nächste Schritt besteht darin, diese Verlinkung zu optimieren und zu konsolidieren, um Crawlern das nächste Durchsuchen zu erleichtern – und ihnen so zu ermöglichen, wichtige Seiten zu entdecken, die bisher ignoriert oder vernachlässigt wurden."
Unser Anspruch
Erfahren Sie, was uns besonders macht und wie wir Ihnen helfen, Ihre Ziele zu erreichen
Expertise
Seit 2010 haben wir mit mehr als 2.000 Kunden in 90 Ländern zusammengearbeitet. Diese Erfahrung ermöglicht es uns, genau auf Ihre Herausforderungen einzugehen.
Hingabe
Wir sind ein Team von Enthusiasten, die ständig die Entwicklungen in der Branche verfolgen. Diese Einstellung garantiert Ihnen, mit Beratern zusammenzuarbeiten, die sich Ihrem Erfolg verschrieben haben.
Leistung
Wir unterstützen Sie bei der Umsetzung einer datengesteuerten, digitalen Strategie zur Erreichung Ihrer Geschäftsziele und Verbesserung Ihres Wachstums.
Häufig gestellte Fragen
Was ist Log-Analyse im SEO?
Die im SEO verwendete Protokollanalyse besteht darin, Informationen aus der Protokolldatei (die an den Website-Server angehängt ist) zu extrahieren, um sie für Optimierungszwecke zu verwenden. Die Protokolle zeichnen alle Ereignisse auf, die auf dem Server stattfinden, unabhängig davon, ob sie von Internetbenutzern oder Suchmaschinenrobotern während des Crawls stammen. Das Interesse besteht darin, dass die Daten, die sich aus der Analyse von Protokollen ergeben, von hoher Präzision und narrensicherer Zuverlässigkeit sind.
Warum die Protokolle analysieren?
Durch die Analyse der Protokolle können wir Punkt für Punkt den Weg rekonstruieren, den Suchmaschinen-Robots beim Crawlen einer Website genommen haben. Dadurch ist es möglich, die Seite genau so zu „sehen“, wie die Bots sie „sehen“, und eine Vielzahl von Informationen abzuleiten, die für die Entwicklung von Empfehlungen zur SEO-Optimierung der Seite unerlässlich sind. Kurz gesagt, es ist ein unverzichtbares Werkzeug für technisches SEO.
Wie analysiert man die Protokolle?
Die Protokollanalyse kann angesichts der Komplexität des Vorgangs und der großen Menge an zu verfeinernden Rohdaten nicht manuell durchgeführt werden. Es ist daher notwendig, ein spezielles Tool zum Extrahieren, Visualisieren und Verwerten von Protokollen wie Screaming Frog oder OnCrawl zu verwenden. Außerdem ist es notwendig, diese Daten mit den Ergebnissen eines klassischen SEO-Crawls zu kreuzen. Schließlich ist es wichtig, die relevanten Indikatoren zu identifizieren, die im Hinblick auf Ihre SEO-Ziele sinnvoll sind.
Wir möchten mehr über Ihr Projekt erfahren