In der Technischen SEO konzentrieren wir uns in unserer täglichen Arbeit auf Dinge, die sich relativ einfach überprüfen und umsetzen lassen. Wir analysieren Statuscodes, untersuchen Canonicals, überprüfen die robots.txt und stellen sicher, dass unsere XML-Sitemaps auf dem aktuellsten Stand sind. All das gehört zu den Grundlagen unserer Arbeit und diese Dinge sollten immer sauber verfolgt werden. Dennoch habe ich manchmal das Gefühl, dass uns eine wesentliche Sache aus dem Blick gerät: Wie gut ist die technische Erschließung unserer Website eigentlich?
Bei der Beschäftigung mit Crawl-Budget und Logfile-Analysen ist mir bewusst geworden, wie entscheidend diese Frage sein kann. Gerade wenn ich an die Herausforderungen aus meiner täglichen SEO-Arbeit denke, muss ich anmerken, dass eine technisch erreichbare URL noch lange keine gut eingebundene Seite ist.
Eine Sitemap kann Google mitteilen, dass eine URL existiert. Aber was sagt sie darüber aus, wie diese Seite zur übrigen Website gehört? Welche Bedeutung sie innerhalb eines Themenbereichs oder Clusters besitzt? Über welche Wege Nutzer sie entdecken können? Und warum Google sie möglicherweise häufiger berücksichtigen sollte als andere Seiten?
Erstaunlich wenig.
Genau deshalb halte ich eine durchdachte Informationsarchitektur und die interne Verlinkung für zwei der wichtigsten, aber häufig unterschätzten, Bereiche der Technischen SEO.
Eine Sitemap allein ist noch keine Websitearchitektur
Nehmen wir als Beispiel einen Onlineshop mit 600.000 aktiven Produktseiten. Sämtliche URLs sind in einer XML-Sitemap enthalten. Die Sitemap ist aktuell, enthält die gewünschten kanonischen URLs und kann von Google problemlos abgerufen werden.
Auf den ersten Blick scheint damit alles in Ordnung zu sein.
Jetzt analysiere ich allerdings die tatsächlichen Googlebot-Requests und stelle fest, dass ein erheblicher Teil der Produktseiten innerhalb der vergangenen 30 Tage überhaupt nicht gecrawlt wurde.
Die naheliegende Frage lautet: Warum?
Schließlich kennt Google die URLs doch bereits. Zumindest habe ich sie über die Sitemap bereitgestellt.
Das ist der Punkt, an dem man sich von einer verbreiteten Vorstellung verabschieden muss. Die XML-Sitemap ist keine Aufforderung, sämtliche dort enthaltenen Seiten zwangsläufig zu crawlen oder gar zu indexieren. Sie ist ein Hinweis auf die Existenz von URLs und kann Suchmaschinen bei deren Entdeckung unterstützen.
Google erklärt in seiner Dokumentation zu Sitemaps ausdrücklich, dass gut intern verlinkte Seiten in der Regel auch ohne Sitemap gefunden werden können. Umgekehrt garantiert eine Sitemap nicht, dass jede enthaltene URL gecrawlt oder indexiert wird.
Das ist wichtig, weil es den eigentlichen Stellenwert einer Sitemap recht genau beschreibt. Eine Sitemap ergänzt die Websitearchitektur. Sie ersetzt sie nicht.
Wenn ich eine Produktseite ausschließlich über die Sitemap bekannt mache, innerhalb der Website aber praktisch keinen einfachen Weg zu ihr anbiete, bleibt eine entscheidende Frage unbeantwortet: Welche Rolle spielt diese Seite eigentlich in meinem gesamten Angebot?
Auffindbarkeit ist mehr als die Existenz einer URL
Um das Problem zu verstehen, lohnt sich ein Blick auf die Crawl-Tiefe.
Angenommen, ein bestimmtes Produkt ist über folgenden Weg erreichbar:
Startseite → Schuhe → Laufschuhe → Produkt
Eine andere Produktseite erreiche ich dagegen erst über eine wesentlich längere Navigationskette:
Startseite → Schuhe → Herren → Sport → Laufen → Laufschuhe → Seite 18 → Produkt
Beide Produkte können wirtschaftlich ähnlich bedeutend sein. Beide können über relevante Inhalte verfügen. Beide stehen in derselben XML-Sitemap.
Innerhalb der Website besitzen sie jedoch eine vollkommen unterschiedliche Stellung.
Die erste Produktseite ist relativ direkt erreichbar. Die zweite hängt an einer langen Kette von Kategorie- und Paginierungsseiten. Werden einzelne Glieder dieser Kette nicht zuverlässig gecrawlt oder fehlen dort die entsprechenden Links, kann die Auffindbarkeit zusätzlich leiden.
Nun wäre es falsch, daraus eine starre Regel abzuleiten, nach der jede wichtige Seite maximal drei Klicks von der Startseite entfernt sein muss. Google arbeitet nicht mit einer solchen universellen Drei-Klick-Grenze.
Die Crawl-Tiefe ist zunächst nur ein Indikator. Viel entscheidender ist, wie gut eine Seite tatsächlich intern verlinkt ist.
Eine Produktseite kann durchaus fünf Klicks von der Startseite entfernt liegen und trotzdem über zahlreiche thematisch relevante Links erreichbar sein. Vielleicht wird sie von mehreren Kategorien, einer Markenseite, einem Ratgeber und verwandten Produkten verlinkt.
Eine andere Seite liegt formal nur drei Klicks tief, erhält aber lediglich einen einzigen internen Link.
Welche der beiden Seiten ist innerhalb der Website sinnvoller eingebunden?
Für mich liegt die Antwort auf der Hand. Und genau deshalb sollte eine SEO-Analyse nicht bei der Crawl-Tiefe stehen bleiben.
Google beschreibt interne Links ausdrücklich als Instrument zur Entdeckung neuer Seiten und zur Einordnung ihrer Relevanz. Dabei spielen nicht nur die Verbindungen selbst eine Rolle, sondern auch ihre Ankertexte und der thematische Zusammenhang.
Die interne Verlinkung ist damit weit mehr als eine technische Voraussetzung für das Crawling. Sie gehört zur inhaltlichen Struktur einer Website.
Wenn die Pagination zum Problem wird
Besonders deutlich wird diese Herausforderung bei großen Produktkategorien.
Stellen wir uns eine Kategorie mit 110.000 Produkten vor. Die Produkte verteilen sich auf zahlreiche paginierte Seiten, und mit jeder weiteren Seite rücken bestimmte Artikel in der Navigationsstruktur weiter nach hinten.
Eine Pagination ist an sich überhaupt kein Problem. Im Gegenteil: Sie kann eine sinnvolle Möglichkeit sein, große Produktbestände für Nutzer und Suchmaschinen zugänglich zu machen.
Entscheidend ist allerdings ihre Umsetzung.
Wenn ich Seite 80 nur erreiche, indem ich mich nacheinander durch die vorherigen 79 Seiten bewege, schaffe ich eine unnötig lange Navigationskette. Wenn diese Seiten darüber hinaus nicht zuverlässig über normale HTML-Links erreichbar sind, verschärft sich das Problem.
Google empfiehlt in seinen Best Practices zur Paginierung, paginierte Seiten über crawlbare Links miteinander zu verbinden und ihnen eindeutige URLs zu geben.
Aber damit endet die Überlegung für mich nicht.
Vielleicht ist die Produktkategorie selbst viel zu groß und sollte sinnvoll untergliedert werden. Vielleicht existieren relevante Marken, Produkttypen oder Anwendungsbereiche, für die eigenständige Landingpages eine bessere Nutzerführung ermöglichen würden. Und vielleicht könnten verwandte Produkte oder thematische Übersichtsseiten zusätzliche interne Verlinkungen schaffen.
So geht es plötzlich nicht mehr nur darum, die Pagination technisch korrekt umzusetzen. Es geht um die Frage, ob die gesamte Informationsarchitektur noch zu Umfang und Charakter des Angebots passt.
Natürlich wäre es ebenso falsch, künstlich Hunderte Unterkategorien zu erzeugen, nur um die Crawl-Tiefe zu reduzieren. Eine sinnvolle Architektur entsteht nicht durch möglichst viele Verzeichnisse, sondern durch nachvollziehbare Beziehungen zwischen Inhalten.
Eine gute Kategorie muss für Nutzer einen erkennbaren Zweck erfüllen. Erst dann kann sie auch für Suchmaschinen eine überzeugende Rolle spielen.
Wenn JavaScript die Verlinkung unsichtbar macht
Ein ähnliches Problem kann bei einer ganz anderen technischen Umsetzung entstehen.
Nehmen wir eine Produktkategorie mit einer modernen Oberfläche. Zunächst werden 24 Produkte angezeigt. Über eine Schaltfläche mit der Beschriftung „Mehr Produkte laden“ kann der Nutzer weitere Artikel nachladen.
Aus Nutzersicht ist das durchaus sinnvoll. Die Seite bleibt übersichtlich, lädt schnell und bietet bei Bedarf weitere Produkte an.
Für die Technische SEO entsteht jedoch eine entscheidende Frage: Wie werden die zusätzlichen Produkte eigentlich zugänglich gemacht?
Vielleicht sind die Links bereits im gerenderten HTML vorhanden. Vielleicht existieren eigenständige, crawlbare URLs für weitere Produktgruppen. Dann kann die technische Umsetzung durchaus funktionieren.
Vielleicht werden die zusätzlichen Produktlinks aber erst erzeugt, wenn der Nutzer auf die Schaltfläche klickt oder erst auf der Seite nach unten scrollen muss.
Und genau hier beginnt das Problem.
Google kann JavaScript ausführen und gerenderte Inhalte auswerten. Daraus folgt jedoch nicht, dass Googlebot eine Website so bedient wie ein Mensch. Er klickt nicht zuverlässig auf Schaltflächen, um weitere Inhalte zu laden.
Google weist bei seinen Empfehlungen zum Lazy Loading ausdrücklich darauf hin, dass wichtige Inhalte nicht von Nutzerinteraktionen abhängig sein sollten. Für längere Inhaltsfolgen empfiehlt Google unter anderem eindeutige, dauerhaft erreichbare URLs und eine crawlbare Verlinkung.
Der entscheidende Unterschied liegt also nicht unbedingt darin, ob Google JavaScript rendern kann. Es geht darum, ob Google die Links zu den zusätzlichen Inhalten überhaupt erkennt und findet.
Eine Website kann technisch korrekt funktionieren, dem Nutzer sämtliche Produkte anzeigen und Google trotzdem nur einen Teil der internen Verlinkung anbieten.
Gerade diese Fälle finde ich interessant, weil sie häufig in der Praxis vorkommen und zeigen, wie schnell aus einer zunächst sinnvollen Entscheidung für die Benutzeroberfläche ein Problem der Auffindbarkeit werden kann.
Und auch hier rettet uns die XML-Sitemap nicht automatisch. Sie kann Google zwar die Produkt-URLs mitteilen, aber sie stellt nicht die fehlenden Verbindungen und Verlinkungen innerhalb der Website her.
Warum ich lieber die Architektur hinterfrage als einzelne URLs
Wenn ich bei einer Website mit Hunderttausenden Produkten feststelle, dass bestimmte Bereiche deutlich seltener gecrawlt werden, wäre es wenig sinnvoll, nun Seite für Seite nachzubessern. Die eigentliche Frage lautet, ob sich hinter diesem Verhalten der Suchmaschine ein systematisches Problem verbirgt.
Vielleicht stammen die schlecht erreichbaren Produkte überwiegend aus einer bestimmten Kategorie. Vielleicht verwenden sie alle dasselbe Template. Vielleicht entsteht ihre interne Verlinkung über eine fehlerhafte Pagination oder ein JavaScript-Modul. Vielleicht werden sie überhaupt nicht von passenden Übersichtsseiten verlinkt.
Dann muss ich nicht Tausende einzelne Produktseiten optimieren, sondern die Struktur verändern, durch die diese Seiten miteinander verbunden werden.
Das ist einer der wichtigsten Unterschiede zwischen der Optimierung einzelner Seiten und einer strategisch ausgerichteten Technischen SEO.
Eine Änderung an einem Template kann sich auf Zehntausende URLs auswirken. Eine zusätzliche, sinnvoll gestaltete Themenebene kann ganze Produktgruppen besser erschließen. Und eine konsequent durchdachte interne Verlinkung kann dafür sorgen, dass Seiten nicht mehr isoliert nebeneinander existieren, sondern in einen nachvollziehbaren Zusammenhang treten.
Dabei muss man nicht mal primär und ausschließlich an Suchmaschinen denken.
Ein Nutzer, der von einer Kategorie über eine passende Unterkategorie zu einem relevanten Produkt gelangt, profitiert ebenso von dieser durchdachten Struktur. Dasselbe gilt für jemanden, der über einen Ratgeber ein bestimmtes Produkt entdeckt oder von einer Produktseite aus sinnvolle Alternativen findet.
Eine gute interne Verlinkung verbindet schließlich nicht nur URLs, sondern auch Informationen, Themen und befriedigt Bedürfnisse.
Nicht jede Seite muss gleich wichtig sein
Bei all diesen Überlegungen darf man allerdings einen weiteren Punkt nicht vergessen: Nicht jede URL besitzt denselben Stellenwert.
Eine Website mit 600.000 Produktseiten wird kaum erreichen, dass alle Produkte gleich häufig gecrawlt werden. Das ist auch nicht zwangsläufig notwendig.
Manche Produkte sind besonders gefragt, verändern sich häufig oder besitzen eine hohe geschäftliche Bedeutung. Andere gehören zu einem langfristig stabilen Sortiment, werden selten verändert oder besitzen nur eine begrenzte Suchnachfrage.
Eine niedrigere Crawl-Frequenz ist deshalb nicht automatisch ein SEO‑Problem. Eine Seite kann bereits indexiert sein, obwohl Googlebot sie innerhalb eines bestimmten Analysezeitraums nicht erneut besucht hat.
Auch die Schlussfolgerung, dass eine Seite durch zusätzliche interne Links häufiger gecrawlt oder besser ranken wird, wäre zu einfach gedacht.
Interne Verlinkung ist ein wichtiger Faktor innerhalb eines komplexeren Systems. Sie verbessert die Möglichkeiten zur Entdeckung und hilft bei der Einordnung von Inhalten, garantiert aber keine bestimmte Crawl-Frequenz, Indexierung oder Rankingposition.
Gerade deshalb finde ich die Verbindung zur Logfile-Analyse so wichtig. Erst wenn ich nachvollziehen kann, welche URL-Gruppen tatsächlich gecrawlt werden und welche nicht, lässt sich untersuchen, ob die interne Struktur möglicherweise einen Teil dieses Verhaltens erklärt.
Ich würde dabei immer auch die Bedeutung der betroffenen Seiten berücksichtigen. Wenn ein Teil des Sortiments selten gecrawlt wird, aber seit Monaten unverändert ist und ohnehin nur wenig Suchnachfrage besitzt, muss ich daraus nicht zwingend ein Problem machen.
Wenn dagegen strategisch wichtige und regelmäßig aktualisierte Produktgruppen trotz sauberer technischer Voraussetzungen kaum Beachtung finden, lohnt sich die Untersuchung.
Technische SEO bedeutet auch, zwischen einer bloßen Auffälligkeit und einem tatsächlichen Handlungsbedarf unterscheiden zu können.
Gute Informationsarchitektur beginnt nicht bei Google
Je länger ich mich mit solchen Fragen beschäftige, desto deutlicher wird für mich, dass die besten SEO-Lösungen häufig schon vor der eigentlichen technischen Umsetzung beginnen.
Die Entscheidung, welche Kategorien eine Website benötigt, wie Produkte gruppiert werden, welche Themen eigene Landingpages verdienen und wie unterschiedliche Inhalte miteinander verknüpft werden, ist zunächst eine konzeptionelle Entscheidung.
Sie beeinflusst die Nutzerführung, die Pflege der Inhalte, die Skalierbarkeit und letztlich auch die Möglichkeiten der Suchmaschinen, die Website zu crawlen und zu erschließen.
Gerade bei größeren Websites kann das eine Herausforderung sein. Produktmanagement, Entwicklung, UX, Redaktion und SEO betrachten dieselbe Website häufig aus unterschiedlichen Perspektiven.
Was für die Benutzeroberfläche besonders elegant erscheint, muss nicht automatisch eine gute Lösung für die interne Verlinkung sein. Was aus technischer Sicht einfach umzusetzen ist, muss noch keine sinnvolle Informationsarchitektur ergeben. Und was aus SEO-Sicht vielversprechend wirkt, muss sich ebenso an tatsächlichen Nutzerbedürfnissen messen lassen.
Deshalb halte ich es für wichtig, diese Fragen nicht erst dann zu diskutieren, wenn eine Website längst gebaut wurde und die ersten Crawling-Probleme auftreten. Eine gute Informationsarchitektur sollte von Anfang an Teil der Konzeption sein.
Das bedeutet nicht, dass jede URL bis ins letzte Detail geplant werden muss. Es bedeutet vielmehr, dass ich mir frühzeitig Gedanken darüber mache, wie Inhalte miteinander verbunden werden sollen und welche Prinzipien auch dann noch funktionieren, wenn aus einigen Hundert Seiten eines Tages mehrere Hunderttausend werden.
Mein Fazit
Eine XML-Sitemap ist ein wichtiges Hilfsmittel. Gerade bei großen Websites kann sie Google dabei unterstützen, neue oder aktualisierte URLs zu entdecken. Sie ist aber keine Abkürzung zu einer guten Informationsarchitektur.
Wenn Seiten schlecht intern verlinkt sind, nur über lange Paginierungsketten erreicht werden können oder ihre Links erst durch Benutzerinteraktionen entstehen, wird eine vollständige Sitemap diese strukturellen Schwächen nicht einfach ausgleichen können.
Ich halte es deshalb für sinnvoll, bei auffälligen Crawling-Daten nicht sofort nach einer zusätzlichen technischen Einstellung zu suchen. Oft lohnt sich vielmehr ein genauer Blick auf die Architektur der Website selbst.
Wie gelangen Nutzer von einem Thema zum nächsten? Sind wichtige Inhalte sinnvoll miteinander verbunden? Gibt es Seiten, die innerhalb der Navigation praktisch keine Rolle spielen, obwohl sie für das Angebot von Bedeutung sind? Und spiegelt die interne Verlinkung überhaupt wider, wie ich meine Website inhaltlich verstanden wissen möchte?
Solche Fragen führen mich häufig weiter als die bloße Feststellung, dass eine URL in einer Sitemap vorhanden und technisch indexierbar ist.
Denn am Ende möchte ich nicht einfach möglichst viele URLs an Google übermitteln. Ich möchte eine Website schaffen, deren Inhalte sinnvoll organisiert, zuverlässig erreichbar und in ihrem Zusammenhang verständlich sind.
Eine Sitemap kann Google sagen, dass eine Seite existiert. Eine gute Websitearchitektur zeigt, wo sie hingehört und warum sie dort ihren Platz hat.
Weiterführende Quellen
Google Search Central: Was ist eine Sitemap?
Google Search Central: Link-Best-Practices für Google
Google Search Central: Best Practices für die Paginierung
Google Search Central: Probleme mit Lazy-Loading-Inhalten beheben
Google Search Central: Crawl-Budget optimieren
