Duplicate Content – wie er entsteht und was zu tun ist

Wer sich schon einmal mit Suchmaschinenoptimierung (SEO) auseinandergesetzt hat, stolpert früher oder später über den Begriff “Duplicate Content”. Doch was genau ist er, wie entsteht er und wie kann man ihn umgehen?

Definition und Arten von Duplicate Content

Der Begriff des “Duplicate Content” (engl. für “Doppelter Inhalt” oder “Inhalts-Duplikate”) beschreibt Website-Inhalte, die online mehrfach auffindbar sind. Der Begriff spielt vor allem im Bereich der Suchmaschinenoptimierung eine große Rolle.

Das Ziel von Suchmaschinen wie Google oder Bing ist es, für die Nutzer:innen vor allem das für die jeweilige Suchanfrage beste, passendste Suchergebnis auszuspielen, also jene Information, die dem Interesse und der Suchintention am nächsten kommt. Dabei wird einzigartiger (oder “unique”) Content grundsätzlich höher bewertet (und in den Suchergebnissen weiter oben angezeigt), da die Algorithmen diese Inhalte als hochwertiger einschätzen.

Da Duplicate Content auf mehreren Seiten verwendet wird, wird er als wenig spezifischer und nicht origineller Inhalt bewertet; deshalb wird er im Ranking schlechter bewertet.

Für die Zwecke der Suchmaschinenoptimierung unterscheidet man im Wesentlichen zwischen zwei Formen von Duplicate Content: interner (der sich meist leicht vermeiden lässt) und externer.

Interner Duplicate Content

Mit dem Begriff “interner Duplicate Content” sind Inhalte gemeint, die auf einer Website mehrfach vorkommen, also unter einer Domain mehr als einmal zu finden sind.

Interner Duplicate Content entsteht häufig durch strukturelle oder technische Probleme auf einer Website und ist dadurch in der Regel recht einfach zu beheben.

Einige gängige Gründe für internen Duplicate Content sind:

1. Identische Inhalte unter mehreren URL-Varianten: Unterschiedliche URLs können den gleichen Inhalt anzeigen, z.B. www.website.de, www.website.de/home, www.website.de/index.php. Durch die unterschiedlichen URLs interpretieren Suchmaschinen diese Varianten als unterschiedliche Seiten, obwohl sie identischen Inhalt haben. Das Problem lässt sich in der Regel leicht durch eine Weiterleitung oder den Einsatz des canonical-Tags lösen. Typische Fälle sind:
   1. Seiten mit HTTP und HTTPS: Wenn eine Website sowohl per HTTP als per HTTPS (also mit TLS-Verschlüsselung) erreichbar ist und keine Weiterleitung eingerichtet wurde, wird dies von den Suchalgorithmen als zwei getrennte Websites interpretiert. (Nicht über TLS abgesicherte Verbindungen sollten zudem inzwischen grundsätzlich vermieden werden – wenn personenbezogene Daten so verschickt werden, verstoßen Sie mit Ihrer Website gegen die DSGVO.)
   2. Session-IDs und Tracking-Parameter: URLs, die Session-IDs oder Tracking-Parameter enthalten, können dazu führen, dass identische Seiten mit verschiedenen URL-Varianten indexiert werden.
   3. Sortierungs- und Filteroptionen in Onlineshops: Vor allem Übersichtsseiten in Onlineshops können durch Sortier- oder Filteroptionen neue URLs erzeugen, die jedoch die gleichen Inhalte anzeigen. Bei dieser Variante ist in der Regel zu empfehlen, die betreffenden Seiten gar nicht in indexieren zu lassen.
2. Mehrsprachige Websites ohne klare Trennung: Existieren mehrere Sprachversionen einer Seite, müssen diese durch Hreflang-Tags oder andere geeignete Maßnahmen klar markiert und zueinander in Beziehung gesetzt werden, da sonst Duplicate Content entstehen kann.
3. Druckversionen oder Archiv-Seiten: Manche Websites erstellen spezielle Druckversionen einer Seite, die als Duplicate Content gewertet werden, wenn sie nicht richtig gekennzeichnet sind. Ähnlich verhält es sich mit Archiv-Seiten.

Externer Duplicate Content

Im Gegensatz zum internen verteilt sich “externer Duplicate Content” auf mehrere Domains. Doch wie kann doppelter Inhalt auf mehreren Domains entstehen? Hier muss man zunächst prüfen, ob das Problem selbst verursacht wurde oder durch jemand anderen.

Ursachen für externen Duplicate Content können sein:

1. Produktbeschreibungen in Onlineshops: Nutzen E-Commerce-Websites ohne Veränderung standardisierte Produktbeschreibungen, die von Herstellern geliefert werden, entsteht möglicherweise externer Duplicate Content. Dies kann natürlich auch auftreten, wenn Sie selbst externe Online-Marktplätze nutzen, um Ihre Produkte anzubieten.
2. Pressemitteilungen und News: Werden Pressemitteilungen oder Unternehmens-News von verschiedenen Medien oder Plattformen wortwörtlich übernommen und auf deren Websites indexiert, entsteht identischer Inhalt auf verschiedenen Seiten.
3. Affiliate-Websites: Affiliates nutzen zur Bewerbung von Produkten oft identische oder sehr ähnliche Texte. Dies führt dazu, dass es verschiedene Seiten mit doppelten Inhalten gibt. 
4. Unterschiedliche Länderdomains: Betreibt ein Unternehmen mehrere Länderdomains, kann es zu Duplicate Content kommen, wenn die Seiten nicht über hreflang-Tags klar markiert sind. Besonders ärgerlich ist dieses Problem, wenn Länder mit unterschiedlichen Länderdomains (ccTLD – country code top level domains) die gleichen Sprachen nutzen – zum Beispiel Deutschland, Österreich und Teile der Schweiz oder Frankreich und Teile von Belgien. (Hier ist es wichtig, eine klare SEO- und Domainstrategie auszuarbeiten.)
5. Content-Scraping und Plagiate: Nicht jeder externe Duplicate Content entsteht unbewusst. Auch das Kopieren und die Verwendung von Content ohne Erlaubnis führt dazu, dass gleiche Inhalte auf verschiedenen Domains indexiert werden. 

Welche doppelten Inhalte sind kein Duplicate Content?

Nicht jeder identische oder ähnliche Inhalt auf Websites wird als Duplicate Content gewertet. Suchmaschinen unterscheiden hier zwischen echten doppelten Inhalten und für einen bestimmten Zweck optimierte Inhalte. Bei folgenden Fällen handelt es sich nicht um Duplicate Content:

1. Übersetzungen: Wurden eigene Webseiten mit demselben Inhalt in andere Sprachen übersetzt, handelt es sich hierbei eigentlich nicht um Duplicate Content. Allerdings muss dies auch technisch klar markiert und beschrieben werden, damit die Suchalgorithmen diese Verbindung zuverlässig erkennen.
2. Wiederkehrende Website-Elemente: Jede Website besitzt Elemente, die sich auf verschiedenen Seiten wiederholen (Header, Navigation, Footer, Teaser). Diese werden nicht als Duplicate Content gewertet.
3. Zitate: Werden im laufenden Text kurze Zitate oder Verweise auf andere Inhalte verwendet, werden diese nicht als Duplicate Content betrachtet, solange sie im Kontext verwendet werden und nicht den Großteil des Inhaltes ausmachen. (Links zu den Originalquellen sind dabei für die Algorithmen hilfreich, den Zitatcharakter zuverlässig sichtbar zu machen.)
4. Gleiche Inhalte mit geändertem Fokus: Gibt es thematische Überschneidungen von verschiedenen Seiten, der Inhalt wird jedoch auf die geänderte Zielgruppe angepasst, wird dies ebenfalls nicht als Duplicate Content gewertet.
5. Kategorie-Seiten oder Navigationshilfen: Dient eine Seite als Navigationshilfe, weil sie z.B. verschiedene Inhalte kurz zusammengefasst und auf den vollständigen Inhalt verlinkt (z.B. Blog) wird nicht von doppeltem Inhalt ausgegangen. Allerdings kann es dennoch sinnvoll sein, solche Übersichtsseiten nicht indexieren zu lassen.
6. “noindex”-Tags: Der “noindex”-Tag gibt den Suchmaschinen-Bots die Anweisung, die markierte Seite nicht in den Suchergebnissen zu indexieren. Alle mit diesem Tag beschriebene Seiten werden nicht indexiert und führen demnach nicht zu Problemen bei doppelten Inhalten.

Auswirkungen von Duplicate Content auf SEO

Duplicate Content wird von den Algorithmen der großen Suchmaschinen schlechter bewertet als einzigartige Inhalte. Der Grund dafür ist leicht verständlich: “Unique content”, den man nirgends sonst findet, wurde vermutlich eigens erarbeitet und beinhaltet im Zweifel Informationen oder wenigstens Schwerpunkte, die anderswo nicht zu finden sind.

Was mehrfach im Netz zu finden ist, wird hingegen tendenziell als weniger originell bewertet, gewissermaßen Allgemeinwissen ohne besondere Relevanz.

Es gilt aus SEO-Sicht also, Duplicate Content so weit wie möglich zu vermeiden und stattdessen auf einzigartigen Content zu setzen, der Nutzer:innen einen echten Mehrwert bietet.

Strategien zur Vermeidung und Behebung von Duplicate Content

Die Gründe für Duplicate Content sind, wie oben beschrieben, durchaus vielfältig. Gerade auf großen Websites können Duplikate auch durchaus versehentlich entstehen, die man ohne SEO-Check gar nicht unbedingt erkennt oder entdeckt.

Mit einigen Strategien lässt sich Duplicate Content jedoch vermeiden oder wenigstens reduzieren.

Content-Strategie und -Verwaltung

Eine klare und strukturierte Content-Strategie sowie eine sorgfältige Content-Verwaltung sind der beste Weg, um vor allem internen Duplicate Content zu vermeiden.

Hilfreich ist es dabei zum Beispiel, wenn die Planung und Erstellung von Inhalten entweder zentral organisiert wird oder eine enge Abstimmung zwischen allen Stakeholdern stattfindet. So werden Dopplungen bereits im Ansatz vermieden – und man spart sich zugleich auch einige Arbeitsgänge.

Durch einen Content-Audit wird bestehender Content analysiert und unter anderem überprüft, ob es ähnliche Inhalte auf der Website gibt, die von Suchmaschinen als problematisch bewertet werden könnten. Regelmäßig durchgeführte Content-Audits können also auch doppelte Inhalte identifizieren.

Auf der Basis eines Content-Audit kann dann auch die weitere redaktionelle Planung neuer Inhalte besser gelingen. Ein Redaktionsplan stellt sicher, dass nur einzigartige und für die Zielgruppe passende neue Inhalte veröffentlicht werden.

Canonical Tags

Der einfachste Weg, um Duplikate zu kennzeichnen, ist durch die Verwendung eines Canonical Tags. Oft verweisen verschiedene URLs auf dieselbe Seite, was hinsichtlich Duplicate Content problematisch ist. Das kann zum Beispiel durch Filterattribute oder andere in der URL übergebene Informationen passieren. (Wenn beispiel.tld/produkte/streuselkuchen/ und beispiel.tld/produkte/streuselkuchen/?filter=streuselkuchen etwa identische Inhalte produzieren.)

Eine sogenannte “kanonische URL” markiert dann, welche der vorhandenen URLs in den Index aufgenommen werden soll und also als “kanonisches” Original gewertet werden soll. 

Dafür muss im HTML-Code jeder Seite, auf der der Inhalt dupliziert ist, ein Canonical Tag eingebunden sein.

Eingebunden wird die kanonische URL durch das Attribut “rel=”canonical”” im Headerbereich der Website. Konkret hieße das zum Beispiel, dass im Code der Seite unter beispiel.tld/produkte/streuselkuchen/?filter=streuselkuchen zu finden sein müsste: <link rel=”canonical” href=”https://beispiel.tld/produkte/streuselkuchen/>. https://beispiel.tld/produkte/streuselkuchen/ wird so die “kanonische” URL, die in den Index aufgenommen wird. 

Die gute Nachricht: Der Canonical Tags kann bei vielen Content Management Systemen direkt im CMS angepasst werden, ohne dass Erfahrung im Umgang mit HTML-Code nötig ist. In der Google Search Console lässt sich überprüfen, ob der Canonical-Verweis korrekt funktioniert.

Weiterleitungen/301 Redirects

301-Weiterleitungen können bei bestimmten Arten von Duplicate Content hilfreich sein. Ist eine Website über mehrere Subdomains erreichbar oder wurde eine bereits indexierte Seite gelöscht, kann man durch diese Weiterleitung Rankingverluste begrenzen.

Aus technischer Sicht übermittelt eine 301-Weiterleitung den HTTP-Statuscode “301 Moved Permanently” (Dauerhaft verschoben). Sobald eine URL mit Weiterleitung aufgerufen wird, werden Nutzer:innen auf die neue Ziel-URL weitergeleitet.

Bei gelöschten Seiten landen die Nutzer:innen somit nicht auf einer 404-Fehlerseite, sondern auf der gewünschten Ressource (bzw. ihrer Nachfolge-Seite).

Weiterleitungen werden insbesondere aber auch genutzt, um für ganze Websites http-Anfragen auf https-Anfragen umzuleiten (also den Aufruf mit TLS sicherzustellen) oder zu vereinheitlichen, ob eine Website mit oder ohne “www.” vor dem Domainnamen aufgerufen wird.

Es gibt mehrere Möglichkeiten, 301-Weiterleitungen einzurichten. Möglich ist dies entweder direkt auf dem Webserver oder in der .htaccess-Datei.

hreflang-Tags

Liegen Inhalte oder ganze Websites in mehreren Sprachen und/oder Länderversionen vor, empfiehlt sich die Verwendung des “hreflang”-Tags. “Hreflang” ist ein HTML-Attribut, das benutzt wird, um Inhalte zu markieren, die für mehrere Sprachen oder Regionen vorliegen. Der “hreflang”-Tag hilft Suchmaschinen also dabei, Nutzer:innen die korrekte Sprache und Länderversion in den Suchergebnissen auszuspielen.

Wird beispielsweise von Nutzer:innen in Deutschland eine Suchanfrage auf Deutsch gestellt, soll idealerweise auch nur Content in deutscher Sprache ausgespielt werden.

Zum Beispiel könnte auf der Seite beispiel.tld/produkte/streuselkuchen/ ein hreflang-Tag im HTML-Kopf auf en.beispiel.tld/products/streuselcake/ verweisen: 

<link rel="alternate" hreflang="en" href="en.beispiel.tld/products/streuselcake/" /> (Der entsprechende Rückverweis wäre dann <link rel="alternate" hreflang="de" href="beispiel.tld/produkte/streuselkuchen/" />).

Aus SEO-Sicht ist der hreflang-Tag in drei Punkten nützlich:

1. Google erkennt die verschiedenen Sprachen und es entsteht kein Duplicate Content.
2. Es wird vermieden, dass viele Nutzer:innen die Website sofort wieder verlassen, weil sie Inhalte so angezeigt bekommen, wie es für sie optimal ist. Das steigert die Website-Performance.
3. Kund:innen bekommen die für sie passenden Produkte in der richtigen Sprache, mit den richtigen Preisen und Versandkosten angezeigt. Dies verbessert das Nutzererlebnis.

Es gibt zahlreiche Tools, mit denen sich korrekte hreflang-Tags generieren oder auch hreflang-Tags validieren lassen.

noindex

Damit die Inhalte einer Webseite in den Suchergebnissen von Google auftauchen, muss die Seite gecrawlt und anschließend indexiert werden. Durch die Verwendung des Meta-Tags “noindex” wird der Suchmaschine mitgeteilt, dass sie diese spezifische Seite zwar lesen, aber den Inhalt nicht in die Suchergebnisse aufnehmen soll. SEO-Fachleute setzen daher oft auf den “noindex”-Tag, denn gibt es Seiten mit Duplicate Content, so können diese aus der Suche ausgeschlossen und somit Abstrafungen seitens Google vorgebeugt werden.

In folgenden Situationen kann es sinnvoll sein, eine Seite nicht indexieren zu lassen und dafür den “noindex”-Tag zu verwenden:

1. Interne Suchergebnisseiten: Oft führen interne Suchen zu nicht relevanten Informationen und können zu Duplicate Content führen. Der “noindex”-Tag stellt sicher, dass diese Seiten nicht in den Suchergebnissen auftauchen.
2. Unwichtige oder temporäre Seiten: “Danke”-Seiten, Testseiten oder Bestätigungsseiten nach Absenden eines Formulars bieten keinen Mehrwert und sollten daher nicht indexiert werden.
3. Login- und Profilseiten: Seiten, die nicht öffentlich zugänglich sind (z.B. Account-Seiten) sollten nicht in den Suchergebnissen auftauchen, da sie keinen Mehrwert für die Allgemeinheit bieten.
4. Archivseiten: Seiten, die zur (internen) Dokumentation dienen und keine aktuellen Inhalte aufweisen, sollten ebenfalls aus der Suche ausgeschlossen werden.

Fazit

Duplicate Content kann für die SEO einer Website zum echten Problem werden, sowohl intern als auch extern. Sei es durch technische Fehler, Probleme in der Seitenstruktur oder durch das Kopieren von Texten – wenn identische Inhalte auf mehreren Websites erscheinen, können Suchmaschinen nur schwer das Original bestimmen, wodurch betroffene Seiten Rankings verlieren und damit organischen Traffic und Sichtbarkeit einbüßen. 

Suchmaschinenanbieter wie Google zielen darauf ab, Nutzer:innen einzigartigen und relevanten Content auszuspielen. Stoßen die Crawler dabei immer wieder auf doppelte Inhalte, wird die Website als nicht hochwertig wahrgenommen, obwohl die Inhalte, die vorhanden sind, gut und nützlich sein können. Durch die Vermeidung von Duplicate Content und die Berücksichtigung sauberer redaktioneller Arbeitsweisen und einiger technischer Aspekte wird nicht nur die Struktur der Seite verbessert, auch Suchmaschinen erkennen und berücksichtigen den einzigartigen Mehrwert der Seite.

Am Ende sollte jedoch neben allen Bemühungen im Bereich SEO nicht nur Content für Suchmaschinen erstellt werden, sondern einzigartiger Content für die Nutzer:innen der Seite. Durch die kontinuierliche Verbesserung der Website und der Bereitstellung relevanter Inhalte steigert sich langfristig die Nutzerzufriedenheit und damit auch das Vertrauen in die Seite. Und sind diese Punkte gegeben, folgen gute Rankings von ganz alleine.