Angemeldet bleiben
Passwort vergessen?
Jetzt registrieren!
logo
  • Events
    • OMT 2024
      Online Marketing Wissen auf das nächste Level heben!
    • OMT-Toolkonferenz
      Die kostenfreie Toolkonferenz für Toolanbieter
    • Agency Day
      Der Treffpunkt für Agenturinhaber
    • OMT-Clubtreffen
      OMT-Clubtreffen in ganz Deutschland
    • Eventrezensionen
      Die wichtigsten Konferenzen 2023 mit Rezensionen
  • Lernen
    • Seminare
      Lerne von den Besten mit unseren Hybrid-Seminaren
      • Online Marketing Seminar
      • SEO Seminar
      • SEO Seminar für Fortgeschrittene
      • Local SEO Seminar
      • Linkbuilding Seminar
      • Social Media Seminar
      • LinkedIn Seminar
      • Facebook und Instagram Ads Seminar
      • Leadgenerierung im digitalen Zeitalter
      • Google Ads Seminar
      • LinkedIn Ads Seminar
      • LinkedIn Advertising (Ads) Seminar für Fortgeschrittene
      • Advanced Content Marketing Seminar
      • Copywriting Seminar
      • Google Analytics Seminar
      • KNIME Seminar
      • Onpage SEO Seminar
      • Google Search Console Seminar
      • Matomo Seminar (Google Analytics Alternative)
      • WordPress Seminar
      • Amazon Seminar
      • Gendergerechte Sprache Seminar
      • Amazon Marketing Basics Seminar
      • Amazon SEO Seminar
      • Amazon PPC Seminar
      • Amazon DSP Seminar
    • Magazin
      Online Marketing Artikel von Experten
    • Webinare
      Kostenlose Online Marketing Webinare: Termine & Mediathek
      • Affiliate Marketing Webinare
      • Content Marketing Webinare
      • Facebook Ads Webinare
      • Google Ads Webinare
      • Google Analytics Webinare
      • SEO Webinare
      • Social Media Webinare
    • Podcast
      Geballtes Online Marketing Wissen für die Ohren
      • E-Mail Marketing Podcasts
      • Google Ads Podcasts
      • Inbound Marketing Podcasts
      • Influencer Marketing Podcasts
      • Marketing Podcasts
      • Performance Marketing Podcasts
      • Suchmaschinenmarketing Podcasts
      • Social Media Podcasts
      • SEO Podcasts
    • Speaker Academy
      Der Speaker Workshop mit Bane Katic
  • Downloads
    • Templates
      Kostenlose Templates & Vorlagen
      • YouTube Templates
      • LinkedIn Templates
      • Instagram Templates
      • E-Mail Templates
    • eBooks
      Große Auswahl an kostenfreien Ebooks
    • (Print-)Magazin
      Alle OMT-Magazinausgaben zum Download
    • Leadmagneten
      Auswahl aller OMT-Leadmagnenten
    • Studentenarbeiten
      Studentenarbeiten zum Thema Online Marketing
    • Toolvergleiche
      Kostenfreie Tool- und Softwarevergleiche
  • Services
    • Freelancervermittlung
      Finde die passenden Freelancer für Dein Projekt
    • SEO Check
      Kostenlose Quick-Analyse Deiner Website
  • Tools
    • Agentursoftware
    • Backlink Checker
    • Chatbot-Anbieter
    • CRM-Systeme
    • Event-Management-Software
    • Fulfillment Dienstleister
    • Keyword Recherche Tools
  • Talentpool
  • Agenturfinder
    • Top Kategorien
    • SEO Agentur
    • SEA Agentur
    • Google Ads Agentur
    • Social Media Agentur
    • Content Agentur
    • Webdesign Agentur
    • Online Marketing Agentur
    • E-Commerce Agentur
    • Webanalyse Agentur
    • Performance Marketing Agentur
    • Affiliate Marketing Agentur
    • Weitere Kategorien
    • Amazon Agentur
    • Amazon PPC Agentur
    • App Entwicklung Agentur
    • Augmented Reality Agentur
    • B2B Marketing Agentur
    • B2C Agentur
    • Blockchain Agentur
    • Brand Agentur
    • Chatbot Agentur
    • CMS Agentur
    • Contao Agentur
    • Content Marketing Agentur
    • Copywriting Agentur
    • Corporate Design Agentur
    • Corporate Identity Agentur
    • CRM Agentur
    • CRO Agentur
    • Design Agentur
    • Design Thinking Agentur
    • Digitalagentur
    • Digitale Kommunikation Agentur
    • Drupal Agentur
    • E-Mail-Agentur
    • Employer Branding Agentur
    • Event Agentur
    • Facebook Marketing Agentur
    • Full Service Agentur
    • Gamification Agentur
    • Ghostwriting Agentur
    • Growth Hacking Agentur
    • Growth Marketing Agentur
    • Guerilla Marketing Agentur
    • Hybrid App Agentur
    • Illustratoren Agentur
    • Inbound Marketing Agentur
    • Influencer Marketing Agentur
    • Instagram Agentur
    • Internetagentur
    • iOS Agentur
    • Joomla Agentur
    • KI Agentur
    • Leadgenerierung Agentur
    • Linkbuilding Agentur
    • LinkedIn Ads Agentur
    • LinkedIn Agentur
    • Local SEO Agentur
    • Logo Design Agentur
    • Magento Agentur
    • Markenpositionierung Agentur
    • Marketing Agentur
    • Marktforschung Agentur
    • Mobile Marketing Agentur
    • Mobile SEO Agentur
    • Neuromarketing Agentur
    • Online Werbung Agentur
    • Podcast Agentur
    • PR Agentur
    • Print Agentur
    • Produktdesign Agentur
    • Programmatic Advertising Agentur
    • Programmierung Agentur
    • Prototyping Agentur
    • Rebranding Agentur
    • Remarketing Agentur
    • Sales Agentur
    • Salesforce Agentur
    • Shopify Agentur
    • Shopware Agentur
    • Social Selling Agentur
    • Softwareentwicklung Agentur
    • Storytelling Agentur
    • Suchmaschinenmarketing Agentur
    • Telemarketing Agentur
    • TikTok Agentur
    • Typo3 Agentur
    • Usability Agentur
    • UX Agentur
    • Video Agentur
    • Viral Marketing Agentur
    • Virtual Reality Agentur
    • Webagentur
    • Webentwicklung Agentur
    • Webshop Agentur
    • WordPress-Agentur
Club-Login

    Inhaltsverzeichnis:

  • Noindex – und weg mit der Seite
  • Nofollow sagt adieu!
  • Das Aus für den Crawl-Delay
  • Fazit
Bye, bye noindex, nofollow und crawl-delay – robots.txt wird revolutioniert!

Bye, bye noindex, nofollow und crawl-delay – robots.txt wird revolutioniert!

Lesezeit: 7 Min | Autor: Markus Fritzsche |

Teile den Artikel

Google stellt die Beachtung der Einträge in der robots.txt neu auf. Seit mehr als 25 Jahren gehört die robots.txt zum Inventar und wurde kaum umgestellt. Dies hat jetzt ein Ende. Google beachtet seit dem 01. September 2019 drei Einträge in der robots.txt nicht mehr.

  • noindex
  • nofollow
  • crawl-delay

Die Verwendung der genannten drei Punkte über die robots.txt fällt zwar weg, kann aber über andere Wege implementiert und verwendet werden. Welche das sind, zeige ich Dir in diesem Artikel.

NEU ❗ OMT-Magazin - Ausgabe #17 - JETZT ONLINE
110 Seiten geballtes Online Marketing-Wissen
NEU ❗ OMT-Magazin - Ausgabe #17 - JETZT ONLINE

110 Seiten geballtes Online Marketing Wissen ❗ 13 Experten beteiligt ✓ SEO ✓ Social Media Marketing ✓ WordPress ✓ uvm.

Mehr Infos! Jetzt bestellen!

Noindex – und weg mit der Seite

Im Rahmen der Suchmaschinenoptimierung gibt es immer mal wieder Seiten, Parameter, oder auch Dateiendungen, die nichts im Index zu suchen haben. Über die robots.txt kann hier über ein „Disallow:“ –Statement angegeben werden, was nicht indexiert werden soll. Zudem gibt es noch die drei genannten Tags, die auch häufig genutzt werden und auch funktionieren. Diese Art und Weise ist/war sehr praktikabel, gerade dann, wenn eine komplette Webseite aus dem Index verschwinden sollte. Wer kein CMS nutzt, in dem es eine Funktion zum Ausschluss der Bots gibt, muss alles über die robots.txt lösen. Doch mit der Umstellung wird dies etwas aufwändiger.

Einbindung des noindex Parameters über den <head>-Bereich

Da seit dem 01. September 2019 nicht mehr der Ausschluss über die robots.txt erfolgen kann, gibt es die Möglichkeit zur Einbindung des noindex-Tags über den Header der Webseite. Zunächst muss geklärt werden, was alles vom Index ausgeschlossen werden soll. Wenn die gesamte Webseite aus dem Index gestrichen werden soll, musst Du im <head>-Bereich Deiner Webseite pauschal folgende Eintragung machen: <meta name=”robots” content=”noindex” />. Solltest Du aber nur einzelne Unterseiten aussperren, dann ist es nötig, über z. B. PHP-Abfragen die gewünschte Seite ausfindig zu machen und darauf das genannte Tag zeigen lassen. Am einfachsten geht es natürlich, wenn Du ein CMS  verwendest. In den Content-Management-Systemen gibt es die Möglichkeit, Seiten einzeln zu markieren, die von der Indexierung ausgeschlossen werden sollen.

Noindex über den X-Robots-Tag-HTTP-Header

Du hast auch die Möglichkeit Deine Seite über den X-Robots-Tag im HTTP-Header mit noindex zu versorgen. Jede Anweisung, die Du über den Head-Bereich machst, kannst Du auch mit dieser Variante erledigen. Hierzu musst Du Einstellungen an Deiner header.php vornehmen. Damit die Seite aus dem Index entfernt wird, muss folgende Anweisung in Deiner header.php eingetragen werden: header(“X-Robots-Tag: noindex”, true);

Wenn Du allerdings auch möchtest, dass allen Links nicht gefolgt wird, dann sieht die Anweisung folgendermaßen aus: header(“X-Robots-Tag: noindex, nofollow”, true);

Ausschluss von Dateiendungen über den X-Robots-Tag in der .htaccess

Damit Du auch weiterhin Dateiendungen aus dem Index halten kannst, was Du ja bisher über ein Disallow in der robots.txt gemacht hast, gibt es hierfür auch eine praktikable Lösung. Die Lösung bietet hier die .htaccess auf Deinem Apache- oder NGINX-Server. Du hast die Möglichkeit eine Dateiendung oder aber in einem Statement sogar mehrere Dateiendungen vom Index auszuschließen. Die Anweisung zum Ausschluss von .pdf-Dateien lautet wie folgt:

 

titlebox-logo

Lösung für Apache (.pdf)

<FilesMatch “.pdf$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

Damit nun weitere Dateiendungen aus dem Index verschwinden können, kann ganz einfach mithilfe einer Pipe „|“ die Liste beliebig erweitert werden. Sollten nicht nur .pdf-Dateien, sondern auch Dateien der Endungen docx, xlsx, png aus dem Index gelöscht werden, dann muss folgendes Codesnippet in der .htaccess untergebracht werden:

titlebox-logo

Lösung für Apache (merhere Dateiendungen)

<FilesMatch “.(pdf|docx|xlsx|png|jpg)$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

[magazin_teaser]

 

Für NGINX-Server gibt es auch eine Lösung:

location ~* \.(pdf|docx|png)$ {

add_header  X-Robots-Tag “noindex, noarchive, nosnippet”;

}

Entfernen von URLs mit Hilfe der Google Search Console

Wenn Du nicht weißt, wie Du das alles umsetzen sollst, kannst Du auch über die Google Search Console gehen und die gewünschten URLs aus dem Index manövrieren. Die Funktion zur Entfernung von URLs aus dem Index ist momentan noch in der alten GSC vorhanden. Hierzu gehst Du auf den Punkt Google Index → URLs entfernen und klickst auf „Vorübergehend ausblenden“.

robots-urls-entfernen-gsc

Mit Hilfe der Google Search Console lassen sich auf einfache Art und Weise URLs aus dem Index entfernen.

 

Diese Einstellung unterdrückt nur eine gewisse Zeit die Seite für den Index. Dennoch ist diese praktikabel und sollte zumindest so lange verwendet werden, bis Du Dich endgültig dazu entschieden hast, was mit einer Seite geschehen soll. Wenn Du die Unterseite die entfernt werden soll, endgültig abstellst, leite diese URL bitte auf eine passende andere weiter. Solltest Du keine passende Kategorie dafür haben, dann kannst Du diese URL auch auf die Startseite per 301-Weiterleitung umleiten.

Weitere Informationen zu Redirects findest Du hier!

Nofollow sagt adieu!

Neben noindex wird auch nofollow nicht mehr über die robots.txt zur Anwendung kommen. Aber auch hier gibt es dank dem Meta-Robots-Tag und dem X-Robot-Tag im http-Header Abhilfe. Nofollow dient dazu, dass die nachfolgenden Links nicht von der Suchmaschine gefolgt und weiter erfasst werden sollen.

Nofollow im <head>-Bereich

Die Einbindung von nofollow über den <head>-Bereich einer Seite ist recht einfach. Hierzu muss nur der folgende Meta-Robots-Tag eingefügt werden:

<meta name=”robots” content=”nofollow” />.

Nofollow im http-Header

Eine weitere Möglichkeit zu Einbindung von nofollow, nach der Umstellung der robots.txt, ist die Zugabe des Parameters in den http-Header. Um die nofollow-Einstellung einzubinden, musst Du die Datei öffnen, in der sich Dein <head>-Bereich befindet. Bei den meisten Systemen gibt es hierfür die header.php. In dieser Datei platzierst Du wie schon weiter oben beschrieben den nachfolgenden Tag:

header(“X-Robots-Tag: nofollow”, true);

Das Aus für den Crawl-Delay

Der Crawl-Delay ist eine Erweiterung, die von Microsoft und Yahoo ins Leben gerufen wurde. Die Anweisung sollte dazu dienen, wie oft der Crawler eine Webseite besuchen soll. Wenn der Crawl-Delay auf 60 eingestellt wurde, bedeutet dies, dass alle 60 Sekunden der Bot vorbeikommen soll und eine Seite zur Indexierung mitnehmen soll. Wichtig ist hierbei zu beachten, dass bei einem Crawl-Delay von 60 maximal 1.440 Seiten pro Tag indexiert werden können. Bei Webseiten, die mehrere Tausend Einträge haben musste hier ein kleinerer Wert gewählt werden, damit die SERPs immer aktuell bleiben.

Die 11 größten Inhouse-SEO-Fehler
Ebook
Die 11 größten Inhouse-SEO-Fehler

Mit dem eBook “Die 11 größten Inhouse-SEO-Fehler” erfährst Du, wie man die häufigsten SEO-Irrtürmer erkennt und vermeidet und wie Du Top-Rankings erreichst. Zudem werden Dir Tipps und Tricks aus langjähriger Ag...

Details

Fazit

Nach einem Vierteljahrhundert wird das Internet nicht neu erfunden, dafür aber veraltete Zöpfe abgeschnitten. Die Verwendung von noindex und nofollow wird heute in den meisten Fällen direkt über den <head>-Bereich der Webseite gelöst. Arbeitet in der robots.txt mit dem bekannten „Disallow“-Parameter zum Ausschluss von Verzeichnissen, Seiten, oder auch Parametern.

Zudem könnt Ihr auch über die robots.txt Dateiendungen ausschließen. Mit Disallow: /*.pdf$, oder Disallow: /*.xlsx$ kannst Du beispielsweise PDF- oder Excel-Dateien aus dem Index befördern. Die Anweisungen kannst Du für jegliche Dateiendungen verwenden, die ausgeschlossen werden sollen. Mache Dir hier genau Gedanken, welche Dateitypen Du auf Deiner Webseite hast und welche Du in den Index befördern möchtest. Ich rate Dir dazu, PDF-Dateien immer aus dem Index auszusperren, da Du Dir hier in den meisten Fällen Duplicate Content schaffst.

 

omt logo

Diesen Artikel jetzt als Podcast anhören

Jetzt anhören auf: Spotify | Apple Podcast | Google Podcast

Teile den Artikel
Wie ist Deine Meinung zu dem Thema? Wir freuen uns über Deinen

Diesen Artikel bewerten

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne 1 Stimmen, Bewertung: 2,00 von 5)

Willst Du im Online Marketing besser werden?

Mit unserem Newsletter schicken wir Dir regelmäßig unsere neusten Webinare und Magazinartikel zu den unterschiedlichen Online Marketing Themen. Mehr als 10.000 Abonnenten nutzen es bereits!

Markus Fritzsche

Markus Fritzsche

Markus Fritzsche ist Senior Technical SEO Manager bei der Liebscher & Bracht Schmerzfrei GmbH für Projekte, z. B. in den Suchmaschinen Google und Bing. Er ist ausgebildeter Fachinformatiker mit der Fachrichtung Anwendungsentwicklung und seit 2012 in der Online-Marketing-Branche tätig.

Dank seiner Ausbildung und seiner bisherigen Arbeitserfahrung konnte er sich einen Einblick in die verschiedensten CMS- und Shop-Systeme verschaffen und ist daher mit den Unwägbarkeiten, die ein System haben kann, bestens betraut.

Weitere interessante Artikel zum Thema:

SEO Reporting: Erfolge messbar machen mit den richtigen Metriken OMT Magazin

SEO Reporting: Erfolge messbar machen mit den richtigen Metriken Suchmaschinenoptimierung

Moritz Lehmann 16 Min

Das SEO Reporting hilft Dir dabei, die Leistungen Deiner Website in der Google Suche zu verstehen. Es ist unverzichtbar für erfolgreiche Suchmaschinenoptimierung. Mit Hilfe des SEO Reportings können...
Google Sitelinks – vernachlässigtes organisches Potenzial OMT Magazin

Google Sitelinks – vernachlässigtes organisches Potenzial

Suchmaschinenoptimierung

Simon Griesser 9 Min

SEO Manipulation – Der schädliche Einfluss von SEO(s) auf die Suche OMT Magazin

SEO Manipulation – Der schädliche Einfluss von SEO(s) auf die S...

Suchmaschinenoptimierung

Nele Hilgenstock 11 Min

Googles YMYL-Richtlinie: Geld oder Leben OMT Magazin

Googles YMYL-Richtlinie: Geld oder Leben

Suchmaschinenoptimierung

Igor Patalai 12 Min

Abonnieren
Benachrichtige mich bei
guest
guest
0 Comments
Inline Feedbacks
View all comments
https://www.reachx.de https://www.salesviewer.com/?utm_source=omt&utm_medium=partner&utm_campaign=omt-footer-partnerlink https://www.pure-host.de/ https://de.depositphotos.com/
Du bist hier: 
  • Home
  • »
  • Suchmaschinenoptimierung
  • »
  • Bye, bye noindex, nofollow und crawl-delay – robots.txt wird revolutioniert!

Alles über…

  • Affiliate Marketing
  • Amazon Marketing
  • Amazon SEO
  • Content Marketing
  • Conversion Optimierung
  • Digital Marketing
  • Direktmarketing
  • E-Commerce
  • E-Mail-Marketing
  • Facebook Ads
  • Google Analytics
  • Google Ads (SEA)
  • Google My Business
  • Growth Hacking
  • Inbound Marketing
  • Influencer Marketing
  • Internet Marketing
  • Linkbuilding
  • Local SEO
  • Marketing
  • Online Marketing
  • Performance Marketing
  • Pinterest Marketing
  • Podcast Marketing
  • Public Relations (PR)
  • Social Media Marketing
  • Suchmaschinenmarketing (SEM)
  • Suchmaschinenoptimierung
  • TikTok Marketing
  • Video-Marketing
  • Webanalyse
  • Webdesign
  • WordPress

Sonstiges

  • OMT Konferenz 2024
  • Toolkonferenz 2024
  • Agency Day 2024
  • OMT-Clubtreffen
  • Speaker Academy
  • SEO Check
  • Download-Center
  • kostenfreie Online Marketing-Ebooks
  • Studentenarbeiten
  • Templates
  • Online Marketing Trends 2023
  • Alle Experten des OMT
  • OMT-Club
  • OMT-Lexikon
  • Das OMT-Team
  • Jobs-Portal
  • Karriere beim OMT
  • Online Marketing Jobs
  • OMT-Botschafter
  • Newsletter

Rechtliches

  • AGB
  • Datenschutzerklärung
  • Impressum

OMT GmbH

Feldstraße 7
65719 Hofheim am Taunus
tel:06192 - 9626152
[email protected]
t

OMT-Bewertungen

https://www.omt.de/uploads/2021/01/OMT-Social-Bewertungen.png https://www.omt.de/uploads/2021/01/OMT-Google-Bewertungen.png https://www.omt.de/uploads/2021/01/OMT-Facebook-Bewertungen.png
wpDiscuz
0
0
Interessanter Artikel? Wir freuen uns über Deinen Kommentarx
()
x
| Antworten