Web Scraping und Web Crawling sind ein Pfeiler datengetriebener Analysen und natürlich des KI-Trainings. Unternehmen nutzen automatisierte Verfahren, um Preise zu beobachten, Markttrends zu analysieren, Bewertungen auszuwerten oder KI-Trainingsdatensätze zu aggregieren. Rechtlich ist das Thema komplex: Web Scraping berührt gleichzeitig das Urheberrecht, das Datenbankherstellerrecht, den Schutz technischer Maßnahmen, das Wettbewerbsrecht, das Vertragsrecht, das Strafrecht, das KI-Recht und – sobald personenbezogene Daten verarbeitet werden – das Datenschutzrecht. Dieser Beitrag gibt einen Überblick über die wesentlichen rechtlichen Anforderungen.
Urheberrecht: Nicht alles, was öffentlich ist, ist frei verwendbar
Öffentlich zugängliche Inhalte können urheberrechtlich geschützt sein (z.B. redaktionelle Texte, Produktbeschreibungen, Grafiken, Fotos oder Benutzeroberflächen). Schon das automatisierte Herunterladen einer Webseite kann eine rechtlich relevante Vervielfältigung darstellen. Ob und unter welchen Voraussetzungen gesetzliche Ausnahmen (insbesondere für Text und Data Mining) greifen, hängt von einer Reihe von Faktoren ab, die im Einzelfall sorgfältig geprüft werden müssen, z.B. ob ein – bei online verfügbaren Daten: maschinenlesbarer – Nutzungsvorbehalt erklärt wurde.
Die Materie ist komplex und in Teilen noch nicht abschließend durch Rechtsprechung geklärt. Wer ohne diese Prüfung scrapt, riskiert Unterlassungs- und Schadensersatzansprüche sowie potenziell strafrechtliche Konsequenzen.
Datenbankherstellerrecht: Investitionsschutz, der häufig übersehen wird
Neben dem Urheberrecht schützt das Datenbankherstellerrecht die Investition in Aufbau und Pflege einer Datenbank, unabhängig davon, ob die einzelnen Inhalte selbst urheberrechtlich geschützt sind. Vergleichsportale, App Stores oder strukturierte Online-Angebote können solche Datenbanken darstellen. Die Schutzschwelle ist dabei niedriger, als viele erwarten.
Besondere Tücke: Ob eine Entnahme rechtlich relevant ist, hängt nicht nur vom Umfang, sondern auch von der wirtschaftlichen Bedeutung der entnommenen Daten ab, was sich von außen oft kaum verlässlich einschätzen lässt.
Technische Schutzmaßnahmen: Umgehung kann strafbar sein
Viele Websitebetreiber setzen technische Maßnahmen ein, um automatisierte Zugriffe zu erschweren oder zu verhindern. Deren Umgehung ist verboten und die Rechtsfolgen sind erheblich: Neben zivilrechtlichen Ansprüchen droht auch eine strafrechtliche Verantwortlichkeit.
„Technische Schutzmaßnahmen“ sind Technologien, Vorrichtungen und Bestandteile, die im normalen Betrieb dazu bestimmt sind, Handlungen einzuschränken, damit ein Werk oder eine Datenbank nicht ohne Genehmigung des Rechtsinhabers genutzt werden kann. Im Einzelfall ist oft nicht auf den ersten Blick erkennbar, ob eine solche Schutzmaßnahme vorliegt, was eine genaue Prüfung erforderlich macht.
Wettbewerbsrecht: Systematische Überwachung von Mitbewerbern
Auch das UWG setzt dem Web Scraping Grenzen. So ist die gezielte Behinderung von Mitbewerbern verboten. Eine reine „Betriebsbeobachtung“, die nicht zu einer Betriebsstörung führt, ist grundsätzlich zulässig. Eine dauerhafte und umfassende systematische Überwachung eines Mitbewerbers kann jedoch u.U. als gezielte Behinderung gewertet werden. Die Rechtsprechung hat die Details zu dieser Frage noch nicht abschließend entschieden. Wer Wettbewerberdaten im großen Stil scrapt, sollte die wettbewerbsrechtliche Dimension frühzeitig einbeziehen.
Vertragsrecht: Nutzungsbedingungen können das Scraping untersagen
Nutzungsbedingungen einer Website können das Web Crawling ausdrücklich untersagen oder es mittelbar verbieten, indem sie nur menschliche Nutzung erlauben. Wer dagegen verstößt, riskiert vertragliche Ansprüche. Dabei stellen sich zwei entscheidende Fragen: (i) ob überhaupt ein Vertrag zustande kommt und (ii) ob ein bestehendes Verbot im konkreten Fall auch rechtlich wirksam ist. Beides ist nicht immer so eindeutig, wie es auf den ersten Blick erscheint.
KI-Recht: Anbieterpflichten aus der KI-VO beim Training von KI-Modellen
Werden gescrapte Daten zum Training von KI-Modellen mit allgemeinem Verwendungszweck (z.B. große Sprachmodelle, „LLMs“) verwendet, so muss der Anbieter dieser KI-Modelle die Pflichten aus der Verordnung (EU) 2024/1689 (KI-VO) einhalten. Zum Beispiel muss der Anbieter eine Strategie zur Einhaltung des Urheberrechts auf den Weg bringen.
Datenschutzrecht: DSGVO gilt ab dem ersten personenbezogenen Datenpunkt
Sobald beim Scraping personenbezogene Daten verarbeitet werden (z.B. Namen oder Kontaktdaten), greift die DSGVO. Der Europäische Datenschutzausschuss (EDSA) hat im Juli 2026 seine Leitlinien 03/2026 speziell zum Web Scraping für generative KI veröffentlicht. Sie machen deutlich: Die öffentliche Zugänglichkeit von Daten begründet weder eine Einwilligung noch eine Rechtsgrundlage für die Verarbeitung. Als Rechtsgrundlage kommt in der Praxis vor allem das berechtigte Interesse in Betracht, aber nur bei positiver Interessenabwägung und ausreichenden Schutzmaßnahmen wie Datensparsamkeit, Opt-out-Mechanismen und Anonymisierung. Die Verarbeitung besonderer Datenkategorien (z.B. Gesundheitsdaten, politische Meinungen) ist grundsätzlich verboten. Eine Verarbeitung gescrapter Daten, die auch solche besonderen Datenkategorien enthalten, kann aber, wenn diese nur beiläufig und unbeabsichtigt mitverarbeitet werden, unter Einhaltung gewisser Maßnahmen dennoch datenschutzkonform umgesetzt werden.
Was Unternehmen vor dem ersten Crawling-Vorgang tun sollten
Web Scraping ist per se weder rechtmäßig noch rechtswidrig. Wer systematisch und rechtssicher scrapen will, braucht daher eine strukturierte Vorbereitung:
- Einzelfallprüfung: Jeder Anwendungsfall für Web Scraping / Crawling muss gesondert bewertet werden.
- Interne Richtlinie (Web-Crawling-Richtlinie): Klare Vorgaben für erlaubte Tools, Quellen, Umfang, Zweck und Dokumentationspflichten schützen das Unternehmen und die handelnden Mitarbeiter.
- Dokumentation: Für jeden Crawling-Vorgang sollte festgehalten werden, welche Quellen ausgewertet wurden, welche Schranken in Anspruch genommen wurden und wann Rohdaten gelöscht wurden.
- Datenschutzrechtliche Prüfung: Sobald personenbezogene Daten nicht ausgeschlossen werden können, ist eine DSGVO-Prüfung (ggf. einschließlich DSFA) zwingend.
Aitava begleitet Unternehmen bei der rechtlichen Strukturierung von Web-Crawling-Vorhaben, von der Einzelfallbewertung über die Erstellung individueller Guidelines bis zur datenschutzrechtlichen Absicherung.
Häufig gestellte Fragen (FAQ)
Nein, nicht automatisch. Öffentliche Zugänglichkeit bedeutet nicht rechtliche Freiheit. Je nach Inhalt und Umfang können Urheberrecht, Datenbankherstellerrecht, Wettbewerbsrecht und Datenschutzrecht einschlägig sein. Entscheidend ist immer die Einzelfallprüfung.
Rechtsinhaber können die Nutzung ihrer Inhalte für Text und Data Mining in maschinenlesbarer Form ausschließen (z.B. über eine robots.txt-Datei oder das TDM Reservation Protocol (TDMRep) des W3C). Vor jedem Crawling-Vorgang sollte geprüft werden, ob ein solcher Vorbehalt vorliegt.
Auch die wiederholte und systematische Entnahme nur unwesentlicher Datenbankteile kann unzulässig sein, wenn sie der normalen Auswertung der Datenbank zuwiderläuft oder die berechtigten Interessen des Datenbankherstellers unzumutbar beeinträchtigt. Beide Voraussetzungen sind im Einzelfall zu prüfen.
Beides ist möglich. Zivilrechtliche Ansprüche (Unterlassung, Schadensersatz) treffen in der Regel das Unternehmen. Strafrechtliche Konsequenzen bei Urheberrechtsverstößen oder bei Umgehung von Schutzmaßnahmen treffen die konkret handelnden Mitarbeiter persönlich.
Wenn Web Crawling regelmäßig oder in größerem Umfang eingesetzt wird, ist eine interne Richtlinie hierzu sinnvoll. Eine interne Richtlinie schafft rechtliche Klarheit für die handelnden Mitarbeiter, dokumentiert die Compliance-Bemühungen des Unternehmens und reduziert das Haftungsrisiko erheblich.