Ist Web-Scraping legal? Gesetze & Best Practices
Die rechtlichen Regelungen im Markt für Web-Scraping haben sich geändert. Während sich Rechtsstreitigkeiten früher auf unbefugten Zugriff konzentrierten, prägen neue Klagen im Zusammenhang mit KI-Training und technischen Umgehungen zulässige Praktiken.
Haftungsausschluss: Unsere Arbeit dient Informationszwecken und ist keine Rechtsberatung; bitte holen Sie für konkrete Hinweise professionelle Rechtsberatung ein.
Ist Web-Scraping legal?
Das Scraping öffentlich zugänglicher Daten ist oft legal, aber es gibt keine allgemeine Regel, die es überall legal macht. Die Rechtmäßigkeit hängt davon ab, wie, was und warum Sie scrapen und in welcher Rechtsordnung Sie sich befinden.
In der EU müssen Anbieter von Allzweck-KI-Modelle Rechtevorbehalte wie maschinenlesbare Opt-outs beachten, wenn sie Trainingsdaten erheben. Diese Pflichten nach der KI-Verordnung gelten seit dem 2. August 20251
Web-Scraping kann legal sein, wenn Sie:
- Scraping im ausgeloggten Zustand priorisieren: Scrapen Sie öffentlich zugängliche Daten von Webseiten, die ohne Login, Abonnement oder Zahlung erreichbar sind.
- Technische Umgehung vermeiden: Umgehen Sie keine CAPTCHAs, Login-Wände, Ratenlimits oder IP-Sperren und respektieren Sie die Nutzungsbedingungen der Website, die Datei robots.txt und das Urheberrecht.
- Richten Sie sich nach den Richtlinien für die kommerzielle Nutzung: Laufende Klagen im Zusammenhang mit KI-Training, wie die Klagen von Reddit gegen Anthropic und Perplexity, testen vertrags-, umgehungs- und urheberrechtliche Ansprüche gegen KI-Entwickler.
- Globale Datenschutzgesetze einhalten: Erfassen Sie keine personenbezogenen oder sensiblen Daten wie Namen oder Kontaktinformationen auf eine Weise, die gegen Datenschutzgesetze verstößt, einschließlich der Datenschutz-Grundverordnung (DSGVO) und des California Consumer Privacy Act (CCPA).
Weitere Informationen zur ethischen Datenerfassung finden Sie in unserem ethischen und konformen Webdaten-Benchmark.
Aktuelle rechtliche Entwicklungen beim Web-Scraping
Obwohl Web-Scraping legal sein kann, möchten Unternehmen nicht selbst gescraped werden. Wenn diese Plattformen nachweisen können, dass das Scraping durch einen Bot ihre Infrastruktur oder ihren Betrieb schädigt, kann diese Aktivität vom Gericht für illegal befunden werden.
Im Folgenden finden Sie bedeutende Scraping-Rechtsstreitigkeiten, hauptsächlich aus den USA. Die Ergebnisse variieren: In einigen Fällen stellten sich die Gerichte auf die Seite der gescrapten Website, in anderen auf die Seite des Scrapers.
Reddit vs. Perplexity AI & Scraping-Dienste
Gericht: U.S. District Court for the Southern District of New York
Zeitrahmen: Oktober 2025 – Gegenwart (aktives Verfahren)
Reddit verklagte die KI-Suchmaschine Perplexity AI und drei große Scraping-/Proxy-Anbieter (SerpApi, Oxylabs, AWMProxy) wegen Datenerfassung im industriellen Maßstab und der Umgehung technischer Barrieren. 2
Konflikt:
Reddit behauptet, die Beklagten hätten ein „bankraubartiges“ Schema betrieben, um urheberrechtlich geschützte Inhalte zu stehlen. Anstatt Lizenzvereinbarungen einzugehen (wie OpenAI und Google), nutzte Perplexity spezialisierte Scraping-Tools, um Reddits Schutzmaßnahmen zu umgehen.
Rechtliche Argumente:
- Indirektes Scraping über Google: Die Beklagten umgingen die Sperren von Reddit, indem sie Inhalte von Reddit direkt aus den Google-Suchergebnissen (SERPs) scrapten.
- DMCA-Verstöße: Anders als bei früheren Fällen zu „öffentlichen Daten“ (wie hiQ) beruft sich Reddit auf Section 1201 des Digital Millennium Copyright Act (DMCA). Sie argumentieren, dass die Beklagten Daten nicht „abgerufen“, sondern gezielt „technische Schutzmaßnahmen“ (Ratenlimits, CAPTCHAs und SearchGuard) umgangen hätten.
- Verweigerung der Lizenzierung: Reddit hebt hervor, dass Perplexity, während andere KI-Giganten für den Datenzugang zahlen, sein Scraping-Volumen nach Erhalt eines Unterlassungsschreibens um das 40-fache erhöhte und sich für „Umgehung statt Kooperation“ entschied.
Aktueller Status:
Ende 2025 ist das Verfahren noch anhängig, und es ist noch keine endgültige Entscheidung ergangen.
Reddit vs. Anthropic
Gericht: Superior Court of California in San Francisco
Zeitrahmen: Juni 2025 – Gegenwart (aktives Verfahren)
Reddit verklagte Anthropic im Juni 2025 und behauptete, dass Anthropic auf Reddit zugegriffen und dessen Inhalte ohne Lizenz zum Training von KI-Modelle verwendet habe, was gegen die Nutzungsvereinbarung von Reddit verstoße. Bei den Ansprüchen von Reddit handelt es sich um Ansprüche nach einzelstaatlichem Recht, darunter Vertragsbruch, ungerechtfertigte Bereicherung und unlauterer Wettbewerb, und nicht um Urheberrechtsansprüche. Anthropic bestreitet die Ansprüche.
Aktueller Status:
Ende 2025 ist noch keine endgültige gerichtliche Entscheidung ergangen. Das Verfahren befindet sich derzeit in der vorprozessualen Beweisaufnahme. Anthropic hat beantragt, Teile des Verfahrens abzuweisen, mit der Begründung, dass faktische Daten nicht urheberrechtlich schutzfähig sind.
Linkedin vs. hiQ Labs – Fall
Gericht: U.S. District Court / Ninth Circuit Court of Appeals
Zeitrahmen: 2017–2022
LinkedIn verklagte hiQ Labs, ein Datenanalyseunternehmen, weil es öffentlich verfügbare Profile gescrapt hatte, um eine Analyse beruflicher Fähigkeiten durchzuführen.3 Mehrere Gerichte, einschließlich des Supreme Court, befassten sich mit dem Fall:
- Der Ninth Circuit stellte sich zunächst auf die Seite von hiQ und entschied, dass das Scraping öffentlich verfügbarer Profile wahrscheinlich nicht gegen den Computer Fraud and Abuse Act (CFAA) verstößt4
- Im Jahr 2021 hob der Supreme Court diese Entscheidung auf und verwies den Fall im Licht von Van Buren v. United States zur erneuten Prüfung zurück. Im Jahr 2022 bekräftigte der Ninth Circuit seine Auffassung, dass das Scraping öffentlich zugänglicher Daten wahrscheinlich keinen Zugriff „ohne Berechtigung“ im Sinne des CFAA darstellt.
Ende 2022 entschied das erstinstanzliche Gericht jedoch, dass hiQ gegen die Nutzungsvereinbarung von LinkedIn verstoßen hatte, und die Parteien einigten sich mit einem Urteil gegen hiQ. Der Fall zeigt, dass ein Verstoß gegen die Bedingungen einer Website selbst dann eine Haftung begründen kann, wenn der CFAA nicht anwendbar ist.
Meta vs Bright Data
Gericht: U.S. District Court for the Northern District of California
Zeitrahmen: 2023–2024
Falltyp: Zivilklage wegen Vertragsverletzung und unbefugtem Datenscraping
Im Januar 2023 leitete Meta eine Klage gegen Bright Data ein und warf ihm vor, illegal Daten von den Facebook- und Instagram-Plattformen von Meta extrahiert zu haben. Interessanterweise bestritt Bright Data die Ansprüche von Meta zu dessen Datenscraping-Rechten, woraufhin beide Parteien vor Gericht zogen.
Das Gericht entschied zugunsten von Bright Data und befand, dass es unzureichende Beweise dafür gebe, dass Bright Data nicht-öffentliche Daten gescrapet oder auf Daten zugegriffen habe, während es in Nutzerkonten eingeloggt war. Im Februar 2024 entschied Meta, die verbleibenden Ansprüche gegen Bright Data fallen zu lassen.5
Verbietet Meta (Facebook/Instagram) jede automatisierte Datenerfassung?
Wenn Sie die Nutzungsbedingungen von Instagram gelesen haben, haben Sie wahrscheinlich die Klausel gesehen, wonach „Scraping mit automatisierten Mitteln verboten ist“.
Die rechtliche Realität ist jedoch komplexer. In dem richtungsweisenden Fall Meta v. Bright Data (2024) entschied das Gericht, dass die Bedingungen von Meta nicht unbedingt gelten, wenn Sie öffentliche Daten im ausgeloggten Zustand scrapen, da Sie durch das Einloggen keinen Vertrag unterzeichnet haben.
Viele Websites enthalten eine Warnung nach dem Motto „Facebook-Nutzungsbedingungen, automatisierte Datenerfassung, Scraping verboten“. Aber wie die jüngsten rechtlichen Entwicklungen im Web-Scraping zeigen, unterscheiden Gerichte zunehmend zwischen Daten hinter einer Login-Wand und Daten, die im offenen Web verfügbar sind.
X Corp. vs Bright Data
Gericht: U.S. District Court for the Northern District of California
Zeitrahmen: 2023–laufend
Falltyp: Unbefugter Datenzugriff nach Computerbetrugsgesetzen, Verletzungen geistigen Eigentums
Im Juli 2023 reichte X Corp. eine Klage gegen Bright Data ein und warf Bright Data vor, durch das Scraping und den Verkauf großer Datenmengen von der Plattform X gegen die Nutzungsbedingungen verstoßen zu haben. 6Bei dem kalifornischen Rechtsstreit ging es um den Zugang von Bright Data zu öffentlichen Daten auf Twitter.
Im Mai 2024 wies das Gericht die Ansprüche von X ab und entschied, dass die einzelstaatlichen Ansprüche wegen des Scrapings öffentlicher Posts durch das Bundesurheberrecht verdrängt würden, da X die von seinen Nutzern veröffentlichten Inhalte nicht besitzt.
eBay vs. Bidder’s Edge – Fall
Gericht: United States District Court for the Northern District of California
Zeitrahmen: 1999–2000
Falltyp: Zivilklage wegen Eingriffs in bewegliche Sachen (trespass to chattels), in der eBay Bidder’s Edge vorwarf, seine Website mithilfe automatisierter Datenerfassungs-Bots unrechtmäßig zu scrapen.
Bidder’s Edge (BE), eine Website für Online-Preisvergleiche, verwendete Web-Scraping-Tools, um Auktionsangebote von verschiedenen Plattformen, einschließlich eBay, ohne Erlaubnis zu aggregieren. eBay machte geltend, dass die automatisierten Bots von BE eine unbefugte Nutzung seiner Systeme verursachten.
Die gerichtliche Anordnung untersagte es Bidger’s Edge, erneut Inhalte von eBay zu scrapen. Das Hauptargument, mit dem eBay gewann, war, dass Bidger’s Edge das System überlastete und dass andere, die dem Beispiel von Bidger’s Edge folgten, dem System von eBay weiteren Schaden zufügen könnten.
Facebook vs. Power Ventures – Fall
Gericht: U.S. District Court for the Northern District of California
Später wurde Berufung beim U.S. Court of Appeals for the Ninth Circuit eingelegt
Zeitrahmen: 2008–2017
Falltyp: Zivilklage nach dem CFAA und dem kalifornischen Anti-Hacking-Gesetz, wobei Facebook einen unbefugten Zugriff auf seine Plattform geltend machte.
Im Jahr 2008 verklagte Facebook Power Ventures, das die Daten sozialer Netzwerke der Nutzer aggregierte und deren Facebook-Konten nutzte, um Werbebotschaften zu versenden. Im Jahr 2016 entschied der Ninth Circuit, dass Power gegen den CFAA und das kalifornische Anti-Hacking-Gesetz verstoßen habe, indem es weiterhin auf Facebook zugegriffen habe, nachdem es ein Unterlassungsschreiben erhalten hatte und seine IP-Adressen blockiert worden waren. Power Ventures wurde zur Zahlung von Schadensersatz verurteilt.7
Neueste Vorschriften zum Web-Scraping nach Ländern
Vereinigte Staaten
Rechtsstatus: Kein einzelnes Bundesgesetz verbietet Web-Scraping, aber es können mehrere Gesetze anwendbar sein.
Je nachdem, wie und was Sie scrapen, können der CFAA, die Anti-Umgehungsvorschrift des DMCA (Section 1201), das Urheberrecht, einzelstaatliche vertrags- und eigentumsrechtliche Ansprüche wegen Eingriffs in bewegliche Sachen (trespass to chattels) sowie einzelstaatliche Datenschutzgesetze wie der CCPA anwendbar sein. Der BOTS Act von 2016 verbietet ausdrücklich den Einsatz von Bots zur Umgehung von Ticketkauf-Limits.8
Europäische Union und Vereinigtes Königreich
Rechtsstatus: Kein einzelnes EU-Gesetz regelt Web-Scraping. Die Rechtmäßigkeit hängt vom Urheberrecht, von Datenbankrechten, vom Datenschutzrecht und von Vertragsbedingungen ab.
Urheberrecht sowie Text- und Data-Mining: Die Richtlinie über das Urheberrecht im digitalen Binnenmarkt (Richtlinie (EU) 2019/790) führte zwei Ausnahmen für Text- und Data-Mining (TDM) ein. Artikel 3 erlaubt Forschungseinrichtungen und Einrichtungen des Kulturerbes, TDM für die wissenschaftliche Forschung an Werken durchzuführen, zu denen sie rechtmäßigen Zugang haben. Artikel 4 erlaubt jedem mit rechtmäßigem Zugang, TDM für beliebige Zwecke, einschließlich kommerzieller Nutzung, durchzuführen, sofern der Rechteinhaber seine Rechte nicht ausdrücklich vorbehalten hat. Bei online veröffentlichten Inhalten muss der Vorbehalt in geeigneter Weise, etwa maschinenlesbar, erfolgen. Diese Ausnahmen betreffen Vervielfältigungen, die für TDM vorgenommen werden; sie machen nicht jede Vervielfältigung öffentlich zugänglicher Inhalte rechtmäßig. Da es sich um eine Richtlinie handelt, hat jeder Mitgliedstaat sie in nationales Recht umgesetzt, und die Einzelheiten variieren. 9
Datenbankrechte: Die Datenbankrichtlinie (96/9/EG) gewährt Datenbankherstellern ein Schutzrecht eigener Art, das es verbieten kann, die gesamte Datenbank oder einen wesentlichen Teil davon zu extrahieren oder weiterzuverwenden, selbst wenn einzelne Elemente nicht urheberrechtlich geschützt sind.
Personenbezogene Daten: Die DSGVO gilt für das Scraping personenbezogener Daten, auch wenn die Daten öffentlich zugänglich sind. Sie verbietet ein solches Scraping nicht pauschal, aber der Scraper benötigt eine Rechtsgrundlage, häufig berechtigte Interessen, was eine Abwägung erfordert. Der Scraper muss die Personen, deren Daten er erhebt, in der Regel außerdem informieren und die Erhebung auf das notwendige Maß beschränken.
KI-Training: Nach der KI-Verordnung (Verordnung (EU) 2024/1689) müssen Anbieter von Allzweck-KI-Modelle eine Strategie zur Einhaltung des EU-Urheberrechts einführen, einschließlich der Ermittlung und Beachtung von Rechtevorbehalten nach Artikel 4 Absatz 3 der DSM-Richtlinie (Artikel 53 Absatz 1 Buchstabe c). 10
Vereinigtes Königreich: Das Vereinigte Königreich hat die DSM-Richtlinie nicht umgesetzt. Seine TDM-Ausnahme (Abschnitt 29A des Copyright, Designs and Patents Act 1988) betrifft nur nicht-kommerzielle Forschung durch Personen mit rechtmäßigem Zugang. Die britische Datenschutz-Grundverordnung (UK GDPR) und das britische Datenbankrecht gelten parallel.
Dos and Don’ts für legales und ethisches Web-Scraping
Aus rechtlicher Sicht sollten sich Unternehmen fragen, ob ihre Scraping-Handlungen die gescrapte Website schädigen. Wenn die Scraping-Aktivität:
- zu intensiv ist, was die Dienste der gescrapten Website unterbrechen kann,
- die gescrapten Daten verwendet werden, um die Aktivität oder den Dienst dieser Website zu duplizieren, auch wenn keine Vorschriften existieren.
Die Website hätte Gründe, eine Klage gegen den Scraper einzureichen.
Aus ethischer Sicht ist es angesichts der vielen Anwendungsfälle und professionellen Anbieter im Markt keine Schande, Web-Scraping für geschäftliche Zwecke zu nutzen. Es gibt technische Best Practices für Web-Scraping, die Verkehrslast auf der gescrapten Website verringern, wie zum Beispiel:
- Verwendung der APIs der Website anstelle von Web-Scraping, sofern verfügbar.
- Planen Sie Crawls außerhalb der Spitzenzeiten.
- Zwischenspeichern Sie Seiten, um wiederholte Anfragen zu vermeiden.
Solange Sie einen vertrauenswürdigen Web-Scraper finden, mit dem Sie zusammenarbeiten können, oder sicherstellen, dass Ihre technischen Ressourcen diese Punkte berücksichtigen, können Sie Ihr Web-Scraping für Ihre geschäftlichen Zwecke als ethisch vertreten.
Gebote:
- Scrapen Sie die Daten, die Sie benötigen, indem Sie den genauen Geschäftsfall definieren und Ihre Web-Crawler-Technologie entsprechend anpassen. Dadurch minimieren Sie das Risiko, die gescrapte Website mit unerwünschtem Datenverkehr zu belasten.
- Lesen Sie immer die Nutzungsbedingungen der gescrapten Website. Zusätzlich zu kommerziellen Nutzungsbedingungen verfügen Websites auch über eine robots.txt-Datei, die Berechtigungen für den Inhalt der Website festlegt. Ihre Web-Crawling-Lösung oder Ihre technischen Experten sollten Ihnen helfen, diese Berechtigungen einzuhalten.
- Seien Sie transparent in Bezug auf Ihr Web-Scraping und bereit, Ihren Scraping-Prozess zu erläutern, um anderen zu versichern, dass Ihr Ansatz legal und ethisch ist.
Verbote:
- Belasten Sie die gescrapte Website nicht zu oft und mit zu umfangreichen Abrufen. Dadurch erhöht sich auch die Wahrscheinlichkeit, dass die gescrapte Website Ihren Crawler blockiert.
- Erheben Sie keine personenbezogenen Daten, es sei denn, Sie haben eine Rechtsgrundlage nach den geltenden Datenschutzgesetzen wie der DSGVO; robots.txt-Berechtigungen bieten keine solche Grundlage. Wenn Sie solche Daten erheben, minimieren und pseudonymisieren Sie.
- Stellen Sie die gescrapten Daten nicht der Öffentlichkeit zur Verfügung. Achten Sie darauf, dass sie sicher gespeichert werden, wie Ihre eigenen Unternehmensdaten. Sie wissen nie, für welche Zwecke sie verwendet werden könnten, wenn sie durchsickern.
Organisationen für ethisches Web-Scraping
Führende Unternehmen für Webdaten-Infrastruktur haben Verbände gegründet, um ihre Branche und Interessengruppen auf die ethische Nutzung von Web-Scraping auszurichten. Diese Verbände sind:
- Alliance for Responsible Data Collection, zu der unter anderem Bright Data und Common Crawl gehören.
- Ethical Web Data Collection Initiative (EWDCI), zu der Oxylabs, ProxyEmpire und Zyte sowie andere gehören.
Ist das Scraping von Daten für das KI-Training legal?
Der rechtliche Status des Datenscrapings hängt von der Art der Daten, ihrem Speicherort und den Methoden ab, mit denen auf sie zugegriffen wird. Viele einschlägige Gesetze werden derzeit von Gerichten ausgelegt und etabliert.
In den Vereinigten Staaten entschied der Ninth Circuit im Fall hiQ v. LinkedIn, dass das Scraping von ohne Login öffentlich zugänglichen Daten wahrscheinlich nicht gegen den CFAA verstößt. Diese Entscheidung stützte sich teilweise auf die enge Auslegung des Begriffs „überschreitet den autorisierten Zugriff“ durch den Supreme Court in Van Buren v. United States (2021), einem Fall, in dem es nicht um Scraping ging. Davon getrennt entschied das Gericht im Fall Meta v. Bright Data, dass die Bedingungen von Meta das Scraping öffentlicher Daten im ausgeloggten Zustand nicht untersagten; dies war eine vertragsrechtliche und keine CFAA-Entscheidung.
Ob die Verwendung gescrapter Daten zum Training von KI-Modelle Urheberrechte verletzt, ist eine separate Frage, die Gerichte in den USA und anderswo noch entscheiden.
Als bevorzugte Quelle hinzufügenFAQs
Wenn die Nutzungsbedingungen (ToS) einer Website das Scraping, den Zugriff oder das Erfassen von Daten dieser Website mit automatisierten Mitteln ausdrücklich verbieten, kann ein solches Vorgehen einen Verstoß gegen diese Bedingungen darstellen.
Ein Verstoß gegen Nutzungsbedingungen allein wird im Allgemeinen als vertragsrechtliche Angelegenheit und nicht als CFAA-Verstoß behandelt. Ein fortgesetzter Zugriff auf eine Website, nachdem die Erlaubnis ausdrücklich widerrufen wurde, beispielsweise durch ein Unterlassungsschreiben oder eine IP-Sperre, kann jedoch ein CFAA-Risiko begründen, wie im Fall Facebook v. Power Ventures. Sie können den Website-Betreiber kontaktieren, um eine Erlaubnis zu erbitten, oder offizielle APIs verwenden.
Nicht für sich allein. Gerichte behandeln Verstöße gegen Nutzungsbedingungen als zivilrechtliche Vertragsangelegenheit, nicht als Straftat. Ein Verstoß kann jedoch Ansprüche wegen Vertragsverletzung stützen und Ansprüche nach anderen Gesetzen stärken, insbesondere nach ausdrücklicher Mitteilung, etwa einem Unterlassungsschreiben.
Diese Forschung zitieren
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{karatas2026,
author = {Karatas, Gulbahar},
title = {{Ist Web-Scraping legal? Gesetze & Best Practices}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/is-web-scraping-legal}},
note = {AIMultiple. Abgerufen am 26. Oktober 2026}
}Änderungsprotokoll
2 AktualisierungenAbschnitt "Ist Scraping von Daten für KI-Training legal?" und EU-Leitlinien zum KI-Training-Scraping zu den FAQ hinzugefügt.
Referenzlinks
Kommentare 1
Teilen Sie Ihre Gedanken
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.
Thank you for the great and well-written articles. Can you write an article explaining the limits and/ or usefulness of using a website’s APIs rather than web scraping, when available. Instagram & TikTok website APIs for example are limited to what type of data can be extracted. My understanding is that not everything can be scrapped using their websites API. Looking forward to your response. Thank you.