Ethischer & konformer Webdaten-Benchmark

Da Unternehmen ihre Webdaten-Operationen ausweiten, bewerten Compliance-, Daten- und Risikoverantwortliche zunehmend die damit verbundenen ethischen, reputationsbezogenen und rechtlichen Risiken.

Wir haben 5 führende Webdatenerfassungsdienste über 3 Dimensionen hinweg bewertet und jeden Dienst mit mehr als 20 potenziell unethischen Szenarien getestet.

Unsere Arbeit hilft Ihnen, die ethische Ausrichtung Ihrer Datenerfassungspraktiken zu bewerten und die potenziellen Folgen unethischer Ansätze zu verstehen. Außerdem bieten wir Leitlinien für die ethische Webdatenerfassung und bewerten Webdatenerfassungsdienste aus ethischer und Compliance-Perspektive:

Bewertung von Webdatenerfassungsdiensten

Wir haben führende Webdatenerfassungsdienste (auch Webdatenanbieter oder Webdateninfrastruktur genannt) anhand unserer Checkliste für ethische Webdaten bewertet. Diese Punktzahlen stehen für Reifegrade, wobei 5 die höchste Stufe ist:

* Dies sind Codes für Anbieternamen. Diese Anbieter wollten in diesem Bericht nicht namentlich genannt werden und werden am Ende der Liste aufgeführt, bis wir dieses Problem gelöst haben.

** ✅ zeigt an, dass das Unternehmen sich bereit erklärt hat, seine Versicherungszertifikate mit AIMultiple zu teilen. ❌ zeigt an, dass das Unternehmen sich entschieden hat, seine Versicherungszertifikate nicht mit uns zu teilen, weshalb wir seinen Versicherungsschutz nicht validieren konnten. Der Versicherungsschutz ist die Kategorie, bei der wir auf die Mitwirkung der Webdaten-Dienstleister angewiesen waren, um sie zu bewerten.

Sortiert nach Gesamtpunktzahl.

Punktemodell für ethische Webdaten

Im Folgenden erläutern wir, wie diese Punktzahlen abgeleitet werden. Sie können auch die Begründung für die Auswahl dieser Bewertungsdimensionen sehen.

In den ersten 2 Kategorien haben wir 5 Kompetenzen identifiziert, und die Unternehmen erhielten Punktzahlen basierend auf der Anzahl der erfüllten Kompetenzen. Stufe 5 steht für die höchste am Markt beobachtete Reife und spiegelt aktuelle Best Practices wider, nicht Perfektion.

Fähigkeiten für ethische Nutzung durch Kunden

• Effektive Prozesse für ethische Nutzung: Wir bewerten die Fähigkeit jedes Anbieters, unethische Nutzung seiner Residential-Proxy-Dienste durch kontrollierte Testszenarien zu verhindern. Wenn eine unserer Anfragen vom Anbieter blockiert wird, gilt dies als erreicht.
• Verbesserte Prozesse für ethische Nutzung: Ähnlich wie „effektive Prozesse für ethische Nutzung“. Diese Fähigkeit bedeutet jedoch, dass der Dienstanbieter mehr als einen unserer Versuche blockiert hat, seine Dienste für unethische Anwendungsfälle zu nutzen.
• Best-Practice-Prozesse für ethische Nutzung: Ähnlich wie „effektive Prozesse für ethische Nutzung“. Diese Fähigkeit bedeutet jedoch, dass der Dienstanbieter die meisten unserer Versuche blockiert hat, seine Dienste für unethische Anwendungsfälle zu nutzen.
• Grundlage für Missbrauchsmanagement: Veröffentlichung einer Missbrauchsmanagement-Richtlinie und einer Methode zur Meldung von Missbrauch
• Reaktionsfähiges Missbrauchsmanagement: Wir haben gemessen, wie Unternehmen auf mehrere Missbrauchsmeldungen reagierten. Auch wenn es keine Hotline für Missbrauchsmeldungen gab, nutzten wir die vom Unternehmen angegebenen E-Mail-Adressen, um deren Team zu erreichen. Wenn wir innerhalb einer Woche keine Antworten auf unsere Meldung erhielten, wurde das Unternehmen als nicht reaktionsfähig eingestuft.

Fähigkeiten für ethische Bereitstellung

Ethische Bereitstellung bedeutet, IP-Adressen auf ethische Weise zu beschaffen. Unsere Marktanalyse identifizierte folgende Transparenzstufen in Bezug auf die ethische IP-Bereitstellung: 

• Level 1: Veröffentlichte Richtlinie zur IP-Beschaffung.
• Level 2: Mindestens eine Quelle (z. B. eine mobile App) für IPs offengelegt, die IPs auf ethische Weise liefert. Die offengelegte Quelle sollte insgesamt mindestens 10k Bewertungen auf Drittanbieter-Plattformen haben, einschließlich Google, Apple, Amazon App Stores und Trustpilot.
• Level 3: Wie Level 3, aber mit 100k Bewertungen
• Level 4: Wie Level 3, aber mit 1M Bewertungen
• Level 5: Wie Level 4, aber mit 10M Bewertungen

Bewertungen sind ein Indikator für die Beliebtheit von Apps und ein wichtiges Signal für diese Bewertung. Webdatenerfassungsdienste müssen mit beliebten Anwendungen zusammenarbeiten, um den IP-Bedarf ihrer Kunden zu decken.

Für die Qualifizierung sollten die offengelegten Apps folgende Best Practices befolgen. Wir prüfen dies nicht für jede offengelegte App, aber für einige zufällig ausgewählte:

• Informierte Einwilligung:
  • Nutzer müssen sich aktiv anmelden (Opt-in), bevor sie ihre Internetverbindung freigeben. Der Opt-in-Bildschirm sollte Folgendes darlegen:
    • Den Anbieter
    • Den Dienst
    • Wie ihre IP verwendet wird
  • Nutzer sollten Zugang zu detaillierten Informationen haben zu:
    • Wie ihre Internetverbindung verwendet wird
    • Datenschutzrichtlinie
• Wert: Nutzer müssen einen gewissen Nutzen aus der App ziehen (z. B. Bezahlung, Möglichkeit zum Überspringen von Werbung oder eine andere Funktion)
• Datenschutz: Begrenzte und transparente Erfassung von Nutzerdaten.

Bei Residential-Proxy-Netzwerken sollten Käufer auch prüfen, ob die Einwilligung spezifisch, informiert, widerrufbar und von nicht zusammenhängenden App-Berechtigungen getrennt ist. Sie sollten fragen, ob Nutzer sich leicht abmelden können, ob die Bandbreitennutzung begrenzt ist, ob Minderjährige ausgeschlossen sind und ob der Anbieter Apps oder SDKs prüft, die Residential-IPs liefern.

Externe Zertifizierung

Wir haben die externe Zertifizierung danach bewertet, ob Unternehmen diese Zertifikate erworben haben, die für Sicherheit und Compliance auf Unternehmensniveau relevant sind.

• PII-Zertifizierung: Nachgewiesene Fähigkeit zum Umgang mit personenbezogenen Daten durch den Erwerb von ISO 27018
• Zertifizierung für Datensicherheit: Nachgewiesene Datensicherheitspraktiken durch Erwerb eines dieser Zertifikate: SOC 2 oder ISO/IEC 27001
• IP-Quelle auf Whitelist: Externe Zertifizierungsanbieter wie McAfee zertifizieren entweder:
  • Bestimmte 3rd-Party-Apps, die IPs liefern
  • SDKs, die IPs von 3rd-Party-Apps sammeln
• Ethische Praktiken bewertet: Ein ISAE-3000-Prüfungsprojekt kann durchgeführt werden, um interne Compliance- und Ethikpraktiken zu bewerten.

Versicherung

Wir haben Anbieter gebeten, uns diese Versicherungsdokumente zur Verfügung zu stellen:

• Berufshaftpflichtversicherungszertifikat, das Deckung für die Haftung von Anbietern bei Problemen im Dienst bietet
• Cyberversicherungszertifikat, das Deckung für die Haftung von Anbietern bei Problemen im Zusammenhang mit Informationssicherheit bietet.

Gesamtpunktzahl

Diese Punktzahl ist die Summe aller Punktzahlen geteilt durch 3. Die Punktzahlen sind:

• 0 bis 5 für Fähigkeiten für ethische Nutzung durch Kunden
• 0 bis 5 für Fähigkeiten für ethische Bereitstellung
• 0 bis 3 für externe Zertifizierung
• 0 bis 2 für Versicherungen

Führende Webdatenerfassungsdienste

AIMultiple hat die 7 größten Webdatenerfassungsdienste nach Mitarbeiterzahl auf LinkedIn ausgewählt. Wir haben diese Kennzahl gewählt, da sie öffentlich ist und mit den Umsätzen und der Unternehmensreife korrelieren sollte. Bessere Kennzahlen wie Umsätze oder die Zahl der festangestellten Mitarbeiter sind für diese privaten Unternehmen nicht öffentlich verfügbar.

Alle ausgewählten Unternehmen hatten im April 2025 mehr als 100 Mitarbeiter, die mit ihren LinkedIn-Profilseiten verbunden sind. Derzeit werden 5 der ausgewählten 7 auf dieser Seite angezeigt; die übrigen 2 Unternehmen haben entschieden, nicht in den Bericht aufgenommen zu werden.

Webdatenerfassungsprodukte im Fokus

Diese Unternehmen bieten eine Reihe von Produkten an, darunter Proxys, Data-Scraping-APIs und Datasets. Obwohl alle Produkte aus ethischer Perspektive betrachtet werden können, haben wir uns zunächst auf das Produkt konzentriert, das die größte Flexibilität bietet und die meisten anderen Produkte antreibt: Residential-Proxys.

Webdatenerfassungsprodukte können als Hierarchie betrachtet werden, bei der Proxys die Kernschicht bilden, auf der alle anderen Dienste aufbauen. Das liegt daran, dass Proxys Maschinen den Zugriff auf das Internet über verschiedene Ziele ermöglichen und so eine vielfältige und große Menge an Internetverbindungen schaffen, die für die Datenerfassung entscheidend sind. Daher sind Proxys das leistungsfähigste Webdatenerfassungsprodukt; sie können Funktionen ausführen, die mit Datasets oder Data-Scraping-APIs nicht möglich wären.

Unter den Proxys sind Residential-Proxys das Produkt, das für Websites am schwersten als Proxy zu erkennen ist. Andere Proxys wie Datacenter-Proxys sind beispielsweise anhand ihres Standorts leicht zu identifizieren. Daher treiben Residential-Proxys die meisten anderen Webdatenprodukte wie Data-Scraping-APIs an.

Prüfen: Ist Ihre Webdatenerfassung konform & ethisch?

Ihr Unternehmen nutzt höchstwahrscheinlich Webdaten. Die Branche ist jedoch nur begrenzt reguliert, weshalb es wichtig ist, einen ethischen und konformen Anbieter zu wählen. Um dies zu erreichen, haben wir ein ganzheitliches Rahmenwerk erstellt, das verschiedene Aspekte der Webdatenerfassung berücksichtigt, darunter ethische Beschaffung, ethische Nutzung und externe Zertifizierung.

Webdaten sind ein übliches betriebliches Asset

Als Unternehmen stützt sich Ihr Geschäft teilweise auf Webdaten, und zwar wegen zahlreicher Anwendungsfälle wie:

• Dynamische Preisgestaltung für Einzelhandel & E-Commerce
• Echtzeit-Alternativdaten für Investmentfonds
• KYC-Prozess im Firmenkundengeschäft
• KI-Modelltraining oder Finetuning
• KI-Inference oder RAG
• Marktforschung

Mit KI sind Webdaten jetzt wichtiger

Obwohl die Webdatenerfassung so alt ist wie das Web, hat ihre Bedeutung nach dem Aufstieg generativer KI-Modelle drastisch zugenommen. Die Entwickler dieser Modelle wie OpenAI und Anthropic begannen ohne nennenswerte Content-Partnerschaften und nutzten hauptsächlich Online-Daten, um ihre ersten Modelle zu erstellen, was zum Aufstieg der billionenschweren KI-Branche geführt hat.

Begrenzte regulatorische Aufsicht

Obwohl die KI-Regulierung im spotlight steht, ist die Datenerfassungsbranche in den meisten Ländern weitgehend unreguliert. Eindeutig illegale Online-Aktivitäten sind klar definiert. Es gibt jedoch nur begrenzte regulatorische Anforderungen an die Branchenteilnehmer, den Missbrauch ihrer Dienste durch Nutzer proaktiv zu verhindern.

Es liegt an den Plattformen selbst, Best Practices und Compliance-Standards festzulegen, um eine ethische Datenerfassung und Proxy-Nutzung sicherzustellen. Daher ist die Wahl des Anbieters bei der Datenerfassung wichtiger als in stark regulierten Branchen wie dem Bankwesen, wo jeder Dienstleister zahlreiche Vorschriften einhalten muss.

Die ethische Haltung Ihrer Lieferanten ist Teil der Reputation Ihres Unternehmens

Unabhängig davon, ob Sie die Daten erheben oder nutzen, sind Sie für den Beschaffungsprozess verantwortlich.

Die Verantwortung von Unternehmen für rechtswidrige Aktivitäten in ihrer Lieferkette hängt von der Rechtsordnung ab. In Deutschland beispielsweise sind Unternehmen verpflichtet, KYS- und Risikomanagementmaßnahmen durchzuführen, um Schäden durch ihre Lieferkette zu erkennen und zu verhindern. Selbst wenn Unternehmen nicht für Schäden ihrer Lieferkette verantwortlich sind, können sie Reputationsrisiken erleiden.

Was kostet unethische und nicht konforme Datenerfassung?

Reputationsrisiko

Wenn öffentlich wird, dass ein Unternehmen einen Webdatenerfassungsdienst nutzt, der unethisches Verhalten oder Handlungen an den Tag legt, die Datensicherheit gefährden, kann dies zu erheblichen Reputationsschäden führen, etwa zu Geschäftsverlusten, Kundenabwanderung, Abwanderung von Talenten und Verlust des Anlegervertrauens.

Beispiele aus der Praxis, bei denen Zulieferer von Unternehmen zu Reputationsverlusten führten:

• Nike hat mehrfach Reputationsschäden durch unethische Arbeitspraktiken seiner Zulieferer erlitten.¹
• Viele Unternehmen wie EY verloren das Vertrauen ihrer Kunden, als sie von der Sicherheitsverletzung der Software für verwaltete Dateiübertragung MOVEit betroffen waren. ²

Rechtliches Risiko

Reputationsverluste, insbesondere solche, die zu öffentlicher Empörung führen, ziehen typischerweise Klagen von Kunden des Unternehmens oder anderen Interessengruppen nach sich, die durch die unethischen Praktiken geschädigt wurden.

Beispiel aus der Praxis: Starbucks ist eine der jüngsten Marken, die wegen der Beschaffung bei Unternehmen mit unethischen Praktiken verklagt wurde.³

Ethische Webdaten-Checkliste

Unternehmenswebdaten müssen 3 Anforderungen erfüllen, um ethisch zu sein:

Ethische Nutzung durch Kunden

Im Rahmen ihrer Know-Your-Supplier-Prozesse vermeiden Unternehmen die Nutzung von Diensten, die unethische Aktivitäten ermöglichen. Die Nutzung solcher Dienste setzt Unternehmen Reputationsschäden aus. 

Beispiel aus der Praxis: In Fällen, in denen dokumentiert wurde, dass ein Anbieter die Nutzung seiner Plattform für unethische Aktivitäten zuließ, distanzierten sich zahlreiche Unternehmen von dem Anbieter, bis dieser seine Praktiken verbesserte.⁴

Bezug zu Webdaten: Webdaten werden über verschiedene IP-Adressen erhoben. Diese Adressen können für verschiedene rechtswidrige Aktivitäten genutzt werden, etwa DDoS-Angriffe zur Verhinderung der Bereitstellung digitaler Dienste, unbefugte Erfassung nicht öffentlicher Daten oder Anzeigenbetrug. Böswillige Akteure benötigen IPs, um ihre Handlungen auszuführen, und Webdateninfrastruktur-/Proxy-Anbieter sind die größten IP-Lieferanten für Endnutzer.

Ethische Bereitstellung

Dienste, die für ethische Zwecke genutzt werden, können während ihrer Erstellung unethische und schädliche Handlungen verursachen. Beispielsweise erlitten Marken wie Nike und Nestlé Reputationsschäden und wurden wegen Kinderarbeit ihrer Auftragnehmer verklagt.

Bezug zu Webdaten:

Unternehmen benötigen Zugang zu einer großen Zahl unterschiedlicher Bandbreitenquellen für eine schnelle und globale Datenerfassung. Dies erfordert die Nutzung von Residential-Proxys: Während das Sammeln öffentlicher Daten unter vielen Bedingungen legal ist, ⁵ können Websites auch einige ihrer Besucher blockieren. Sie können beispielsweise die Crawler ihrer Wettbewerber blockieren. In solchen Fällen müssen sich Unternehmen auf eine große Zahl von Verbindungen von Endnutzern oder anderen 3rd-Parteien stützen, um Webdaten zu erheben.

Proxy-Anbieter sammeln Millionen von Internetverbindungen aus verschiedenen Quellen und stellen sie Unternehmen bereit, die IP-Adressen verwenden, um auf diese Verbindungen zuzugreifen. Einige dieser IPs stammen von Geräten privater Nutzer. Das Sammeln dieser Verbindungen kann legal oder rechtswidrig sein:

• Legal: Rechtskonforme Praktiken umfassen die Einholung einer informierten Einwilligung der Nutzer, die Bereitstellung einer Vergütung und das Angebot von Opt-out-Mechanismen gemäß den lokalen Vorschriften. Der Webdatenanbieter sollte
  • Nutzer darüber informieren, wie ihre Bandbreite verwendet wird
  • ihre Einwilligung digital einholen
  • sie dafür entschädigen
  • ihnen jederzeit ein Opt-out ermöglichen
• Illegal: Böswillige Akteure können sich Zugang zu den Geräten der Nutzer verschaffen und deren Internetverbindung ohne Erlaubnis oder Vergütung nutzen. Dies kann durch Malware-Apps, kompromittierte Geräte, maskierte Installationen, automatisches Opt-in und andere Methoden geschehen, die den Gerätebesitzer gefährden können.

Unternehmen, die illegal beschaffte Proxys nutzen, können unbeabsichtigt böswillige Akteure für den unbefugten Zugriff auf Geräte bezahlen. 

Beispiele aus der Praxis:

• An der Börse notierte Residential-Proxy-Anbieter wurden dokumentiert, ihre Infrastruktur mit SDKs zu teilen, die Geräteverbindungen ohne Einwilligung der Nutzer verwenden.^{6 7}
• Router und IoT-Geräte wurden für Botnetz-Operationen kompromittiert und als Residential-Proxys verkauft.^{8 9}
• Bestimmte Proxy-Anbieter bewerben ihre Dienste in Foren, die von böswilligen Akteuren frequentiert werden. Diese IPs sind wahrscheinlich illegal beschafft.¹⁰
• VPN-Apps im Google Play Store wurden ebenfalls verwendet, um Residential-IPs ohne Einwilligung der Nutzer zu beschaffen.¹¹

Obwohl diese Operationen eingestellt wurden, ist es wahrscheinlich, dass böswillige Akteure weiterhin ohne Einwilligung über Botnetze und kompromittierte oder bösartige Anwendungen auf Residential-IPs zugreifen.

Externe Zertifizierung

Unternehmenskäufer benötigen sichere, unternehmenstaugliche Lösungen. Wir haben die Bestandteile einer reifen Webdatenorganisation identifiziert, die durch externe Zertifizierung dokumentiert werden können:

Datensicherheit

Mangelnde Datensicherheit in den Systemen eines Zulieferers kann den Wettbewerbsvorteil eines Unternehmens untergraben oder zu Datenverlust und Systemausfallzeiten führen. Der Verlust der Systemfunktionalität kann das Vertrauen schwächen und zur Abwertung eines Unternehmens führen.

Systemeindringung

Datenerfassungsdienste sind nicht so tief in die Systeme eines Unternehmens integriert wie zentrale digitale Dienste (z. B. ein führendes System wie ein CRM). Daher werden ihre Sicherheitsnachweise nicht so gründlich geprüft wie die eines Kernsystems. Datensicherheit ist jedoch für die Kunden von Datenerfassungsdiensten entscheidend, da diese Dienste:

• Mitunter in zentralere Systeme wie Preis-Engines integriert sind.
• Unternehmenssysteme infizieren können, selbst wenn sie nicht in solche Systeme integriert sind. Die Nutzung eines Datenerfassungsdienstes beinhaltet den Empfang von Daten von diesem Dienst. Selbst einige der sichersten Formen der Datenübertragung bergen Risiken.

Eine Systemeindringung kann Angreifer auch dazu verleiten, Geräte anzugreifen, die Residential-IPs an einen Proxy-Dienst liefern. Dies kann zu Reputationsschäden für die Kunden dieses Proxy-Dienstes führen.

Beispiel einer realen Schwachstelle bei einem Residential-Proxy-Anbieter:

Die Betreiber des Kimwolf-Botnets kauften Proxy-Dienste vom Residential-Proxy-Anbieter IPIDEA. Mithilfe bösartiger Befehle infizierten sie die internen Netzwerke von Geräten, die IPs an IPIDEA liefern. Diese Netzwerke wurden anschließend gescannt, und auch andere anfällige Geräte in diesen lokalen Netzwerken wurden infiziert.

Kimwolf hat sich mit dieser Methode schätzungsweise auf mehr als 2 Millionen Geräte ausgebreitet. Auch die von den Kunden IPIDEAs erfassten Daten flossen durch diese infizierten Netzwerke.¹²

Datenverlust

Ohne Datensicherheit können böswillige Akteure Zugang zu den von Unternehmen erfassten Daten erlangen, um deren Aktivitäten und Strategien zu erkennen, was zum Verlust von Wettbewerbsvorteilen oder Geschäftsmöglichkeiten führt.

Beispiel aus der Praxis:

Obwohl Webdaten öffentlich sind, können Unternehmen Webdaten auf neuartige Weise für Wettbewerbsvorteile nutzen. Beispielsweise geben Investoren bis zu 10 % ihres Marktdatenbudgets für alternative Daten aus¹³ , offenbaren ihre Strategien jedoch selten, da sie glauben, dass diese ihnen einen Vorteil gegenüber Wettbewerbern verschaffen können. Ein Datenleck kann dazu führen, dass ihre Strategien offengelegt und daher von Wettbewerbern kopiert werden.

PII-Verwaltung

Webdaten umfassen private Daten hinter Logins oder personenbezogene Daten (PII), die versehentlich oder absichtlich auf öffentlichen Websites offengelegt werden können. Wenn Webdatenerfassungsdienste PII nicht korrekt verwalten, können solche Daten von böswilligen Akteuren erlangt werden. Dies kann zu Reputationsschäden für den Webdatenerfassungsdienst und seine Kunden führen.

Anwendungssicherheit

Anwendungen oder Zwischenprogramme wie SDKs, die IPs für Webdatenerfassungsdienste liefern, können von externen Zertifizierungsanbietern wie McAfee auf eine Whitelist gesetzt werden. Dies stärkt das Vertrauen von Unternehmen in die ethische Bereitstellungspraxis des Webdatenerfassungsdienstes.

Versicherungsdeckung

Unternehmen verlangen diese Versicherungen in der Regel von allen digitalen Anbietern: 

• Berufshaftpflichtversicherung
• Cyberversicherungszertifikat

Detaillierter Benchmark: Bewertung von Webdateninfrastruktur-Anbietern

Benchmark: Ethische Nutzung durch Kunden

Hier möchten wir die Frage beantworten: Stellt das Unternehmen sicher, dass die Nutzung seiner Lösung ethisch und im Einklang mit den geltenden Gesetzen und Vorschriften erfolgt? Zusammenfassung unserer Erkenntnisse:

* Nicht zutreffend: Da Zyte und Apify Proxys von ihren Lieferanten kaufen und diese nicht direkt von privaten Nutzern erfassen, würden Website-Betreiber sie bei Missbrauch nicht kontaktieren, und sie müssen daher kein Kontaktformular für Websites erstellen.

Zuerst haben wir Richtlinien überprüft:

Überprüfung der Acceptable Use Policy

Alle Anbieter verbieten illegale Aktivitäten und nennen Beispiele wie DoS-Angriffe, unerwünschte Massennachrichten, Identitätsbetrug oder Spoofing. 

Darüber hinaus betonen einige Anbieter, dass sie Aktivitäten verbieten, die wahrscheinlich illegal sind. Nachfolgend listen wir die verbotenen Aktivitäten auf Grundlage der Acceptable Use Policies und ihrer Nachträge (z. B. Datenverarbeitungsnachtrag) für jeden Anbieter auf.

Wir suchten nach Bestimmungen, die Aktivitäten verbieten, die wahrscheinlich illegal sind und anhand des Nutzerverhaltens erkannt werden können. Beispielsweise könnte ein erheblicher Anteil der Nutzer, die Proxys für bezahlte Umfragen verwenden, Proxys nutzen, um Umfrageanbieter über ihren tatsächlichen Standort zu täuschen. Daher ist diese Aktivität sowohl wahrscheinlich illegal als auch anhand des Nutzerverhaltens identifizierbar (z. B. wenn sich ein Nutzer bei einer Website für bezahlte Umfragen anmeldet).

Obwohl die klare Benennung verbotener Aktivitäten vorteilhaft ist, ist sie keine Voraussetzung und wirkt sich nicht auf unsere Bewertung aus. Unternehmen können angeben, dass sie illegale Aktivitäten nicht zulassen, anstatt jeden möglichen Fall illegaler Aktivitäten zu nennen.

Die Nennung einer Aktivität als verboten bedeutet nicht, dass solche Aktivitäten geprüft oder blockiert werden. Unsere Bewertungen stützen sich darauf, wie diese Richtlinien wie nachfolgend beschrieben umgesetzt werden:

Prozesse für ethische Nutzung

Während einige in den Acceptable Use Policies genannte Kategorien recht weit gefasst sind (z. B. unbefugtes Data Scraping oder unbefugter Zugriff), sind andere spezifisch genug, um in präventive Maßnahmen umgesetzt zu werden (z. B. Zugriffsblockierung), die Datenerfassungsdienste für Nutzer implementieren können, die ihren KYC-Prozess noch nicht abgeschlossen haben.

Auf Grundlage dieser spezifischen verbotenen Nutzungen haben wir eine umfangreiche Liste von Nutzungen erstellt, die wahrscheinlich illegale Nutzungen von Proxys darstellen. Für jeden Anwendungsfall haben wir Szenarien mit relevanten Webdomains und Aktionen identifiziert. Beispielsweise versuchten wir im Szenario für künstliches Social-Media-Engagement, uns über einen Proxy bei einem sozialen Netzwerk anzumelden, um einen bestehenden Beitrag zu liken.

Um zu testen, ob Unternehmen eine unethische Nutzung durch Kunden zulassen, haben wir bei jedem Anbieter ein Konto mit einer Nicht-AIMultiple-E-Mail-Adresse erstellt. Wir haben mit diesem Konto keinen KYC-Prozess abgeschlossen und die Dienste genutzt, um zu verstehen, was anonyme Nutzer mit jedem Dienst erreichen können. KYC ist ein entscheidender Schritt, bei dem der Nutzer Daten einreicht, um die juristische Person zu validieren, die er vertritt. Dadurch wird die Nutzeraktivität mit einer juristischen Person verknüpft:

• Die zur Rechenschaft gezogen werden kann.
• Deren Beweggründe für Online-Handlungen (z. B. die Nutzung von Proxys zur Anmeldung auf Regierungswebsites) überprüft werden können. Beispielsweise kann einem Forscher oder einer Regierungsbehörde nach dem Verständnis ihres Anwendungsfalls gestattet werden, sich über einen Proxy bei einer Regierungswebsite anzumelden.

Wir erwarteten, dass diese Anwendungsfälle einen KYC-Prozess auslösen, aber bei den meisten Anbietern geschah dies nicht. Ein Häkchen zeigt an, dass die Anfrage für Nutzer blockiert wurde, die den KYC-Prozess noch nicht abgeschlossen hatten:

Zur Klarstellung: Unternehmen, die Datenerfassungsdienste anbieten, sind rechtlich nicht verpflichtet, diese Websites zu blockieren, und einige dieser Szenarien können Teil einer legalen Nutzung sein. Beispielsweise möchte ein Forscher möglicherweise Proxys nutzen, um ein kontrolliertes Social-Media-Experiment durchzuführen. Angesichts des Missbrauchspotenzials in diesen Szenarien erwarteten wir jedoch, dass die Datenerfassungsdienste sie für Nutzer blockieren, die den KYC-Prozess noch nicht abgeschlossen haben.

Wie Marken von ihnen blockierte Domains kommunizieren

• Bright Data führt in seiner Acceptable Use Policy Kategorien gesperrter Domains auf.

Die Präferenzen von Websites in Bezug auf automatisierte Datenerfassung respektieren

Was ist robots.txt?

robots.txt ist ein Dateiname zur Umsetzung des Robots Exclusion Protocol. Dieses Protokoll wird von Websites verwendet, um Bereiche der Website anzuzeigen, die der Websitebetreiber bevorzugt von Bots nicht besuchen lässt. Die Einhaltung von robots.txt ist freiwillig.

Vor- und Nachteile der Einhaltung von robots.txt

• Respektiert die Präferenzen der Website.
• Ist möglicherweise nicht aktuell und daher veraltet.
• Enthält in der Regel Bestimmungen, die anzeigen, dass der Websitebetreiber bevorzugt, dass bestimmte öffentliche Bereiche der Website nicht von Bots aufgerufen werden.

robots.txt kann Bots zudem ungleichen Zugriff gewähren. Beispielsweise können Websitebetreiber angeben, dass sie es bevorzugen, wenn Bots von Antwortmaschinen bestimmte URLs nicht besuchen, die von Suchmaschinen-Bots besucht werden.

robots.txt ist kein rechtliches Dokument, und es kann die Blockierung des Bot-Zugriffs auf Seiten verlangen, die rechtlich:

• das Scraping erlaubt ist (z. B. öffentliche Daten) oder 
• das Scraping nicht erlaubt ist (z. B. Daten hinter einem Login, bei denen die AGB des Websitebetreibers das Scraping solcher Daten verbieten).

Anbieter von Webdatenerfassungsdiensten können Residential-Proxy-Nutzer auffordern, einen KYC-Prozess abzuschließen und nachzuweisen, dass sie einen legalen und ethischen Anwendungsfall haben, bevor diese Nutzer robots.txt missachten dürfen.

Für Tests sendeten wir Anfragen an Seiten in Unterordnern, die laut robots.txt blockiert werden sollen. Die von uns verwendeten Domains waren aimultiple.com und 5 Webdomains unter den 100 meistbesuchten Webdomains. Bright Data blockierte diese Anfragen:

CNN-Beispiel

Die robots.txt von CNN blockiert den Ordner /terms¹⁴ . Zum Testen navigierten wir mit Residential-Proxys zu diesem Ordner und erhielten von allen Anbietern außer Bright Data 200-Meldungen mit den Daten der Seite. Die Antwort von Bright Data lautet: „Residential Failed (bad_endpoint): Die angeforderte Website ist gemäß robots.txt nicht für den sofortigen Residential-Zugriff (ohne KYC) verfügbar. Um vollen Residential-Zugriff für diese Website zu erhalten, füllen Sie das KYC-Formular aus: https://brightdata.com/cp/kyc”.

Missbrauchsmanagement

Wir haben eine Methodik zur Bewertung der Missbrauchsmanagementpraktiken von Anbietern beschrieben und Daten gesammelt, um unsere Bewertungskriterien zu erfüllen:

* Nicht zutreffend: Zyte kauft Proxys von anderen Proxy-Anbietern. Wenn der Dienst von Zyte daher für Missbrauch genutzt wird, würden Website-Betreiber dessen Proxy-Anbieter kontaktieren und nicht Zyte.

Obwohl alle Anbieter 3rd-Parteien oder Kunden Möglichkeiten bieten, sie zu erreichen, sind diese wichtig für die Problemlösung:

• Öffentliche Missbrauchsrichtlinie
• Eine eigene E-Mail-Adresse zur Meldung von Missbrauch
• Eine alternative Kontaktmethode (z. B. Webformular oder Messaging-Schnittstelle), über die Meldende das Unternehmen erreichen können. Dies ist hilfreich, da E-Mails gefiltert werden können und den Posteingang möglicherweise nicht erreichen.
• Reaktionsfähigkeit auf Nachrichten

3 Anbieter im Benchmark (Bright Data) stellten eine E-Mail-Adresse zur Meldung von Missbrauch bereit. Alle diese Anbieter legten außerdem ihre Richtlinien in diesem Bereich dar.

Wir erwarten, dass alle anderen Anbieter dasselbe tun und dies kurzfristig zu einer branchenweiten Praxis wird.

Schließlich bewerteten wir die Reaktionsfähigkeit im Missbrauchsmanagement, indem wir Missbrauchsmeldungen von Drittanbieter-Domains (d. h. Nicht-AIMultiple) per E-Mail sendeten und die Antwortzeiten maßen. Wenn wir keine Missbrauchs-E-Mail-Adresse finden konnten, sendeten wir die Meldung an das allgemeine Kontaktformular. Wir testeten dies über 3 E-Mail-Staffeln, gesendet am: 

• Freitag, 2. Mai 2025, von:
  • Einem Ticketverkaufsdienst mit ca. 30k monatlichem Traffic
  • Einer Anwaltskanzlei mit ca. 1k monatlichem Traffic
• Am 17. Mai 2025 vom Ticketverkaufsdienst.
• Am 24. Mai 2025 von einer Social-Media-Agentur mit begrenztem Online-Traffic.

Die ersten E-Mails vom 2. Mai 2025 wurden an Unternehmen gesendet, die dedizierte E-Mail-Adressen bereitstellten. Später erweiterten wir unsere Liste und nahmen allgemeinere E-Mail-Adressen auf, die in den Kontaktbereichen aller bewerteten Webdatenerfassungsdienste aufgeführt waren. Wenn ein Unternehmen auf unsere E-Mails antwortete, hörten wir auf, ihm weitere E-Mails zu senden.

In unseren E-Mails erwähnten wir, dass unsere Websites vermutlich Bot-Traffic über Proxys erhalten hätten, und baten um Unterstützung bei der Identifizierung der Quelle der Proxys. Es gelang uns, alle Compliance-Teams außer einem zu einer Antwort zu bewegen. Fast alle Antworten gingen noch am selben Tag ein.

Nutzungstransparenz

Website-Betreiber, die Webdaten bereitstellen, und Webdatenerfassungsdienste hatten in der Vergangenheit keinen Datenaustausch über Datenerfassungsaktivitäten. Um Crawling-Aktivitäten zu begrenzen, konnten Website-Betreiber entweder:

• Webdatenerfassungsdienste kontaktieren, um Missbrauch zu melden
• Mit Bot-Management-Anbietern wie Cloudflare zusammenarbeiten, um das Crawling zu erschweren.

Inzwischen gibt es Initiativen für einen strukturierteren Datenaustausch zwischen diesen Parteien. Bright Data hat die Bright Data Webmaster-Konsole eingeführt, mit der Webmaster Crawling-Aktivitäten auf ihren Websites überwachen können. Mehr Transparenz dürfte die Praktiken der Webdatenerfassung verbessern.

Unsere Erfahrung mit der Webmaster-Konsole

Wir haben uns registriert, indem wir unsere Domain-Inhaberschaft verifiziert und eine Datei collectors.txt auf der Domain hinzugefügt haben.

Wir haben jetzt Zugriff auf die Bot-Aktivität von Bright Data auf unserer Website:

Benchmark: Ethische Bereitstellung

* Bewertungen auf diesen 3rd-Party-Plattformen wurden einbezogen: Amazon Appstore, App Store, Google Play Store, Trustpilot. Der Einfachheit halber wurde dieser Wert für 5 Haupt-Apps von Bright Data berechnet, nicht für alle 120 Apps, die auf deren Website vorgestellt werden.

Partnertransparenz

Die von Webdateninfrastruktur-Unternehmen benötigte Bandbreite kann auf ethische Weise bereitgestellt werden, indem Vorteile (z. B. Zahlungen, Funktionen wie die Möglichkeit, Werbung zu überspringen) im Austausch für die Einwilligung zur Freigabe der eigenen Internetverbindung gewährt werden. Es ist jedoch auch möglich, sich unbefugten Zugang zu den Systemen von Endnutzern zu verschaffen und deren Verbindungen zu verkaufen. 

Webdateninfrastruktur-Anbieter können Richtlinien und Prozesse formulieren, externe Audits durchführen und ihren Ansatz sowie die Audit-Ergebnisse veröffentlichen, um Transparenz darüber zu schaffen, wie sie Internetverbindungen beziehen. Dies kann das Vertrauen in die ethische Bereitstellung ihres Dienstes stärken.

Wir haben ein Rahmenwerk für Transparenz auf der Angebotsseite bei Webdaten erstellt und die Anbieter anhand dieses Rahmenwerks bewertet. Wir haben dieses Rahmenwerk unabhängig davon angewendet, ob ein Webdatenerfassungsdienst Residential-IPs selbst oder über andere Proxys bezogen hat. Unser Ziel ist es, Transparenz über die gesamte Lieferkette von IPs zu schaffen, da unethische Praktiken an jedem Punkt der Lieferkette entstehen können.

Hier finden Sie unsere detaillierten Ergebnisse:

Bright Data 

Bright Data wird als Level 5 eingestuft, da das Unternehmen Folgendes veröffentlicht:

• Seinen Beschaffungsansatz und wie App-Entwickler über sein SDK mit ihm zusammenarbeiten können^{15 16}
• Details zu 120 Lieferanten wurden öffentlich geteilt. Wir konnten die Bewertungen dieser Lieferanten auf 3rd-Party-Plattformen prüfen, um abzuschätzen, wie beliebt sie sind. ¹⁷

Überprüfung ausgewählter Apps

Bright Data teilt 120 Apps auf seiner Website. Apps wie Bright VPN werden von 3rd-Parteien hinsichtlich Offenlegung und UX zertifiziert.¹⁸ Wir haben diese Apps auch heruntergeladen, um sie genauer anzusehen:

• Bright VPN
• EarnApp
• Sling Kong

Opt-in-Formular mit der Verpflichtung, keine personenbezogenen Daten zu erheben: Einwilligungsformular mit klarer Erklärung von

Bright VPN:

Earn App:

Sling Kong:

• Dem Nutzer wird das Angebot während des Spiels angezeigt:

• Opt-in:

• Zusätzliche Informationen während des Opt-ins:

• Opt-out:

Von den Apps gebotener Wert:

• Bright VPN: Kostenloser VPN-Dienst
• EarnApp: Zahlungen
• Sling Kong: In-Game-Virtualwährung

Andere

Obwohl sich die meisten Anbieter der Ethik beim Web-Scraping bewusst sind und zu diesem Thema publiziert haben (z. B. ¹⁹ , haben wir in diesem Bereich keine spezifischen Selbstverpflichtungen festgestellt, außer bei Zyte.²⁰

Wir erwarten, dass sich dies ändert und die meisten Anbieter kurzfristig mindestens Level 1 erreichen.

Externe Zertifizierung

* Zeigt an, dass das Unternehmen alle externen Zertifizierungen in dieser Kategorie erreicht hat

Für Anbieter ist es entscheidend, über die richtigen Systeme, Mitarbeiter und Prozesse zu verfügen, um die Daten ihrer Kunden zu schützen und die Apps abzusichern, die ihre IPs liefern. Siehe unsere Methodik zur Messung externer Zertifizierungen, um die Logik hinter der Bewertung zu verstehen.

GDPR- & CCPA-Compliance

Alle Anbieter geben öffentlich an, beide Datenschutzvorschriften einzuhalten. Daher wurde dies nicht in die Bewertung einbezogen.

Wie wir die organisatorische Reife gemessen haben

Auf Grundlage der in diesem Bereich identifizierten Fähigkeiten haben wir anhand öffentlicher Angaben geprüft, ob diese Zertifikate bei jedem Anbieter vorhanden sind:

• Zertifizierung für Datensicherheit & PII-Zertifizierung: ^{21 22 23 24}
• IP-Quelle auf Whitelist: ²⁵
• Ethische Praktiken bewertet: ²⁶

Einige Anbieter, die keine ISO-27018-Zertifikate besitzen, behaupteten, dass sie als zertifiziert angesehen werden sollten, da sie Cloud-Dienstanbieter nutzen, die über ISO-27018-Zertifikate verfügen. Unser Cybersecurity-Berater war der Meinung, dass dies zwar den Erwerb des Zertifikats erleichtern würde, sie jedoch weiterhin ihre Richtlinien und Kontrollen zertifizieren lassen müssten, um das Zertifikat zu erhalten.

Versicherungsdeckung

3 Webdatenerfassungsunternehmen haben ihre Versicherungszertifikate geteilt. Wir veröffentlichen keine Zertifikate, haben die Dokumente jedoch geprüft, um sicherzustellen, dass

• sie diese 2 Versicherungskategorien abdecken
• Die Versicherungssumme in jeder Kategorie mindestens im mehrstelligen Millionenbereich in US-Dollar liegt.

Branchenallianzen und ethische Webdaten

Es gibt 2 große Branchenallianzen:

• Alliance for Responsible Data Collection einschließlich Bright Data, Common Crawl und anderen
• Ethical Web Data Collection Initiative (EWDCI), zu der unter anderem Oxylabs, ProxyEmpire und Zyte gehören. Früher gehörte auch NetNut dazu, bis NetNut vom FBI geschlossen wurde, sodass die Teilnahme an einer Branchenallianz Unternehmen nicht davon abgehalten hat, gegen das Gesetz zu verstoßen.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Haftungsausschlüsse und Empfehlungen für nächste Schritte

Alle Anbieter in diesem Benchmark mit Ausnahme von Nimble sind Kunden von AIMultiple. Wie immer haben wir während dieser Recherche unsere ethischen Verpflichtungen eingehalten.

Wir haben eine umfassende Überprüfung der ethischen Webdatenerfassung abgeschlossen, und obwohl wir mit dem Umfang dieses Benchmarks zufrieden sind, würden wir die Beteiligung gern erhöhen. Wir danken diesen Unternehmen für die Weitergabe ihrer Versicherungsdeckung: Apify, Bright Data, Zyte.

Wir warten auf Antworten von Nimble. Wir werden den Bericht aktualisieren, sobald wir weitere Rückmeldungen von ihnen haben. 2 Anbieter haben sich entschieden, nicht an dieser Benchmark-Iteration teilzunehmen. Wir aktualisieren diesen Bericht stets, wenn eines dieser 7 Unternehmen Änderungen vorschlägt, die faktenbasiert und fair gegenüber allen Anbietern sind und Unternehmen helfen, bessere Entscheidungen zu treffen.

NetNut gehörte zu den Unternehmen, die wir bei der Erstveröffentlichung dieses Berichts im Jahr 2025 bewertet haben. Es hatte in unserem Deep Dive zur ethischen Bereitstellung, in dem wir die IP-Quellen dieser Anbieter untersuchten, die niedrigste mögliche Punktzahl (Level 0). NetNut wurde 2026 geschlossen, nachdem das FBI Verbindungen zu Botnetzen festgestellt hatte.²⁷ Wir hoffen, dass dies ein Anreiz für alle Anbieter ist, Transparenz über ihre Beschaffung zu schaffen.

Unserer Recherche zufolge ist dies der erste Bericht, der sich auf ethische Webdaten konzentriert. Wir hoffen, dass diese Transparenz der Webdatenbranche helfen kann, kreative Lösungen für ihre Herausforderungen zu finden. Diese Lösungen müssen die Interessen von Webdatensammlern, Nutzern von Web-Automatisierung, Website-Betreibern und privaten Nutzern, die ihre IPs an die Branche liefern, in Einklang bringen.

Einschränkungen der Methodik

Dieser Benchmark misst beobachtbare Reifeindikatoren, darunter Kontrollen für die Kundennutzung, Transparenz der IP-Bereitstellung, externe Zertifizierungen und die Weitergabe von Versicherungsinformationen. Die Bewertung bestimmt jedoch nicht vollständig, ob ein Anbieter in jedem Kundenanwendungsfall rechtskonform ist.

Daher sollte eine hohe Benchmark-Punktzahl als Input für die Sorgfaltsprüfung bei der Beschaffung betrachtet werden und nicht als Garantie für Legalität oder ethische Nutzung.

Referenzen

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Ethischer & konformer Webdaten-Benchmark}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Abgerufen am 4. August 2026}
}

Referenzlinks

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

Page not found - Bright Data

Bright Data

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

27.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 60% der Fortune 500.

Cems Arbeit wurde von führenden globalen Publikationen zitiert, darunter Business Insider, Forbes, Washington Post, globalen Unternehmen wie Deloitte, HPE und NGOs wie dem World Economic Forum sowie supranationalen Organisationen wie der European Commission.

Während seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen über ein Jahrzehnt lang bei McKinsey & Company und Altman Solon in Technologieentscheidungen. Er veröffentlichte auch einen McKinsey-Bericht zur Digitalisierung.

Er leitete die Technologiestrategie und Beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Zudem führte er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos an, das innerhalb von 2 Jahren von null auf einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung anwuchs. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er schloss sein Studium an der Bogazici University als Computer-Ingenieur ab und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten