Ethischer & konformer Web-Daten Benchmark

Wenn Unternehmen ihre Web-Daten-Operationen skalieren, bewerten Compliance-, Daten- und Risiko-Verantwortliche zunehmend die damit verbundenen ethischen, rufschädigenden und rechtlichen Risiken.

Wir haben 5 führende Web-Datensammeldienste in 3 Dimensionen verglichen und jeden Dienst mit mehr als 20 potenziell unethischen Szenarien getestet.

Unsere Arbeit hilft Ihnen, den ethischen Stand Ihrer Datensammel-Praktiken zu bewerten und die möglichen Folgen unethischer Ansätze zu verstehen. Wir bieten außerdem Leitlinien für ethische Web-Datensammlung und bewerten Web-Datensammeldienste aus ethischer und Compliance-Perspektive:

Bewertung von Web-Datensammeldiensten

Wir haben führende Web-Datensammeldienste (auch Web-Datenanbieter oder Web-Dateninfrastruktur genannt) anhand unserer Checkliste für ethische Web-Daten bewertet. Diese Punktzahlen stellen Reifegrade dar, wobei 5 der höchste ist:

* Dies sind Codes für Anbieternamen. Diese Anbieter wollten nicht in diesem Bericht erwähnt werden und werden bis zur Klärung dieser Angelegenheit ans Ende der Liste gesetzt.

** ✅ zeigt an, dass das Unternehmen sich entschieden hat, seine Versicherungszertifikate mit AIMultiple zu teilen. ❌ zeigt an, dass das Unternehmen sich entschieden hat, seine Versicherungszertifikate nicht mit uns zu teilen, und wir daher deren Versicherungsschutz nicht validieren konnten. Der Versicherungsschutz ist die einzige Kategorie, in der wir auf die Beteiligung der Web-Datendienste angewiesen waren, um sie zu bewerten.

Sortiert nach der Zusammenfassungsbewertung.

Bewertungsmodell für ethische Web-Daten

Nachfolgend erläutern wir, wie diese Bewertungen zustande kommen. Sie können auch die Gründe für die Auswahl dieser Bewertungsdimensionen einsehen.

In den ersten 2 Kategorien haben wir 5 Kompetenzen identifiziert, und die Unternehmen erhielten Bewertungen basierend auf der Anzahl der erfüllten Kompetenzen. Level 5 spiegelt die höchste auf dem Markt beobachtete Reife wider und stellt aktuelle Best Practices dar, nicht Perfektion.

Fähigkeiten für ethische Nutzung durch Kunden

• Effektive Prozesse für ethische Nutzung: Wir bewerten die Fähigkeit jedes Anbieters, die unethische Nutzung seiner Residential-Proxy-Dienste durch kontrollierte Testszenarien zu verhindern. Falls eine unserer Anfragen vom Anbieter blockiert wird, gilt dies als erreicht.
• Verbesserte Prozesse für ethische Nutzung: Ähnlich wie „effektive Prozesse für ethische Nutzung“. Allerdings zeigt diese Fähigkeit, dass der Dienstanbieter mehr als einen unserer Versuche blockiert hat, seine Dienste für unethische Anwendungsfälle zu nutzen.
• Best-Practice-Prozesse für ethische Nutzung: Ähnlich wie „effektive Prozesse für ethische Nutzung“. Allerdings zeigt diese Fähigkeit, dass der Dienstanbieter die meisten unserer Versuche blockiert hat, seine Dienste für unethische Anwendungsfälle zu nutzen.
• Missbrauchsmanagement-Grundlage: Veröffentlichung einer Missbrauchsmanagement-Richtlinie und einer Methode zur Meldung von Missbrauch
• Reaktionsfähiges Missbrauchsmanagement: Wir haben gemessen, wie Unternehmen auf mehrere Missbrauchsmeldungen reagiert haben. Selbst wenn es keinen Hotline für die Meldung von Missbrauch gab, haben wir die von den Unternehmen angegebenen E-Mails genutzt, um ihr Team zu erreichen. Wenn wir innerhalb einer Woche keine Antwort auf unsere Meldung erhalten haben, wird das Unternehmen als nicht reaktionsfähig betrachtet.

Fähigkeiten für ethische Beschaffung

Ethische Beschaffung bedeutet, IP-Adressen auf ethische Weise zu erwerben. Unsere Marktanalyse hat folgende Transparenzgrade hinsichtlich ethischer IP-Beschaffung identifiziert:

• Level 1: Veröffentlichte IP-Beschaffungsrichtlinie.
• Level 2: Mindestens eine Quelle (z. B. eine mobile App) für IPs offengelegt, die IPs auf ethische Weise liefert. Die offengelegte Quelle sollte insgesamt mindestens 10k Bewertungen auf Drittanbieter-Plattformen haben, darunter Google, Apple, Amazon App Stores und Trustpilot.
• Level 3: Wie Level 2, jedoch mit 100k Bewertungen
• Level 4: Wie Level 3, jedoch mit 1M Bewertungen
• Level 5: Wie Level 4, jedoch mit 10M Bewertungen

Bewertungen sind ein Indikator für die Beliebtheit von Apps und ein wichtiges Signal für diese Bewertung. Web-Datensammeldienste müssen mit beliebten Anwendungen zusammenarbeiten, um den IP-Bedarf ihrer Kunden decken zu können.

Für die Qualifizierung sollten die offengelegten Apps diesen Best Practices folgen. Wir werden dies nicht für jede offengelegte App überprüfen, aber für einige zufällig ausgewählte:

• Informierte Einwilligung:
  • Nutzer müssen aktiv einwilligen, bevor sie ihre Internetverbindung teilen. Der Einwilligungsbildschirm sollte Folgendes darlegen:
    • Den Anbieter
    • Den Dienst
    • Wie ihre IP verwendet wird
  • Nutzer sollten auf detaillierte Informationen zugreifen können zu
    • Wie ihre Internetverbindung verwendet wird
    • Datenschutzerklärung
• Wert: Nutzer müssen einen Mehrwert von der App erhalten (z. B. Bezahlung, Möglichkeit, Werbung zu überspringen oder eine andere Funktionalität)
• Datenschutz: Eingeschränkte und transparente Erfassung von Nutzerdaten.

Für Residential-Proxy-Netzwerke sollten Käufer auch überprüfen, ob die Einwilligung spezifisch, informiert, widerrufbar und von nicht zusammenhängenden App-Berechtigungen getrennt ist. Sie sollten hinterfragen, ob Nutzer sich einfach abmelden können, ob die Bandbreitennutzung begrenzt ist, ob Minderjährige ausgeschlossen sind und ob der Anbieter Apps oder SDKs, die Residential-IPs liefern, überprüft.

Externe Zertifizierung

Wir haben die externe Zertifizierung danach bewertet, ob Unternehmen diese für unternehmensgerechte Sicherheit und Compliance relevanten Zertifikate erworben haben.

• PII-Zertifizierung: Nachgewiesene Fähigkeit, PII zu verwalten, durch Erwerb von ISO 27018
• Datensicherheitszertifizierung: Nachgewiesene Datensicherheitspraktiken durch Erwerb eines der folgenden Zertifikate: SOC 2 oder ISO/IEC 27001
• IP-Quelle auf Whitelist: Externe Zertifizierungsanbieter wie McAfee zertifizieren entweder:
  • Bestimmte 3rd Party Apps, die IPs liefern
  • SDK, das IPs von 3rd Party Apps sammelt
• Ethische Praktiken bewertet: Ein ISAE 3000 Prüfungsauftrag kann abgeschlossen werden, um die internen Compliance- und Ethikpraktiken zu bewerten.

Versicherung

Wir haben Anbieter gebeten, uns diese Versicherungsdokumente zur Verfügung zu stellen:

• Berufshaftpflichtversicherung – Zertifikat, das die Haftung des Anbieters im Falle von Problemen bei der Dienstleistung abdeckt
• Cyber-Versicherungszertifikat, das die Haftung des Anbieters im Falle von Informationssicherheitsvorfällen abdeckt.

Zusammenfassungsbewertung

Diese Bewertung ist die Summe aller Einzelbewertungen geteilt durch 3. Die Einzelbewertungen sind:

• 0 bis 5 für Fähigkeiten zur ethischen Nutzung durch Kunden
• 0 bis 5 für Fähigkeiten zur ethischen Beschaffung
• 0 bis 3 für externe Zertifizierung
• 0 bis 2 für Versicherungen

Führende Web-Datensammeldienste

AIMultiple hat die 7 größten Web-Datensammeldienste anhand der Mitarbeiterzahl auf LinkedIn ausgewählt. Wir haben dieses Metrik gewählt, weil es öffentlich zugänglich ist und mit den Umsätzen und der Unternehmenstauglichkeit des Unternehmens korrelieren sollte. Bessere Metriken wie Umsätze oder die Zahl der Angestellten sind für diese privaten Unternehmen nicht öffentlich verfügbar.

Alle ausgewählten Unternehmen haben im April 2025 mehr als 100 mit ihren LinkedIn-Profilseiten verbundene Mitarbeiter. Derzeit werden 5 der 7 ausgewählten Unternehmen auf dieser Seite angezeigt, und die verbleibenden 2 haben sich entschieden, nicht in den Bericht aufgenommen zu werden.

Fokussierte Web-Datensammelprodukte

Diese Unternehmen bieten eine Reihe von Produkten an, darunter Proxies, Data Scraping APIs und Datensätze. Während alle Produkte aus ethischer Perspektive betrachtet werden können, haben wir uns zunächst auf das Produkt konzentriert, das die höchste Flexibilität bietet und die meisten anderen Produkte antreibt: Residential Proxies.

Web-Datensammelprodukte können als Hierarchie betrachtet werden, in der Proxies die Kernschicht bilden, auf der alle anderen Dienste aufbauen. Dies liegt daran, dass Proxies es Maschinen ermöglichen, über verschiedene Ziele auf das Internet zuzugreifen, was eine vielfältige und große Menge an Internetverbindungen ermöglicht, die für die Datensammlung entscheidend sind. Daher sind Proxies das leistungsfähigste Web-Datensammelprodukt; es kann verwendet werden, um Funktionen auszuführen, die mit Datensätzen oder Data Scraping APIs nicht möglich wären.

Unter den Proxies sind Residential Proxies das Produkt, das für Websites am schwersten als Proxy zu identifizieren ist. Beispielsweise sind andere Proxies wie Datacenter-Proxies aufgrund ihres Standorts leicht zu identifizieren. Daher treiben Residential Proxies die meisten anderen Web-Datenprodukte wie Data Scraping APIs an.

Überprüfen: Ist Ihre Web-Datensammlung konform & ethisch?

Ihr Unternehmen nutzt höchstwahrscheinlich Web-Daten. Die Branche ist jedoch nur begrenzt reguliert, was die Wahl eines ethischen und konformen Anbieters wichtig macht. Um dies zu erreichen, haben wir ein ganzheitliches Rahmenwerk erstellt, das verschiedene Aspekte der Web-Datensammlung berücksichtigt, darunter ethische Beschaffung, ethische Nutzung und externe Zertifizierung.

Web-Daten sind ein übliches Betriebsmittel

Als Unternehmen ist Ihr Geschäft teilweise auf Web-Daten angewiesen, aufgrund zahlreicher Anwendungsfälle wie:

• Dynamische Preisgestaltung für Einzel- und E-Commerce
• Echtzeit-Alternative Daten für Investmentfonds
• KYC-Prozess im Firmenkundengeschäft
• KI-Modelltraining oder Fine-Tuning
• KI-Inferenz oder RAG
• Marktforschung

Mit KI sind Web-Daten jetzt noch wichtiger

Obwohl die Web-Datensammlung so alt wie das Web ist, hat ihre Bedeutung nach dem Aufkommen generativer KI-Modelle drastisch zugenommen. Erbauer dieser Modelle wie OpenAI und Anthropic begannen ohne nennenswerte Content-Partnerschaften und nutzten hauptsächlich Online-Daten, um ihre ersten Modelle zu entwickeln, was zum Aufstieg der Billionen-Dollar-KI-Industrie geführt hat.

Begrenzte regulatorische Aufsicht

Obwohl die KI-Regulierung im Rampenlicht steht, bleibt die Datensammelbranche in den meisten Ländern weitgehend unreguliert. Klar illegale Online-Aktivitäten sind eindeutig definiert. Es gibt jedoch nur begrenzte regulatorische Anforderungen an die Branchenteilnehmer, den Missbrauch ihrer Dienste durch Nutzer proaktiv zu verhindern.

Es liegt an den Plattformen selbst, Best Practices und Compliance-Standards festzulegen, um eine ethische Datensammlung und Proxy-Nutzung zu gewährleisten. Daher ist Ihre Anbieterauswahl bei der Datensammlung wichtiger als in stark regulierten Branchen wie dem Bankwesen, wo jeder Dienstleister eine Vielzahl von Vorschriften einhalten muss.

Die ethische Haltung Ihrer Lieferanten ist Teil der Reputation Ihres Unternehmens

Unabhängig davon, ob Sie die Daten sammeln oder konsumieren, sind Sie für deren Beschaffungsprozess verantwortlich.

Die Verantwortung von Unternehmen für rechtswidrige Aktivitäten in ihrer Lieferkette hängt von der Gerichtsbarkeit ab. In Deutschland beispielsweise sind Unternehmen verpflichtet, KYS- und Risikomanagement-Aktivitäten durchzuführen, um durch ihre Lieferkette verursachte Schäden zu identifizieren und zu verhindern. Selbst wenn Unternehmen nicht für Schäden durch ihre Lieferkette verantwortlich sind, können sie einem Reputationsrisiko ausgesetzt sein.

Was kostet unethische & nicht konforme Datensammlung?

Reputationsrisiko

Wenn öffentlich wird, dass ein Unternehmen einen Web-Datensammeldienst nutzt, der unethisches Verhalten zeigt oder Handlungen vornimmt, die seine Datensicherheit gefährden, kann dies zu erheblichen Reputationsschäden führen, wie z. B. Geschäftsverlust, Kundenabwanderung, Talentabwanderung und Verlust des Vertrauens von Investoren.

Reale Beispiele für Reputationsverluste durch Unternehmenslieferanten:

• Nike hat mehrfach Reputationsschäden erlitten aufgrund unethischer Arbeitspraktiken seiner Zulieferer.¹
• Viele Unternehmen wie EY verloren das Vertrauen ihrer Kunden, als sie vom MOVEit Managed File Transfer Software-Vorfall betroffen waren. ²

Rechtliches Risiko

Reputationsverlust, insbesondere wenn er zu öffentlicher Empörung führt, wird typischerweise von Klagen von Kunden des Unternehmens oder anderen Interessengruppen gefolgt, die durch die unethischen Praktiken geschädigt wurden.

Reales Beispiel: Starbucks ist eine der jüngsten Marken, die wegen der Beschaffung bei Unternehmen mit unethischen Praktiken verklagt wurde.³

Checkliste für ethische Web-Daten

Unternehmens-Web-Daten müssen 3 Anforderungen erfüllen, um ethisch zu sein:

Ethische Nutzung durch Kunden

Im Rahmen ihrer Know-Your-Supplier-Prozesse vermeiden Unternehmen die Nutzung von Diensten, die unethische Aktivitäten ermöglichen. Die Nutzung solcher Dienste setzt Unternehmen Reputationsschäden aus.

Praxisbeispiel: In Fällen, in denen ein Anbieter dokumentiert wurde, während er die Nutzung seiner Plattform für unethische Aktivitäten zuließ, distanzierten sich zahlreiche Unternehmen von dem Anbieter, bis dieser seine Praktiken verbesserte.⁴

Wie sich das auf Web-Daten bezieht: Web-Daten werden über verschiedene IP-Adressen gesammelt. Diese Adressen können für verschiedene rechtswidrige Aktivitäten genutzt werden, wie DDOS-Angriffe zur Verhinderung digitaler Dienste, unbefugte Sammlung nicht-öffentlicher Daten oder Werbebetrug. Böswillige Akteure benötigen IPs, um ihre Aktionen durchzuführen, und Web-Dateninfrastruktur-/Proxy-Anbieter sind die größten Lieferanten von IPs an Endnutzer.

Ethische Beschaffung

Dienste, die für ethische Zwecke genutzt werden, können während ihrer Erstellung unethische und schädliche Handlungen verursachen. Beispielsweise erlitten Marken wie Nike und Nestle Reputationsschäden und sahen sich Klagen aufgrund des Einsatzes von Kinderarbeit durch ihre Auftragnehmer gegenüber.

Wie sich das auf Web-Daten bezieht:

Unternehmen benötigen Zugang zu einer großen Anzahl und vielfältigen Quellen von Bandbreite für eine schnelle und globale Datensammlung. Dies erfordert den Einsatz von Residential Proxies: Während das Sammeln öffentlicher Daten unter vielen Bedingungen legal ist,⁵ können Websites sich auch entscheiden, einige ihrer Besucher zu blockieren. Zum Beispiel können sie die Crawler ihrer Wettbewerber blockieren. In solchen Fällen müssen Unternehmen auf eine große Anzahl von Verbindungen von Endnutzern oder anderen 3rd Parteien zurückgreifen, um Web-Daten zu sammeln.

Proxy-Anbieter sammeln Millionen von Internetverbindungen aus verschiedenen Quellen und stellen sie Unternehmen zur Verfügung, die IP-Adressen nutzen, um auf diese Verbindungen zuzugreifen. Einige dieser IPs stammen von Geräten privater Nutzer. Das Sammeln dieser Verbindungen kann legal oder rechtswidrig sein:

• Legal: Rechtlich konforme Praktiken beinhalten die Einholung einer informierten Einwilligung des Nutzers, die Bereitstellung einer Vergütung und das Angebot von Opt-out-Mechanismen in Übereinstimmung mit lokalen Vorschriften. Der Web-Datenanbieter sollte
  • Nutzer darüber informieren, wie ihre Bandbreite verwendet wird
  • Deren Einwilligung digital einholen
  • Sie dafür entschädigen
  • Ihnen jederzeit die Möglichkeit geben, sich abzumelden
• Illegal: Böswillige Akteure können sich Zugang zu den Geräten der Nutzer verschaffen und deren Internetverbindung ohne Erlaubnis oder Vergütung nutzen. Dies kann durch Malware-Apps, kompromittierte Geräte, maskierte Installationen, automatische Opt-ins und andere Methoden geschehen, die den Gerätebesitzer gefährden können.

Unternehmen, die illegal beschaffte Proxies nutzen, können unbeabsichtigt böswillige Akteure für den unbefugten Zugriff auf Geräte bezahlen.

Praxisbeispiele:

• An der Börse notierte Residential-Proxy-Anbieter wurden dokumentiert, ihre Infrastruktur mit SDKs zu teilen, die Geräteverbindungen ohne Nutzereinwilligung nutzen.^{6 7}
• Router und IoT-Geräte wurden für Botnet-Operationen kompromittiert und als Residential Proxies verkauft.^{8 9}
• Bestimmte Proxy-Anbieter bewerben ihre Dienste in Foren, die von böswilligen Akteuren frequentiert werden. Diese IPs sind wahrscheinlich illegal beschafft.¹⁰
• VPN-Apps im Google Play Store wurden ebenfalls genutzt, um Residential IPs ohne Nutzereinwilligung zu beschaffen.¹¹

Obwohl diese Operationen eingestellt wurden, ist es wahrscheinlich, dass böswillige Akteure immer noch ohne Einwilligung auf Residential IPs über Botnets und kompromittierte oder bösartige Anwendungen zugreifen.

Externe Zertifizierung

Unternehmenskäufer benötigen sichere, unternehmenstaugliche Lösungen. Wir haben die Bestandteile für eine reife Web-Daten-Organisation identifiziert, die durch externe Zertifizierung dokumentiert werden können:

Datensicherheit

Mangelnde Datensicherheit in den Systemen eines Lieferanten kann den Wettbewerbsvorteil eines Unternehmens untergraben oder zu Datenverlust und Systemausfallzeiten führen. Der Verlust der Systemfunktionalität kann das Vertrauen untergraben und zur Entwertung eines Unternehmens führen.

Systemeindringen

Datensammeldienste sind nicht so tief in die Systeme eines Unternehmens integriert wie zentrale digitale Dienste (z. B. ein Aufzeichnungssystem wie CRM). Daher werden ihre Sicherheitsnachweise nicht so gründlich überprüft wie die eines Kernsystems wie einem Aufzeichnungssystem. Datensicherheit ist jedoch für Kunden von Datensammeldiensten entscheidend, da diese Dienste:

• Manchmal in zentralere Systeme wie Preisgestaltungs-Engines integriert sind.
• Unternehmenssysteme infizieren können, selbst wenn sie nicht in solche Systeme integriert sind. Die Nutzung eines Datensammeldienstes beinhaltet den Empfang von Daten von diesem Dienst. Selbst einige der sichersten Formen der Datenübertragung bergen Risiken.

Systemeindringen kann auch dazu führen, dass Angreifer die Geräte ins Visier nehmen, die Residential IPs an einen Proxy-Dienst liefern. Dies kann zu Reputationsschäden bei den Kunden dieses Proxy-Dienstes führen.

Praxisbeispiel für eine Schwachstelle bei einem Residential Proxy Anbieter:

Betreiber des Kimwolf-Botnets kauften Proxy-Dienste von dem Residential Proxy Anbieter IPIDEA. Mithilfe bösartiger Befehle infizierten sie die internen Netzwerke von Geräten, die IPs an IPIDEA liefern. Diese Netzwerke wurden dann gescannt und andere anfällige Geräte in diesen lokalen Netzwerken wurden ebenfalls infiziert.

Schätzungen zufolge hat sich Kimwolf mit dieser Methode auf mehr als 2 Millionen Geräte ausgebreitet. Daten, die von IPIDEA-Kunden gesammelt wurden, flossen ebenfalls durch diese infizierten Netzwerke.¹²

Datenverlust

Ohne Datensicherheit können böswillige Akteure auf von Unternehmen gesammelte Daten zugreifen, um deren Aktivitäten und Strategien zu identifizieren, was zum Verlust von Wettbewerbsvorteilen oder Geschäftsmöglichkeiten führt.

Praxisbeispiel:

Obwohl Web-Daten öffentlich sind, können Unternehmen Web-Daten auf neuartige Weise für Wettbewerbsvorteile nutzen. Beispielsweise geben Investoren bis zu 10% ihres Marktdatenbudgets für alternative Daten aus¹³ , aber sie legen ihre Strategien selten offen, weil sie glauben, dass es ihnen helfen kann, einen Vorteil gegenüber ihren Wettbewerbern zu erlangen. Ein Datenleck kann dazu führen, dass ihre Strategien offengelegt und somit von Wettbewerbern repliziert werden.

PII-Management

Web-Daten umfassen private Daten hinter Logins oder PII, die versehentlich oder absichtlich auf öffentlichen Websites offengelegt werden können. Wenn Web-Datensammeldienste PII nicht korrekt verwalten, können solche Daten von böswilligen Akteuren erlangt werden. Dies kann zu Reputationsschäden für den Web-Datensammeldienst und seine Kunden führen.

Anwendungssicherheit

Anwendungen oder Zwischenprogramme wie SDKs, die IPs der Web-Datensammeldienste beziehen, können von externen Zertifizierungsanbietern wie McAfee auf eine Whitelist gesetzt werden. Dies erhöht das Vertrauen der Unternehmen in die ethischen Beschaffungspraktiken des Web-Datensammeldienstes.

Versicherungsschutz

Unternehmen verlangen in der Regel diese Versicherungen von jedem digitalen Anbieter:

• Berufshaftpflichtversicherung
• Cyber-Versicherungszertifikat

Detaillierter Benchmark: Bewertung von Web-Dateninfrastruktur-Anbietern

Benchmark: Ethische Nutzung durch Kunden

Hier wollen wir die Frage beantworten: Stellt das Unternehmen sicher, dass die Nutzung seiner Lösung ethisch und im Einklang mit geltenden Gesetzen und Vorschriften ist? Zusammenfassung unserer Ergebnisse:

* Nicht zutreffend: Da Zyte und Apify Proxies von ihren Lieferanten kaufen und diese nicht direkt von privaten Nutzern beziehen, würden sie von Website-Betreibern bei Missbrauch nicht kontaktiert werden und benötigen daher kein Kontaktformular für Websites.

Zunächst haben wir Richtlinien überprüft:

Überprüfung der Richtlinien zur akzeptablen Nutzung

Alle Anbieter verbieten illegale Aktivitäten und nennen Beispiele wie DoS-Angriffe, unerwünschte Massennachrichten, Identitätsdiebstahl oder Spoofing.

Darüber hinaus betonen einige Anbieter auch, dass sie Aktivitäten verbieten, die wahrscheinlich illegal sind. Nachfolgend listen wir die verbotenen Aktivitäten basierend auf den Richtlinien zur akzeptablen Nutzung und deren Zusätzen (z. B. Datenverarbeitungszusatz) für jeden Anbieter auf.

Wir haben nach Begriffen gesucht, die Aktivitäten verbieten, die wahrscheinlich illegal sind und anhand der Benutzeraktivität identifiziert werden können. Beispielsweise könnte ein erheblicher Anteil der Nutzer, die Proxies nutzen, um an bezahlten Umfragen teilzunehmen, diese nutzen, um Umfrageanbieter über ihren tatsächlichen Standort zu täuschen. Daher ist diese Aktivität sowohl wahrscheinlich illegal als auch anhand der Benutzeraktivität identifizierbar (d. h. wenn sich ein Nutzer bei einer Website für bezahlte Umfragen anmeldet).

Obwohl die klare Benennung verbotener Aktivitäten vorteilhaft ist, ist dies keine Voraussetzung und hat keinen Einfluss auf unsere Bewertungen. Unternehmen können darauf hinweisen, dass sie keine illegalen Aktivitäten erlauben, anstatt jede mögliche illegale Aktivität zu erwähnen.

Die Erwähnung einer Aktivität als verboten bedeutet nicht, dass solche Aktivitäten überprüft oder blockiert werden. Unsere Bewertungen basieren darauf, wie diese Richtlinien umgesetzt werden, wie nachstehend beschrieben:

Prozesse für ethische Nutzung

Während einige in den Nutzungsrichtlinien festgelegte Kategorien recht weit gefasst sind (z. B. unbefugtes Data Scraping oder Zugriff), sind andere spezifisch genug, um in präventive Maßnahmen umgesetzt zu werden (z. B. Zugriffsblockierung), die Datensammeldienste für Benutzer implementieren können, die ihren KYC-Prozess nicht abgeschlossen haben.

Auf der Grundlage dieser spezifischen verbotenen Nutzungen haben wir eine umfangreiche Liste von Nutzungen erstellt, die wahrscheinlich illegale Nutzungen von Proxies sind. Für jeden Anwendungsfall haben wir Szenarien einschließlich relevanter Web-Domains und Aktionen identifiziert. Beispielsweise haben wir im Szenario für künstliches soziales Medien-Engagement versucht, uns mit einem Proxy in ein soziales Netzwerk einzuloggen, um einen bestehenden Beitrag zu liken.

Um dann zu testen, ob Unternehmen eine unethische Nutzung durch Kunden zulassen, haben wir bei jedem Anbieter ein Konto mit einer Nicht-AIMultiple E-Mail-Adresse erstellt. Wir haben mit diesem Konto keinen KYC-Prozess abgeschlossen und die Dienste genutzt, um zu verstehen, was anonyme Nutzer mit jedem Dienst erreichen können. KYC ist ein entscheidender Schritt, bei dem der Nutzer Daten zur Validierung der von ihm vertretenen juristischen Person einreicht. Dies verknüpft die Nutzeraktivität mit einer juristischen Person:

• Die zur Rechenschaft gezogen werden kann.
• Deren Begründung für Online-Aktionen (z. B. Nutzung von Proxies zur Anmeldung auf Regierungswebsites) überprüft werden kann. Beispielsweise kann einem Forscher oder einer Regierungsbehörde nach Verständnis ihres Anwendungsfalls gestattet werden, sich mit einem Proxy auf einer Regierungswebsite anzumelden.

Wir erwarteten, dass diese Anwendungsfälle einen KYC-Prozess auslösen, aber bei den meisten Anbietern geschah dies nicht. Ein Häkchen zeigt an, dass die Anfrage für Benutzer, die den KYC-Prozess noch nicht abgeschlossen hatten, blockiert wurde:

Zur Klarstellung: Datensammeldienste haben keine rechtliche Verpflichtung, diese Websites zu blockieren, und einige dieser Szenarien können Teil legaler Nutzung sein. Beispielsweise könnte ein Forscher Proxies nutzen wollen, um ein kontrolliertes Social-Media-Experiment durchzuführen. Angesichts des Missbrauchspotentials in diesen Szenarien erwarteten wir jedoch, dass Datensammeldienste sie für Benutzer blockieren, die den KYC-Prozess nicht abgeschlossen haben.

Wie Marken gesperrte Domains kommunizieren

• Bright Data listet eingeschränkte Domain-Kategorien in seiner Richtlinie zur akzeptablen Nutzung auf.

Respektierung der Präferenzen von Websites bezüglich automatisierter Datensammlung

Was ist robots.txt?

robots.txt ist ein Dateiname zur Implementierung des Robots Exclusion Protocol. Dieses Protokoll wird von Websites verwendet, um Bereiche der Website anzuzeigen, die der Website-Betreiber vorzugsweise nicht von Bots besucht haben möchte. Die Einhaltung von robots.txt ist freiwillig.

Vor- und Nachteile der Einhaltung von robots.txt

➕ Respektiert die Präferenzen der Website.

➖ Kann veraltet sein, wenn es nicht kürzlich aktualisiert wurde.

➖ Beinhaltet typischerweise Begriffe, die darauf hinweisen, dass der Website-Betreiber bestimmte öffentliche Bereiche der Website nicht von Bots besucht haben möchte.

Robots.txt kann auch einen ungleichen Zugang für Bots vorsehen. Website-Betreiber können beispielsweise angeben, dass sie nicht möchten, dass Bots von Antwortmaschinen bestimmte URLs besuchen, die Bots von Suchmaschinen besuchen.

Robots.txt ist kein rechtsgültiges Dokument und kann verlangen, den Bot-Zugriff auf Seiten zu blockieren, die rechtlich gesehen:

• gescraped werden dürfen (z. B. öffentliche Daten) oder
• nicht gescraped werden dürfen (z. B. Daten hinter einem Login, wenn die AGB des Website-Betreibers das Scraping solcher Daten verbieten).

Anbieter von Web-Datensammeldiensten können von Nutzern von Residential Proxies verlangen, einen KYC-Prozess zu durchlaufen und nachzuweisen, dass sie einen legalen und ethischen Anwendungsfall haben, bevor diese Nutzer robots.txt missachten dürfen.

Zum Testen haben wir Anfragen an Seiten in Unterordnern gesendet, die laut robots.txt blockiert werden sollen. Die verwendeten Domains waren aimultiple.com und 5 Web-Domains unter den Top 100 meistbesuchten Web-Domains. Nur Bright Data hat diese Anfragen blockiert:

CNN-Beispiel

CNNs robots.txt blockiert den Ordner /terms¹⁴ . Zum Testen haben wir diesen Ordner mit Residential Proxies aufgerufen und von allen Anbietern außer Bright Data 200 Meldungen mit den Seiten-Daten erhalten. Bright Datas Antwort lautet: „Residential Failed (bad_endpoint): Die angeforderte Seite ist im Modus für sofortigen Residential-Zugriff (ohne KYC) gemäß robots.txt nicht verfügbar. Um vollen Residential-Zugriff für diese Seite zu erhalten, füllen Sie das KYC-Formular aus: https://brightdata.com/cp/kyc”.

Missbrauchsmanagement

Wir haben eine Methodik zur Bewertung der Missbrauchsmanagement-Praktiken von Anbietern skizziert und Daten gesammelt, um unsere Bewertungskriterien zu erfüllen:

* Nicht zutreffend: Zyte kauft Proxies von anderen Proxy-Anbietern, und wenn der Dienst von Zyte für Missbrauch genutzt wird, würden sich Website-Betreiber an dessen Proxy-Anbieter wenden, nicht an Zyte.

Während alle Anbieter 3rd Parteien oder ihren Kunden Kontaktmöglichkeiten bieten, ist Folgendes wichtig für die Problemlösung:

• Öffentliche Missbrauchsrichtlinie
• Eine spezielle E-Mail-Adresse zur Meldung von Missbrauch
• Eine alternative Kontaktmethode (z. B. Webformular oder Messaging-Schnittstelle), die es Meldenden ermöglicht, das Unternehmen zu erreichen. Dies ist hilfreich, da E-Mails gefiltert werden und möglicherweise nicht im Posteingang ankommen.
• Reaktionsfähigkeit auf Nachrichten

3 Anbieter im Benchmark (Bright Data) stellten eine E-Mail zur Meldung von Missbrauch bereit. Alle diese Anbieter legten auch ihre Richtlinien in diesem Bereich dar.

Wir gehen davon aus, dass alle anderen Anbieter dasselbe tun werden und dies kurzfristig zu einer weit verbreiteten Branchenpraxis wird.

Schließlich haben wir die Reaktionsfähigkeit des Missbrauchsmanagements bewertet, indem wir Missbrauchsmeldungen von Drittanbieter-Domains (d. h. Nicht-AIMultiple) per E-Mail versandt und die Antwortzeiten gemessen haben. Falls wir keine E-Mail-Adresse für Missbrauch finden konnten, haben wir sie an das allgemeine Kontaktformular gesendet. Wir haben dies über 3 E-Mail-Chargen getestet, die gesendet wurden am:

• Freitag, 2. Mai 2025, von:
  • Einem Ticketverkaufsdienst mit ~30k monatlichem Traffic
  • Einer Anwaltskanzlei mit ~1k monatlichem Traffic in
• 17. Mai 2025 vom Ticketverkaufsdienst.
• 24. Mai 2025 von einer Social-Media-Agentur mit begrenztem Online-Traffic.

Die ersten E-Mails vom 2. Mai 2025 wurden an Unternehmen gesendet, die spezielle E-Mails bereitstellten. Später erweiterten wir unsere Liste und schlossen allgemeinere E-Mail-Adressen ein, die in den Kontaktbereichen aller gebenchmarkten Web-Datensammeldienste aufgeführt sind. Wenn ein Unternehmen auf unsere E-Mails antwortete, stellten wir das Senden weiterer E-Mails ein.

In unseren E-Mails erwähnten wir, dass unsere Websites verdächtigen Bot-Traffic über Proxies erhalten haben, und baten um Unterstützung bei der Identifizierung der Proxy-Quellen. Es gelang uns, von allen Compliance-Teams außer einem eine Antwort zu erhalten. Fast alle Antworten gingen noch am selben Tag ein.

Nutzungstransparenz

Website-Betreiber, die Web-Daten bereitstellen, und Web-Sammlungsdienste hatten in der Vergangenheit keinen Datenaustausch über Datensammlungsaktivitäten. Um Crawling-Aktivitäten einzuschränken, konnten Website-Betreiber entweder:

• Sich an Web-Datensammeldienste wenden, um Missbrauch zu melden
• Mit Bot-Management-Anbietern wie Cloudflare zusammenarbeiten, um das Crawling zu erschweren.

Nun gibt es Initiativen für einen strukturierteren Datenaustausch zwischen diesen Parteien. Bright Data hat die Bright Data Webmaster-Konsole eingeführt, damit Webmaster die Crawling-Aktivitäten auf ihren Websites überwachen können. Mehr Transparenz wird voraussichtlich die Praktiken der Web-Datensammlung verbessern.

Unsere Erfahrung mit der Webmaster-Konsole

Wir haben uns angemeldet, indem wir unsere Domain-Inhaberschaft verifiziert und eine collectors.txt-Datei auf der Domain hinzugefügt haben.

Wir haben nun Zugriff auf die Bot-Aktivität von Bright Data auf unserer Website:

Benchmark: Ethische Beschaffung

* Bewertungen auf diesen 3rd Party Plattformen wurden einbezogen: Amazon Appstore, App Store, Google Play Store, Trustpilot. Der Einfachheit halber wurde dieser Wert für 5 Haupt-Apps für Bright Data berechnet, nicht für alle 120 auf ihrer Website vorgestellten Apps.

Partnertransparenz

Die von Web-Dateninfrastruktur-Unternehmen benötigte Bandbreite kann auf ethische Weise bereitgestellt werden, indem Vorteile (z. B. Zahlungen, Funktionen wie die Möglichkeit, Werbung zu überspringen) im Austausch für die Einwilligung zur gemeinsamen Nutzung der eigenen Internetverbindung gewährt werden. Es ist jedoch auch möglich, sich unbefugten Zugang zu den Systemen von Endnutzern zu verschaffen und deren Verbindungen zu verkaufen.

Web-Dateninfrastruktur-Anbieter können Richtlinien und Prozesse formulieren, externe Audits durchführen und ihren Ansatz sowie die Prüfungsergebnisse veröffentlichen, um Transparenz darüber zu schaffen, wie sie ihre Internetverbindungen erwerben. Dies kann das Vertrauen in die ethische Beschaffung ihrer Dienste stärken.

Wir haben ein Rahmenwerk für Transparenz auf der Beschaffungsseite bei Web-Daten erstellt und die Anbieter anhand dieses Rahmenwerks bewertet. Dieses Rahmenwerk wurde unabhängig davon angewendet, ob ein Web-Datensammeldienst Residential IPs selbst oder über andere Proxies erwirbt. Unser Ziel ist es, Transparenz in die gesamte Lieferkette von IPs zu bringen, da unethische Praktiken an jedem Punkt der Lieferkette entstehen können.

Hier finden Sie unsere detaillierten Ergebnisse:

Bright Data

Bright Data wird als Level 5 eingestuft, da sie veröffentlichen:

• Ihren Beschaffungsansatz und wie App-Entwickler über ihr SDK mit ihnen zusammenarbeiten können^{15 16}
• Details zu 120 Lieferanten wurden öffentlich geteilt. Wir konnten Bewertungen dieser Lieferanten auf 3rd Party Plattformen überprüfen, um abzuschätzen, wie beliebt sie sind.¹⁷

Überprüfung ausgewählter Apps

Bright Data stellt 120 Apps auf seiner Website vor. Apps wie Bright VPN sind von 3rd Parteien hinsichtlich Offenlegung und UX zertifiziert.¹⁸ Wir haben diese Apps auch heruntergeladen, um sie detaillierter anzusehen:

• Bright VPN
• EarnApp
• Sling Kong

Opt-in-Formular mit der Verpflichtung, keine personenbezogenen Daten zu sammeln: Einwilligungsformular mit klarer Erläuterung von

Bright VPN:

Earn App:

Sling Kong:

• Dem Nutzer wird das Angebot während des Spiels angezeigt:

• Opt-in:

• Zusätzliche Informationen beim Opt-in:

• Opt-out:

Von Apps bereitgestellter Wert:

• Bright VPN: Kostenloser VPN-Dienst
• EarnApp: Zahlungen
• Sling Kong: In-Game virtuelle Währung

Andere

Obwohl die meisten Anbieter sich der Ethik beim Web Scraping bewusst sind und zu diesem Thema veröffentlicht haben (z. B. ¹⁹ ), haben wir bisher keine spezifischen Verpflichtungen in diesem Bereich identifiziert, mit Ausnahme von Zyte.²⁰

Wir erwarten, dass sich dies ändern wird und die meisten Anbieter kurzfristig mindestens Level 1 erreichen werden.

Externe Zertifizierung

* Zeigt an, dass das Unternehmen alle externen Zertifizierungen in dieser Kategorie erreicht hat

Es ist entscheidend, dass Anbieter über die richtigen Systeme, das richtige Personal und die richtigen Prozesse verfügen, um die Daten der Kunden zu schützen und die Apps abzusichern, die seine IPs liefern. Siehe unsere Methodik zur Messung der externen Zertifizierung, um die Logik hinter unserer Bewertung zu verstehen.

DSGVO- & CCPA-Compliance

Alle Anbieter geben öffentlich an, beide Datenschutzbestimmungen einzuhalten. Daher wurde dies nicht in die Bewertung einbezogen.

Wie wir die organisatorische Reife gemessen haben

Basierend auf den in diesem Bereich identifizierten Fähigkeiten haben wir bei jedem Anbieter anhand seiner öffentlichen Aussagen das Vorhandensein dieser Zertifikate überprüft:

• Datensicherheitszertifizierung & PII-Zertifizierung: ^{21 22 23 24}
• IP-Quelle auf Whitelist: ²⁵
• Ethische Praktiken bewertet: ²⁶

Einige Anbieter, die keine ISO 27018-Zertifikate besitzen, gaben an, dass sie als zertifiziert gelten sollten, da sie Cloud-Dienstanbieter nutzen, die ISO 27018-Zertifikate besitzen. Die Meinung unseres Cybersicherheitsberaters war, dass sie zwar die Zertifikatsakquisition erleichtern würde, sie aber dennoch ihre Richtlinien und Kontrollen zertifizieren lassen müssten, um das Zertifikat zu erhalten.

Versicherungsschutz

3 Web-Datensammelunternehmen haben ihre Versicherungszertifikate mit uns geteilt. Wir veröffentlichen keine Zertifikate, haben die Dokumente jedoch überprüft, um sicherzustellen, dass

• sie diese 2 Versicherungskategorien abdecken
• die Versicherungssumme in jeder Kategorie mindestens im mehrstelligen Millionenbereich in US-Dollar liegt.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Haftungsausschlüsse und Empfehlungen für die nächsten Schritte

Alle Anbieter in diesem Benchmark außer Nimble sind Kunden von AIMultiple. Wie immer haben wir bei dieser Untersuchung unsere ethischen Verpflichtungen eingehalten.

Wir haben eine umfassende Überprüfung der ethischen Web-Datensammlung abgeschlossen, und obwohl wir mit dem Umfang dieses Benchmarks zufrieden sind, würden wir die Beteiligung gerne erhöhen. Wir danken diesen Unternehmen für die Bereitstellung ihrer Versicherungsdeckung: Apify, Bright Data, Zyte.

Wir warten auf Antworten von Nimble. Wir werden den Bericht aktualisieren, sobald wir weitere Rückmeldungen von ihnen haben. 2 Anbieter haben sich entschieden, an dieser Iteration des Benchmarks nicht teilzunehmen. Wir aktualisieren diesen Bericht jederzeit, wenn eines dieser 7 Unternehmen Änderungen vorschlägt, die faktenbasiert, fair für alle Anbieter sind und Unternehmen helfen, bessere Entscheidungen zu treffen.

NetNut gehörte zu den Unternehmen, die wir bei der Erstveröffentlichung dieses Berichts 2025 evaluiert haben. Sie hatten die niedrigste mögliche Punktzahl (Level 0) in unserem Ethischen-Beschaffungs-Tiefencheck, bei dem wir die IP-Quellen dieser Anbieter untersuchten. NetNut wurde 2026 abgeschaltet, da das FBI seine Verbindungen zu Botnets identifizierte.²⁷ Wir hoffen, dass dies ein Anreiz für alle Anbieter sein wird, Transparenz über ihre Beschaffung zu schaffen.

Dies ist nach unserer Recherche der erste Bericht, der sich auf ethische Web-Daten konzentriert. Wir hoffen, dass diese Transparenz der Web-Daten-Branche helfen kann, kreative Lösungen für ihre Herausforderungen zu finden. Diese Lösungen müssen die Interessen von Web-Datensammlern, Web-Automatisierungsnutzern, Website-Betreibern und privaten Nutzern, die ihre IPs der Branche zur Verfügung stellen, in Einklang bringen.

Einschränkungen der Methodik

Dieser Benchmark misst beobachtbare Reifeindikatoren, einschließlich Kontrollen zur Kundennutzung, Transparenz der IP-Beschaffung, externe Zertifizierungen und Versicherungsfreigabe. Die Bewertung bestimmt jedoch nicht vollständig, ob ein Anbieter in jedem Kundenanwendungsfall rechtlich konform ist.

Daher sollte eine hohe Benchmark-Bewertung als Input für die Beschaffungs-Due-Diligence behandelt werden, nicht als Garantie für Legalität oder ethische Nutzung.

Referenzen

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Ethischer & konformer Web-Daten Benchmark}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Abgerufen am 21. Juni 2026}
}

Referenzlinks

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

27.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten