Benchmark sui dati web etici e conformi

Man mano che le aziende ampliano le proprie operazioni sui dati web, i dirigenti responsabili di conformità, dati e rischi valutano sempre più i rischi etici, reputazionali e legali associati.

Abbiamo confrontato 5 principali servizi di raccolta dati web su 3 dimensioni e testato ciascun servizio con più di 20 scenari potenzialmente non etici.

Il nostro lavoro ti aiuta a valutare la posizione etica delle tue pratiche di raccolta dati e a comprendere le potenziali conseguenze di approcci non etici. Forniamo inoltre linee guida per la raccolta etica di dati web e valutiamo i servizi di raccolta dati web dal punto di vista etico e della conformità:

Valutazione dei servizi di raccolta dati web

Abbiamo valutato i principali servizi di raccolta dati web (chiamati anche fornitori di dati web o infrastrutture di dati web) utilizzando la nostra checklist etica sui dati web. Questi punteggi rappresentano livelli di maturità, dove 5 è il livello più alto:

* Questi sono codici per i nomi dei fornitori. Questi fornitori non volevano essere citati in questo report e sono elencati in fondo all'elenco finché non risolveremo questa questione.

** ✓ indica che l'azienda ha scelto di condividere i propri certificati assicurativi con AIMultiple. ✕ indica che l'azienda ha deciso di non condividere i propri certificati assicurativi con noi e pertanto non abbiamo potuto convalidare la loro copertura assicurativa. La copertura assicurativa è la categoria per la quale abbiamo fatto affidamento sulla partecipazione delle aziende di servizi di dati web per valutarle.

Ordinati per punteggio di riepilogo.

Modello di punteggio per dati web etici

Di seguito illustriamo come vengono calcolati questi punteggi. Puoi anche consultare la logica alla base della scelta di queste dimensioni di punteggio.

Nelle prime 2 categorie abbiamo individuato 5 competenze e le aziende hanno ricevuto punteggi in base al numero di competenze soddisfatte. Il livello 5 rappresenta la massima maturità osservata sul mercato, riflettendo le attuali best practice piuttosto che la perfezione.

Capacità per un uso etico da parte dei clienti

• Processi efficaci per l'uso etico: Valutiamo la capacità di ciascun fornitore di prevenire l'uso non etico dei propri servizi di proxy residenziale attraverso scenari di test controllati. Se una qualsiasi delle nostre richieste viene bloccata dal fornitore, questo obiettivo è raggiunto.
• Processi migliorati per l'uso etico: Simile ai “processi efficaci per l'uso etico”. Tuttavia, questa capacità indica che il fornitore ha bloccato più di uno dei nostri tentativi di utilizzare i propri servizi per casi d'uso non etici.
• Best practice per l'uso etico: Simile ai “processi efficaci per l'uso etico”. Tuttavia, questa capacità indica che il fornitore ha bloccato la maggior parte dei nostri tentativi di utilizzare i propri servizi per casi d'uso non etici.
• Fondamenta per la gestione degli abusi: Pubblicazione di una politica di gestione degli abusi e di un metodo per segnalare gli abusi
• Gestione reattiva degli abusi: Abbiamo misurato come le aziende hanno risposto a più segnalazioni di abuso. Anche se non era disponibile una hotline per segnalare gli abusi, abbiamo utilizzato le email indicate dall'azienda per contattare il loro team. Se non abbiamo ricevuto risposte alla nostra segnalazione entro una settimana, l'azienda è considerata non reattiva.

Capacità per un approvvigionamento etico

L'approvvigionamento etico consiste nell'acquisire indirizzi IP in modo etico. La nostra analisi di mercato ha individuato i seguenti livelli di trasparenza riguardo all'approvvigionamento etico di IP:

• Livello 1: Politica pubblicata di approvvigionamento degli IP.
• Livello 2: Dichiarata almeno una fonte (ad es. un'app mobile) per gli IP che fornisce IP in modo etico. La fonte dichiarata deve avere in totale almeno 10k recensioni su piattaforme di terze parti, inclusi gli app store di Google, Apple, Amazon e Trustpilot.
• Livello 3: Come il Livello 3 ma con 100k recensioni
• Livello 4: Come il Livello 3 ma con 1M recensioni
• Livello 5: Come il Livello 4 ma con 10M recensioni

Le recensioni sono un indicatore della popolarità delle app e rappresentano un segnale importante per questa valutazione. I servizi di raccolta dati web devono collaborare con applicazioni popolari per poter soddisfare le esigenze di IP dei propri clienti.

Per la qualificazione, le app dichiarate dovrebbero seguire queste best practice. Non lo verificheremo per ogni app dichiarata, ma solo per alcune selezionate casualmente:

• Consenso informato:
  • Gli utenti devono dare il consenso esplicito prima di condividere la propria connessione internet. La schermata di consenso deve indicare:
    • Il fornitore
    • Il servizio
    • Come verrà utilizzato il loro IP
  • Gli utenti devono poter accedere a informazioni dettagliate su
    • Come verrà utilizzata la loro connessione internet
    • Informativa sulla privacy
• Valore: Gli utenti devono ricevere un qualche valore dall'app (ad es. pagamento, possibilità di saltare gli annunci o altre funzionalità)
• Privacy: Raccolta di dati utente limitata e trasparente.

Per le reti di proxy residenziale, gli acquirenti dovrebbero inoltre verificare se il consenso è specifico, informato, revocabile e separato dalle autorizzazioni non correlate dell'app. Dovrebbero chiedere se gli utenti possono facilmente rinunciare, se l'uso della larghezza di banda è limitato, se i minori sono esclusi e se il fornitore sottopone a verifica le app o gli SDK che forniscono IP residenziali.

Certificazione esterna

Abbiamo valutato la certificazione esterna in base al fatto che le aziende abbiano acquisito questi certificati rilevanti per la sicurezza e la conformità di livello enterprise.

• Certificazione PII: Capacità dimostrata di gestire le PII acquisendo la ISO 27018
• Certificazione di sicurezza dei dati: Pratiche di sicurezza dei dati dimostrate acquisendo uno di questi certificati: SOC 2 o ISO/IEC 27001
• Fonte IP autorizzata: I fornitori di certificazione esterna come McAfee certificano:
  • App di 3rd parti specifiche che forniscono IP
  • SDK che raccoglie IP da app di 3rd parti
• Pratiche etiche valutate: È possibile completare un progetto di assurance ISAE 3000 per valutare le pratiche interne di conformità ed etica.

Assicurazione

Abbiamo chiesto ai fornitori di fornirci questi documenti assicurativi:

• Certificato di assicurazione di responsabilità civile professionale che fornisce copertura per le responsabilità dei fornitori in caso di problemi nel servizio
• Certificato di assicurazione cyber che fornisce copertura per le responsabilità dei fornitori in caso di problemi legati alla sicurezza delle informazioni.

Punteggio di riepilogo

Questo punteggio è la somma di tutti i punteggi divisa per 3. I punteggi sono:

• da 0 a 5 per le capacità di uso etico da parte dei clienti
• da 0 a 5 per le capacità di approvvigionamento etico
• da 0 a 3 per la certificazione esterna
• da 0 a 2 per le assicurazioni

Principali servizi di raccolta dati web

AIMultiple ha selezionato i 7 più grandi servizi di raccolta dati web in termini di dipendenti su LinkedIn. Abbiamo scelto questa metrica poiché è sia pubblica sia correlata ai ricavi dell'azienda e alla sua predisposizione per le imprese. Metriche migliori come i ricavi o il numero di dipendenti a libro paga non sono pubblicamente disponibili per queste aziende private.

Tutte le aziende selezionate hanno più di 100 dipendenti collegati alle loro pagine del profilo LinkedIn ad aprile 2025. Attualmente 5 delle 7 selezionate sono visualizzate su questa pagina e le restanti 2 aziende hanno scelto di non essere incluse nel report.

Prodotti di raccolta dati web in primo piano

Queste aziende offrono una gamma di prodotti tra cui proxy, API di scraping dei dati e dataset. Sebbene tutti i prodotti possano essere esaminati da una prospettiva etica, ci siamo inizialmente concentrati sul prodotto che offre il massimo livello di flessibilità e alimenta la maggior parte degli altri prodotti: i proxy residenziali.

I prodotti di raccolta dati web possono essere considerati come una gerarchia in cui i proxy costituiscono il livello centrale su cui sono costruiti tutti gli altri servizi. Questo perché i proxy consentono alle macchine di accedere a Internet attraverso destinazioni diverse, permettendo un insieme ampio e diversificato di connessioni Internet cruciali per la raccolta dei dati. Pertanto, i proxy sono il prodotto di raccolta dati web più capace: possono essere utilizzati per svolgere funzioni che non sarebbero possibili con i dataset o con le API di scraping dei dati.

Tra i proxy, i proxy residenziali sono il prodotto più difficile da identificare come proxy per i siti web. Ad esempio, altri proxy come i proxy di datacenter sono facili da identificare in base alla loro posizione. Pertanto, i proxy residenziali alimentano la maggior parte degli altri prodotti di dati web, come le API di scraping dei dati.

Verifica: la tua raccolta di dati web è conforme ed etica?

La tua azienda molto probabilmente utilizza dati web. Tuttavia, il settore è soggetto a una regolamentazione limitata, rendendo importante scegliere un fornitore etico e conforme. A tal fine, abbiamo preparato un framework olistico che tiene conto di diversi aspetti della raccolta dei dati web, tra cui approvvigionamento etico, utilizzo etico e certificazione esterna.

I dati web sono un asset operativo comune

In quanto impresa, la tua attività si basa in parte sui dati web grazie ai loro numerosi casi d'uso, come:

• Prezzi dinamici per retail ed e-commerce
• Dati alternativi in tempo reale per fondi di investimento
• Processo KYC nel settore bancario commerciale
• Addestramento di model di IA o fine-tuning
• Inference IA o RAG
• Ricerche di mercato

Con l'IA, i dati web sono oggi più importanti

Sebbene la raccolta di dati web sia vecchia quanto il web, la sua importanza è aumentata drasticamente dopo l'ascesa dei model di IA generativa. I creatori di questi model, come OpenAI e Anthropic, sono partiti senza partnership significative sui contenuti e hanno utilizzato principalmente dati online per costruire i loro model iniziali, il che ha portato alla nascita dell'industria dell'IA da trilioni di dollari.

Controllo normativo limitato

I requisiti normativi per la raccolta di dati web variano notevolmente a seconda della giurisdizione. Questo benchmark si concentra quindi sulle pratiche etiche e di conformità piuttosto che assumere un quadro normativo uniforme tra i paesi.

Le attività online chiaramente illegali sono ben definite. Tuttavia, vi sono requisiti normativi limitati per gli operatori del settore per prevenire in modo proattivo l'uso improprio dei loro servizi da parte degli utenti.

Spetta alle piattaforme stesse stabilire best practice e standard di conformità per garantire una raccolta etica dei dati e un uso corretto dei proxy. Pertanto, la scelta del fornitore è più importante nella raccolta dei dati rispetto a settori fortemente regolamentati come quello bancario, dove ogni fornitore di servizi è tenuto a rispettare numerose normative.

La posizione etica dei tuoi fornitori fa parte della reputazione della tua azienda

Da una prospettiva etica e di rischio legato ai fornitori, le imprese dovrebbero valutare come vengono acquisiti i dati web, anche quando li consumano anziché raccoglierli direttamente.

Le responsabilità delle imprese per attività illecite nella loro catena di fornitura dipendono dalla giurisdizione. Ad esempio, in Germania, le imprese sono responsabili di svolgere attività di KYS e di gestione del rischio per identificare e prevenire i danni causati dalla loro catena di fornitura. Anche quando le aziende non sono responsabili dei danni causati dalla loro catena di fornitura, possono subire rischi reputazionali.

Qual è il costo di una raccolta dati non etica e non conforme?

Rischio reputazionale

Se diventa pubblico che un'impresa utilizza un servizio di raccolta dati web che adotta comportamenti non etici o azioni che mettono a rischio la sicurezza dei dati, ciò può causare danni reputazionali significativi, come perdita di affari, abbandono dei clienti, fuga di talenti e perdita di fiducia degli investitori.

Esempi reali di fornitori aziendali che hanno portato a perdite reputazionali:

• Nike ha subito danni reputazionali numerose volte a causa delle pratiche di lavoro non etiche dei suoi fornitori.¹
• Molte aziende come EY hanno perso la fiducia dei clienti quando sono state colpite dalla violazione del software di trasferimento file gestito MOVEit. ²

Rischio legale

La perdita reputazionale, soprattutto quando porta a indignazione pubblica, è tipicamente seguita da cause legali da parte dei clienti dell'azienda o di altri stakeholder danneggiati dalle pratiche non etiche.

Esempio reale: Starbucks è uno dei marchi recenti a essere citato in giudizio per l'approvvigionamento da aziende con pratiche non etiche.³

Checklist etica sui dati web

I dati web aziendali devono soddisfare 3 requisiti per essere etici:

Uso etico da parte dei clienti

Nell'ambito dei processi Know Your Supplier, le imprese evitano di utilizzare servizi che consentono attività non etiche. L'uso di tali servizi espone le aziende a danni reputazionali.

Esempio reale: In casi in cui un fornitore è stato documentato mentre consentiva l'uso della propria piattaforma per attività non etiche, numerose aziende si sono allontanate dal fornitore finché non ha migliorato le proprie pratiche.⁴

Come si collega ai dati web: I dati web vengono raccolti tramite diversi indirizzi IP. Questi indirizzi possono essere utilizzati per svolgere diverse attività illecite, come attacchi DDoS per impedire l'erogazione di servizi digitali, raccolta non autorizzata di dati non pubblici o frodi pubblicitarie. I malintenzionati hanno bisogno di IP per alimentare le proprie azioni e i fornitori di infrastrutture di dati web/proxy sono i maggiori fornitori di IP agli utenti finali.

Approvvigionamento etico

I servizi utilizzati per scopi etici possono causare azioni non etiche e dannose durante la loro produzione. Ad esempio, marchi come Nike e Nestlé hanno subito danni reputazionali e cause legali a causa del ricorso al lavoro minorile da parte dei loro appaltatori.

Come si collega ai dati web:

Le aziende devono accedere a un gran numero e a diverse fonti di larghezza di banda per una raccolta dati rapida e globale. Ciò richiede l'uso di proxy residenziali: negli Stati Uniti, l'accesso a dati web pubblicamente disponibili può non costituire accesso non autorizzato ai sensi del CFAA in alcune circostanze, sebbene possano comunque applicarsi altre leggi e restrizioni contrattuali. ⁵ I siti web possono anche scegliere di bloccare alcuni dei propri visitatori. Ad esempio, possono bloccare i crawler dei concorrenti. In tali casi, le aziende devono fare affidamento su un gran numero di connessioni da utenti finali o altre 3rd parti per raccogliere dati web.

I fornitori di proxy raccolgono milioni di connessioni Internet da varie fonti e le forniscono alle aziende che utilizzano indirizzi IP per accedere a queste connessioni. Alcuni di questi IP provengono dai dispositivi degli utenti residenziali. La raccolta di queste connessioni può essere legale o illecita:

• Legale: Le pratiche conformi alla legge prevedono l'ottenimento del consenso informato degli utenti, la fornitura di un compenso e l'offerta di meccanismi di opt-out in conformità con le normative locali. Il fornitore di dati web dovrebbe
  • Informare gli utenti su come verrebbe utilizzata la loro larghezza di banda
  • Ottenere il loro consenso digitalmente
  • Compensarli in cambio
  • Consentire loro di rinunciare in qualsiasi momento
• Illegale: I malintenzionati possono ottenere accesso ai dispositivi degli utenti e utilizzare la loro connessione Internet senza permesso o compenso. Ciò può avvenire tramite app malware, dispositivi compromessi, installazioni mascherate, opt-in automatico e altri metodi che possono mettere a rischio il proprietario del dispositivo.

Le aziende che utilizzano proxy ottenuti illegalmente possono inavvertitamente pagare i malintenzionati per l'accesso non autorizzato ai dispositivi.

Esempi reali:

• NetNut condivideva la propria infrastruttura con SDK che utilizzano le connessioni dei dispositivi senza il consenso degli utenti. Di conseguenza, l'FBI ha chiuso il sito web di NetNut.⁶⁷
• Router e dispositivi IoT sono stati compromessi per operazioni di botnet e venduti come proxy residenziali.^{8 9}
• Lo smantellato XCPE di Google, una backdoor che il produttore di Android TV box Videostrong ha preinstallato nel firmware di oltre 1.3 milioni di set-top box. La backdoor caricava SDK di proxy residenziale che registravano i box come nodi di uscita senza consenso, tra cui Popanet e AppSalt di NetNut. Google ha scoperto che il flag di consenso di AppSalt era impostato senza mostrare una schermata di consenso e che l'SDK smetteva di funzionare se l'app era installata dal Google Play.¹⁰
• Alcuni fornitori di proxy promuovono i propri servizi in forum frequentati da malintenzionati. L'uso di proxy per falsare la posizione o l'identità nei sondaggi retribuiti può violare le regole del fornitore del sondaggio e, a seconda della giurisdizione e dell'intento, può anche sollevare questioni legali relative alla frode.¹¹
• Anche le app VPN sul Google Play Store sono state utilizzate per acquisire IP residenziali senza il consenso degli utenti.¹²

Sebbene queste operazioni siano state chiuse, è probabile che i malintenzionati stiano ancora accedendo agli IP residenziali senza consenso tramite botnet e applicazioni compromesse o dannose.

Certificazione esterna

Gli acquirenti aziendali hanno bisogno di soluzioni sicure e pronte per le imprese. Abbiamo individuato gli ingredienti per un'organizzazione matura di dati web che possono essere documentati tramite certificazione esterna:

Sicurezza dei dati

La mancanza di sicurezza dei dati nei sistemi di un fornitore può erodere il vantaggio competitivo di un'impresa o portare a perdita di dati e tempi di inattività del sistema. La perdita di funzionalità del sistema può erodere la fiducia e portare alla svalutazione di un'impresa.

Intrusione nel sistema

I servizi di raccolta dati non sono integrati nei sistemi di un'impresa tanto profondamente quanto i servizi digitali core (ad es. un sistema di registrazione come il CRM). Pertanto, le loro credenziali di sicurezza non vengono esaminate in modo così approfondito come quelle di un sistema core come un sistema di registrazione. Tuttavia, la sicurezza dei dati è fondamentale per i clienti dei servizi di raccolta dati poiché questi servizi:

• Sono talvolta integrati in sistemi più centrali come i motori di determinazione dei prezzi.
• Possono infettare i sistemi aziendali anche quando non sono integrati con tali sistemi. L'uso di un servizio di raccolta dati comporta la ricezione di dati da tale servizio. Anche alcune delle forme più sicure di trasferimento dei dati comportano rischi.

L'intrusione nel sistema può anche portare gli aggressori a prendere di mira i dispositivi che forniscono IP residenziali a un servizio proxy. Ciò può causare danni reputazionali ai clienti di tale servizio proxy.

Esempio reale di vulnerabilità in un fornitore di proxy residenziale:

Gli operatori della botnet Kimwolf hanno acquistato servizi proxy dal fornitore di proxy residenziale IPIDEA. Utilizzando comandi dannosi, hanno infettato le reti interne dei dispositivi che forniscono IP a IPIDEA. Queste reti sono state poi scansionate e anche altri dispositivi vulnerabili su queste reti locali sono stati infettati.

Si stima che Kimwolf si sia diffuso su più di 2 milioni di dispositivi con questo metodo. Anche i dati raccolti dai clienti di IPIDEA sono transitati attraverso queste reti infette.¹³

Perdita di dati

Senza sicurezza dei dati, i malintenzionati possono accedere ai dati raccolti dalle imprese per identificare le loro attività e strategie, portando a una perdita di vantaggio competitivo o di opportunità di business.

Esempio reale:

Sebbene i dati web siano pubblici, le aziende possono utilizzarli in modi innovativi per ottenere un vantaggio competitivo. Ad esempio, gli investitori spendono fino al 10% del loro budget per i dati di mercato in dati alternativi¹⁴, ma raramente divulgano le loro strategie poiché ritengono che ciò possa aiutarli a ottenere un vantaggio rispetto ai concorrenti. Una fuga di dati può portare all'esposizione delle loro strategie e quindi alla loro replica da parte dei concorrenti.

Gestione delle PII

I dati web includono dati privati dietro login o PII che possono essere divulgati accidentalmente o intenzionalmente su siti web pubblici. Se i servizi di raccolta dati web non gestiscono correttamente le PII, tali dati possono essere acquisiti da malintenzionati. Ciò può causare danni reputazionali al servizio di raccolta dati web e ai suoi clienti.

Sicurezza delle applicazioni

Le applicazioni o i programmi intermedi come gli SDK che forniscono gli IP dei servizi di raccolta dati web possono essere autorizzati da fornitori di certificazione esterna come McAfee. Ciò aumenta la fiducia delle imprese nelle pratiche di approvvigionamento etico del servizio di raccolta dati web.

Copertura assicurativa

Le imprese richiedono in genere queste assicurazioni a qualsiasi fornitore digitale:

• Assicurazione di responsabilità civile professionale
• Certificato di assicurazione cyber

Benchmark dettagliato: valutazione dei fornitori di infrastrutture di dati web

Benchmark: uso etico da parte dei clienti

Qui intendiamo rispondere alla domanda: l'azienda garantisce che l'uso della sua soluzione sia etico e conforme alle leggi e ai regolamenti applicabili? Riepilogo dei nostri risultati:

* Non applicabile: Poiché Zyte e Apify acquistano proxy dai loro fornitori e non li raccolgono direttamente dagli utenti residenziali, i proprietari di siti web non li contatterebbero per abusi e pertanto non hanno bisogno di creare un modulo di contatto per i siti web.

In primo luogo, abbiamo esaminato le policy:

Revisione delle policy di uso accettabile

Tutti i fornitori vietano le attività illegali e forniscono esempi come attacchi DoS, messaggi massivi non richiesti, furto d'identità o spoofing.

Inoltre, alcuni fornitori sottolineano anche di vietare attività che probabilmente sono illegali. Di seguito elenchiamo le attività proibite sulla base delle policy di uso accettabile e dei loro addendum (ad es. addendum sul trattamento dei dati) per ciascun fornitore.

Abbiamo cercato termini che vietassero attività probabilmente illegali e identificabili in base all'attività dell'utente. Ad esempio, una quota significativa di utenti che utilizzano proxy per partecipare a sondaggi retribuiti potrebbe utilizzare i proxy per fuorviare i fornitori di sondaggi sulla propria posizione effettiva. Pertanto, questa attività è sia probabilmente illegale sia identificabile in base all'attività dell'utente (ossia quando un utente accede a un sito di sondaggi retribuiti).

Sebbene identificare chiaramente le attività proibite sia utile, non è un requisito e non influisce sui nostri punteggi. Le aziende possono scegliere di dichiarare che non consentono attività illegali anziché menzionare ogni possibile caso di attività illegali.

Menzionare un'attività come proibita non significa che tali attività verranno esaminate o bloccate. I nostri punteggi si basano su come queste policy vengono implementate, come illustrato di seguito:

Processi per un uso etico

Mentre alcune categorie delineate nelle policy di uso accettabile sono piuttosto ampie (ad es. scraping o accesso non autorizzato ai dati), altre sono sufficientemente specifiche da essere convertite in azioni preventive (ad es. blocco dell'accesso) che i servizi di raccolta dati possono implementare per gli utenti che non hanno completato il processo KYC.

Sulla base di questi usi proibiti specifici, abbiamo preparato un elenco esteso di utilizzi che probabilmente sono usi illegali dei proxy. Per ogni caso d'uso, abbiamo individuato scenari che includono domini web e azioni pertinenti. Ad esempio, nello scenario di coinvolgimento artificiale sui social media, abbiamo tentato di accedere a un social network utilizzando un proxy per mettere "Mi piace" a un post esistente.

Quindi, per verificare se le aziende consentono un uso non etico da parte dei clienti, abbiamo creato un account sul servizio di ciascun fornitore utilizzando un indirizzo email non-AIMultiple. Non abbiamo completato un processo KYC con questo account e abbiamo proceduto a utilizzare i servizi per capire cosa possono ottenere gli utenti anonimi con ciascun servizio. Il KYC è un passaggio cruciale durante il quale l'utente invia dati per convalidare l'entità giuridica che rappresenta. Ciò collega l'attività dell'utente a un'entità giuridica:

• Che può essere ritenuta responsabile.
• La cui motivazione per le azioni online (ad es. utilizzare proxy per accedere a siti web governativi) può essere esaminata. Ad esempio, dopo aver compreso il loro caso d'uso, un ricercatore o un'agenzia governativa può essere autorizzato ad accedere a un sito web governativo utilizzando un proxy.

Ci aspettavamo che questi casi d'uso attivassero un processo KYC, ma nella maggior parte dei fornitori ciò non è avvenuto. Un segno di spunta indica che la richiesta è stata bloccata per gli utenti che non avevano ancora completato il processo KYC:

Per chiarezza, le aziende di servizi di raccolta dati non hanno alcun obbligo legale di bloccare questi siti web e alcuni di questi scenari possono rientrare in un uso legale. Ad esempio, un ricercatore potrebbe voler sfruttare i proxy per condurre un esperimento controllato sui social media. Tuttavia, dato il potenziale di abuso in questi scenari, ci aspettavamo che i servizi di raccolta dati li bloccassero per gli utenti che non hanno completato il processo KYC.

Come i marchi comunicano i domini che bloccano

• Bright Data elenca le categorie di domini soggetti a restrizioni nella propria policy di uso accettabile.

Rispettare le preferenze dei siti web riguardo alla raccolta automatizzata dei dati

Cos'è robots.txt?

robots.txt è un nome di file per implementare il Robots Exclusion Protocol. Questo protocollo viene utilizzato dai siti web per indicare le parti del sito che il proprietario preferisce non vengano visitate dai bot. L'adesione a robots.txt è volontaria.

Pro e contro dell'aderire a robots.txt

• Rispetta le preferenze del sito web.
• Potrebbe non essere aggiornato di recente e quindi essere obsoleto.
• In genere contiene termini che indicano che il proprietario del sito web preferisce che alcune sezioni pubbliche del sito non siano accessibili ai bot.

Robots.txt può anche fornire un accesso disomogeneo ai bot. Ad esempio, i proprietari di siti web possono indicare che preferiscono che i bot dei motori di risposta non visitino determinati URL che invece i bot dei motori di ricerca visitano.

Robots.txt non è un documento legale e può richiedere di bloccare l'accesso dei bot a pagine che sono legalmente:

• consentite per lo scraping (ad es. dati pubblici) oppure
• non consentite per lo scraping (ad es. dati dietro un login dove i Termini e condizioni del proprietario del sito vietano lo scraping di tali dati).

I fornitori di servizi di raccolta dati web possono richiedere agli utenti di proxy residenziale di completare un processo KYC e dimostrare di avere un caso d'uso legale ed etico prima che questi utenti possano ignorare robots.txt.

Per i test, abbiamo inviato richieste a pagine in sottocartelle di cui si richiede il blocco da parte di robots.txt. I domini che abbiamo utilizzato sono aimultiple.com e 5 domini web tra i 100 più visitati. Bright Data ha bloccato queste richieste:

Esempio CNN

Il file robots.txt della CNN blocca la cartella /terms¹⁵. Per i test, abbiamo navigato in quella cartella con proxy residenziali e abbiamo ricevuto 200 messaggi con i dati della pagina da tutti i fornitori tranne Bright Data. La risposta di Bright Data è: “Errore residenziale (bad_endpoint): Il sito richiesto non è disponibile per la modalità di accesso residenziale immediata (senza KYC) in conformità con robots.txt. Per ottenere l'accesso residenziale completo per questo sito, compila il modulo KYC: https://brightdata.com/cp/kyc”.

Gestione degli abusi

Abbiamo delineato una metodologia per valutare le pratiche di gestione degli abusi dei fornitori e raccolto dati per soddisfare i nostri criteri di valutazione:

* Non applicabile: Zyte acquista proxy da altri fornitori di proxy e pertanto, quando il servizio di Zyte viene utilizzato per abusi, i proprietari di siti web contatterebbero i suoi fornitori di proxy anziché Zyte.

Sebbene tutti i fornitori offrano alle 3rd parti o ai loro clienti dei mezzi per contattarli, la loro presenza è importante per la risoluzione dei problemi:

• Policy pubblica sugli abusi
• Un indirizzo email dedicato per segnalare gli abusi
• Un metodo di contatto alternativo (ad es. modulo web o interfaccia di messaggistica) che consenta ai segnalatori di raggiungere l'azienda. Ciò è utile poiché le email possono essere filtrate e potrebbero non raggiungere la casella di posta.
• Reattività ai messaggi

3 fornitori nel benchmark (Bright Data) hanno fornito un'email per segnalare gli abusi. Tutti questi fornitori hanno anche delineato le proprie policy in questo ambito.

Ci aspettiamo che tutti gli altri fornitori facciano lo stesso e che questa diventi una pratica diffusa nel settore nel breve termine.

Infine, abbiamo valutato la reattività nella gestione degli abusi inviando segnalazioni di abuso da domini di terze parti (ossia non-AIMultiple) e misurando i tempi di risposta. Se non riuscivamo a trovare un indirizzo email per gli abusi, inviavamo la segnalazione al modulo di contatto generale. Lo abbiamo testato tramite 3 gruppi di email inviate il:

• Venerdì 2 maggio 2025 da:
  • Un servizio di vendita di biglietti con circa 30k di traffico mensile
  • Uno studio legale con circa 1k di traffico mensile
• Il 17 maggio 2025 dal servizio di vendita di biglietti.
• Il 24 maggio 2025 da un'agenzia di social media con traffico online limitato.

Le prime email inviate il 2 maggio 2025 sono state inviate alle aziende che fornivano email dedicate. In seguito abbiamo ampliato l'elenco includendo indirizzi email più generali elencati nelle sezioni di contatto di tutti i servizi di raccolta dati web oggetto del benchmark. Se un'azienda rispondeva alle nostre email, smettevamo di inviarne altre.

Nelle nostre email, abbiamo menzionato che i nostri siti web avevano ricevuto sospetto traffico bot tramite proxy e abbiamo chiesto il loro supporto per identificare la fonte dei proxy. Siamo riusciti a far rispondere tutti i team di conformità tranne uno. Quasi tutte le risposte sono state ricevute lo stesso giorno.

Trasparenza d'uso

I proprietari di siti web che forniscono dati web e servizi di raccolta web storicamente non hanno avuto scambi di dati sulle attività di raccolta. Per limitare le attività di crawling, i proprietari di siti web potevano:

• Contattare i servizi di raccolta dati web per segnalare abusi
• Collaborare con fornitori di gestione dei bot come Cloudflare per rendere il crawling più difficile.

Ora esistono iniziative per uno scambio di dati più strutturato tra queste parti. Bright Data ha lanciato la console per webmaster di Bright Data per consentire ai webmaster di monitorare le attività di crawling sui propri siti web. Una maggiore trasparenza probabilmente migliorerà le pratiche di raccolta dei dati web.

La nostra esperienza con la Webmaster console

Ci siamo registrati verificando la proprietà del nostro dominio e aggiungendo un file collectors.txt sul dominio.

Ora abbiamo accesso all'attività dei bot di Bright Data sul nostro sito web:

Benchmark: approvvigionamento etico

* Sono state incluse le recensioni su queste piattaforme di 3rd parti: Amazon Appstore, App Store, Google Play Store, Trustpilot. Per comodità, questo valore è stato calcolato per 5 app principali di Bright Data, non per tutte le 120 app presenti sul loro sito web.

Trasparenza dei partner

La larghezza di banda richiesta dalle aziende di infrastrutture di dati web può essere fornita in modo etico offrendo benefici (ad es. pagamenti, funzionalità come la possibilità di saltare gli annunci) in cambio del consenso a condividere la propria connessione Internet. Tuttavia, è anche possibile ottenere accesso non autorizzato ai sistemi degli utenti finali e vendere le loro connessioni.

I fornitori di infrastrutture di dati web possono formulare policy e processi, eseguire audit esterni e pubblicare il proprio approccio e i risultati degli audit per creare trasparenza su come acquisiscono le connessioni Internet. Ciò può favorire la fiducia nell'approvvigionamento etico del loro servizio.

Abbiamo creato un framework per la trasparenza dal lato dell'offerta nei dati web e valutato i fornitori utilizzando questo framework. Abbiamo applicato questo framework indipendentemente dal fatto che un servizio di raccolta dati web acquisisse IP residenziali direttamente o tramite altri proxy. Il nostro obiettivo è portare trasparenza all'intera catena di approvvigionamento degli IP, poiché le pratiche non etiche possono avere origine in qualsiasi punto della catena.

Qui puoi trovare i nostri risultati dettagliati:

Bright Data

Bright Data è classificato come Livello 5 poiché pubblica

• Il loro approccio di approvvigionamento e come gli sviluppatori di app possono collaborare con loro tramite il loro SDK^{16 17}
• Sono stati condivisi pubblicamente dettagli su 120 fornitori. Abbiamo potuto verificare le recensioni di questi fornitori su piattaforme di 3rd parti per stimare quanto siano popolari. ¹⁸

Revisione delle app selezionate

Bright Data condivide 120 app sul proprio sito web. App come Bright VPN sono certificate da 3rd parti per la loro trasparenza e UX.¹⁹ Abbiamo anche scaricato queste app per esaminarle più in dettaglio:

• Bright VPN
• EarnApp
• Sling Kong

Modulo di opt-in con obbligo di non raccogliere dati personali identificativi: Modulo di consenso con una chiara spiegazione da

Bright VPN:

Earn App:

Sling Kong:

• L'utente riceve l'offerta durante il gioco:

• Opt-in:

• Informazioni aggiuntive durante l'opt-in:

• Opt-out:

Valore fornito dalle app:

• Bright VPN: servizio VPN gratuito
• EarnApp: pagamenti
• Sling Kong: valuta virtuale di gioco

Altri

Sebbene la maggior parte dei fornitori sia consapevole dell'etica nello scraping web e abbia pubblicato sull'argomento (ad es. ²⁰, non abbiamo identificato loro impegni specifici su questo fronte ad eccezione di Zyte.²¹

Ci aspettiamo che questo cambi e che la maggior parte dei fornitori passi almeno al Livello 1 nel breve termine.

Certificazione esterna

* Indica che l'azienda ha ottenuto tutte le certificazioni esterne in questa categoria

È fondamentale che i fornitori dispongano di sistemi, personale e processi adeguati per proteggere i dati dei clienti e mettere in sicurezza le app che forniscono i loro IP. Consulta la nostra metodologia di misurazione della certificazione esterna per comprendere la logica alla base del nostro punteggio.

Conformità a GDPR e CCPA

Tutti i fornitori dichiarano pubblicamente di essere conformi a entrambe le normative sulla privacy dei dati. Pertanto, questo aspetto non è stato incluso nel punteggio.

Come abbiamo misurato la maturità organizzativa

Sulla base delle capacità che abbiamo individuato in questo ambito, abbiamo verificato l'esistenza di questi certificati presso ciascun fornitore utilizzando le loro dichiarazioni pubbliche:

• Certificazione di sicurezza dei dati e certificazione PII: ^22232425
• Fonte IP autorizzata: ²⁶
• Pratiche etiche valutate: ²⁷

Alcuni fornitori che non possiedono certificati ISO 27018 hanno affermato di dover essere considerati certificati poiché utilizzano fornitori di servizi cloud in possesso di certificati ISO 27018. Il parere del nostro consulente di cybersecurity è stato che, sebbene ciò faciliterebbe l'acquisizione del certificato, dovrebbero comunque far certificare le proprie policy e i propri controlli per ottenere il certificato.

Copertura assicurativa

3 aziende di raccolta dati web hanno condiviso i loro certificati assicurativi. Non pubblichiamo i certificati, ma abbiamo esaminato i documenti per garantire che

• coprissero queste 2 categorie assicurative
• Il limite assicurativo in ciascuna categoria sia almeno su scala multimilionaria in dollari USA.

Alleanze di settore e dati web etici

Esistono 2 importanti alleanze di settore:

• Alliance for Responsible Data Collection che include Bright Data, Common Crawl e altri
• Ethical Web Data Collection Initiative (EWDCI) che include Oxylabs, ProxyEmpire, Zyte, tra gli altri. In precedenza includeva NetNut. Il 2 luglio 2026, l'FBI ha sequestrato i domini associati a NetNut, una rete di proxy residenziali gestita da Alarum Technologies, dopo che ricercatori di sicurezza e Google hanno sostenuto che parte del suo pool di nodi di uscita si sovrapponeva alla botnet Popa. Alarum contesta le accuse, non sono state annunciate accuse pubbliche e le affermazioni non sono state verificate in tribunale.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Disclaimer e raccomandazioni per i prossimi passi

Tutti i fornitori in questo benchmark, ad eccezione di Nimble, sono clienti di AIMultiple. Come sempre, durante questa ricerca abbiamo seguito i nostri impegni etici.

Abbiamo completato una revisione esaustiva della raccolta etica dei dati web e, sebbene siamo soddisfatti dell'ambito di questo benchmark, ci piacerebbe aumentare la partecipazione. Ringraziamo queste aziende per aver condiviso la loro copertura assicurativa: Apify, Bright Data, Zyte.

Siamo in attesa di risposte da Nimble. Aggiorneremo il report non appena avremo ulteriori aggiornamenti da parte loro. 2 fornitori hanno scelto di non partecipare a questa edizione del benchmark. Aggiorniamo costantemente questo report se una qualsiasi di queste 7 aziende suggerisce modifiche basate sui fatti, corrette per tutti i fornitori e utili alle imprese per prendere decisioni migliori.

NetNut era tra le aziende che abbiamo valutato quando abbiamo pubblicato per la prima volta questo report nel 2025. Aveva il punteggio più basso possibile (Livello 0) nel nostro approfondimento sull'approvvigionamento etico in cui abbiamo esaminato le fonti degli IP di questi fornitori. Nel luglio 2026, l'FBI ha sequestrato i domini associati a NetNut in seguito a ricerche di Google e di società di sicurezza indipendenti che hanno sostenuto collegamenti tra la rete di NetNut e la botnet Popa. Alarum Technologies, società madre di NetNut, contesta queste accuse e non sono state verificate in tribunale.²⁸ Speriamo che questo sia un incentivo per tutti i fornitori a essere trasparenti riguardo al proprio approvvigionamento.

Secondo la nostra ricerca, questo è il primo report a concentrarsi sui dati web etici. Speriamo che questa trasparenza possa aiutare il settore dei dati web a trovare soluzioni creative alle sue sfide. Queste soluzioni dovranno bilanciare gli interessi dei raccoglitori di dati web, degli utenti dell'automazione web, dei proprietari di siti web e degli utenti residenziali che forniscono i propri IP al settore.

Limitazioni della metodologia

Questo benchmark misura indicatori di maturità osservabili, tra cui controlli sull'uso da parte dei clienti, trasparenza nella fornitura di IP, certificazioni esterne e condivisione assicurativa. Tuttavia, il punteggio non determina completamente se un fornitore è legalmente conforme in ogni caso d'uso del cliente.

Pertanto, un punteggio elevato del benchmark dovrebbe essere considerato come un input per la due diligence negli acquisti, non come una garanzia di legalità o uso etico.

Riferimenti

Cita questo benchmark

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Benchmark sui dati web etici e conformi}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consultato il 26 ottobre 2026}
}

Registro delle modifiche

9 aggiornamenti

Tutte9Generale8Metodologia1

202620252024

1. 4 ago

   Aggiunta la sezione Alleanze di settore e dati web etici su due alleanze della catena di fornitura.

2. 13 mag

   Ridotto il benchmark da 7 a 5 servizi di raccolta dati web, con due fornitori che hanno scelto di non essere inclusi.

3. 13 mag

   Aggiunta una sezione sui limiti metodologici alla fine del benchmark.

Collegamenti di riferimento

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

National Consumers League v. Starbucks Corporation

4.

Verifying Device

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

People’s Republic of China-Linked Actors Compromise Routers and IoT Devices forBotnet Operations

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

https://cloud.google.com/blog/topics/threat-intelligence/shutting-the-door-on-the-xcpe-botnet

11.

A Look at the Residential Proxy Market | Intel 471

Intel 471

12.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

13.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

14.

Subscribe to read

Financial Times

15.

https://edition.cnn.com/robots.txt

16.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

17.

homepage - Bright SDK

Bright SDK

18.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

19.

Bright VPN Compliance with guidelines - Google Sheets

20.

What is ethical scraping and how do you do it?

Apify Blog

21.

Web Scraping Data Compliance | Zyte

22.

Page not found - Bright Data

Bright Data

23.

Security | Platform | Apify Documentation

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

26.

Bright SDK Compliance with Guidelines - Google Sheets

27.

pwc-report - Bright Data

Bright Data

28.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017.

Il lavoro di Cem presso AIMultiple è stato citato da importanti testate internazionali tra cui Business Insider, Forbes, Morning Brew e Washington Post, da aziende globali come Deloitte e HPE, da ONG come il World Economic Forum e da organizzazioni sovranazionali come la Commissione europea. [1], [2], [3], [4], [5]

Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente tecnologico e imprenditore tecnologico. Ha consigliato le aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per più di un decennio. Ha inoltre pubblicato un report McKinsey sulla digitalizzazione.

Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto ricavi ricorrenti annuali a 7 cifre e una valutazione a 9 cifre partendo da zero in 2 anni. Il lavoro di Cem in Hypatos è stato ripreso da importanti testate tecnologiche come TechCrunch e Business Insider.

Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato come ingegnere informatico presso l'Università di Bogazici e possiede un MBA della Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento