Benchmark etico e conforme sui dati web

Poiché le aziende ampliano le loro operazioni sui dati web, i dirigenti responsabili di conformità, dati e rischio valutano sempre più i rischi etici, reputazionali e legali associati.

Abbiamo confrontato 5 servizi leader di raccolta di dati web su 3 dimensioni e testato ciascun servizio con più di 20 scenari potenzialmente non etici.

Il nostro lavoro ti aiuta a valutare la posizione etica delle tue pratiche di raccolta dati e a comprendere le potenziali conseguenze di approcci non etici. Forniamo inoltre linee guida per una raccolta etica dei dati web e valutiamo i servizi di raccolta di dati web dal punto di vista dell'etica e della conformità:

Valutazione dei servizi di raccolta di dati web

Abbiamo valutato i principali servizi di raccolta di dati web (chiamati anche fornitori di dati web o infrastrutture per dati web) utilizzando la nostra checklist etica sui dati web. Questi punteggi rappresentano livelli di maturità dove 5 è il livello più alto:

* Questi sono codici per i nomi dei fornitori. Questi fornitori non hanno voluto essere citati in questo rapporto e sono elencati in fondo all'elenco finché non risolveremo la questione.

** ✅ indica che l'azienda ha scelto di condividere i propri certificati assicurativi con AIMultiple. ❌ indica che l'azienda ha deciso di non condividere i propri certificati assicurativi con noi e quindi non abbiamo potuto convalidare la loro copertura assicurativa. La copertura assicurativa è la categoria in cui abbiamo fatto affidamento sulla partecipazione delle aziende di servizi di dati web per valutarle.

Ordinato per punteggio di riepilogo.

Modello di punteggio per i dati web etici

Di seguito spieghiamo come vengono derivati questi punteggi. Puoi anche consultare le motivazioni alla base della scelta di queste dimensioni di punteggio.

Nelle prime 2 categorie abbiamo individuato 5 competenze e le aziende hanno ricevuto punteggi in base al numero di competenze soddisfatte. Il Livello 5 rappresenta la maturità più alta osservata sul mercato, riflettendo le attuali best practice piuttosto che la perfezione.

Capacità per un uso etico da parte dei clienti

• Processi efficaci per un uso etico: valutiamo la capacità di ciascun fornitore di prevenire un uso non etico dei propri servizi di proxy residenziale attraverso scenari di test controllati. Se una qualsiasi delle nostre richieste viene bloccata dal fornitore, questo obiettivo è raggiunto.
• Processi migliorati per un uso etico: Simile a “processi efficaci per un uso etico”. Tuttavia, questa capacità indica che il fornitore del servizio ha bloccato più di uno dei nostri tentativi di utilizzare i suoi servizi per casi d'uso non etici.
• Processi di best practice per un uso etico: Simile a “processi efficaci per un uso etico”. Tuttavia, questa capacità indica che il fornitore del servizio ha bloccato la maggior parte dei nostri tentativi di utilizzare i suoi servizi per casi d'uso non etici.
• Fondazione per la gestione degli abusi: Pubblicazione di una policy di gestione degli abusi e di un metodo per segnalare gli abusi
• Gestione reattiva degli abusi: Abbiamo misurato come le aziende hanno risposto a più segnalazioni di abusi. Anche quando non era disponibile una hotline per segnalare gli abusi, abbiamo utilizzato le email indicate dall'azienda per contattare il loro team. Se non abbiamo ricevuto risposta alla nostra segnalazione entro una settimana, l'azienda è considerata non reattiva.

Capacità per un approvvigionamento etico

L'approvvigionamento etico consiste nell'acquisire indirizzi IP in modo etico. La nostra analisi di mercato ha individuato i seguenti livelli di trasparenza riguardo alla fornitura etica di IP:

• Livello 1: Policy pubblicata per l'approvvigionamento degli IP.
• Livello 2: Ha divulgato almeno una fonte (ad es. un'app mobile) per IP che fornisce IP in modo etico. La fonte divulgata dovrebbe avere in totale almeno 10k recensioni su piattaforme di terze parti, tra cui Google, Apple, gli app store Amazon e Trustpilot.
• Livello 3: Come il Livello 3 ma con 100k recensioni
• Livello 4: Come il Livello 3 ma con 1M recensioni
• Livello 5: Come il Livello 4 ma con 10M recensioni

Le recensioni sono un indicatore della popolarità delle app e rappresentano un segnale importante per questa valutazione. I servizi di raccolta di dati web devono lavorare con applicazioni popolari per poter soddisfare le esigenze di IP dei propri clienti.

Per la qualificazione, le app divulgate dovrebbero seguire queste best practice. Non lo verificheremo per ogni app divulgata, ma lo controlleremo per alcune selezionate casualmente:

• Consenso informato:
  • Gli utenti devono dare il consenso esplicito prima di condividere la propria connessione internet. La schermata di opt-in dovrebbe illustrare:
    • Il fornitore
    • Il servizio
    • Come verrà utilizzato il loro IP
  • Gli utenti dovrebbero poter accedere a informazioni dettagliate su
    • Come verrà utilizzata la loro connessione internet
    • Informativa sulla privacy
• Valore: Gli utenti devono ricevere un qualche valore dall'app (ad es. pagamento, possibilità di saltare gli annunci o qualche altra funzionalità)
• Privacy: Raccolta di dati utente limitata e trasparente.

Per le reti di proxy residenziali, gli acquirenti dovrebbero anche verificare se il consenso è specifico, informato, revocabile e separato da permessi dell'app non correlati. Dovrebbero chiedersi se gli utenti possono facilmente rinunciare, se l'uso della larghezza di banda è limitato, se i minori sono esclusi e se il fornitore sottopone a audit le app o gli SDK che forniscono IP residenziali.

Certificazione esterna

Abbiamo valutato la certificazione esterna in base al fatto che le aziende abbiano acquisito questi certificati pertinenti per la sicurezza e la conformità di livello enterprise.

• Certificazione PII: Capacità dimostrata di gestire le PII attraverso il conseguimento della norma ISO 27018
• Certificazione di sicurezza dei dati: Pratiche di sicurezza dei dati dimostrate acquisendo uno di questi certificati: SOC 2 o ISO/IEC 27001
• Fonti IP inserite nella whitelist: I fornitori di certificazione esterna come McAfee certificano:
  • Specifiche app di 3rd parti che forniscono IP
  • SDK che raccolgono IP da app di 3rd parti
• Pratiche etiche valutate: Può essere completato un progetto di assurance ISAE 3000 per valutare la conformità interna e le pratiche etiche.

Assicurazione

Abbiamo chiesto ai fornitori di fornirci questi documenti assicurativi:

• Assicurazione di responsabilità civile professionale, certificato che fornisce copertura per le responsabilità dei fornitori in caso di problemi nel servizio
• Certificato di assicurazione cyber che fornisce copertura per le responsabilità dei fornitori in caso di problemi legati alla sicurezza delle informazioni.

Punteggio di riepilogo

Questo punteggio è la somma di tutti i punteggi divisa per 3. I punteggi sono:

• 0 a 5 per le capacità di uso etico da parte dei clienti
• 0 a 5 per le capacità di approvvigionamento etico
• 0 a 3 per la certificazione esterna
• 0 a 2 per le assicurazioni

Servizi leader di raccolta di dati web

AIMultiple ha selezionato i 7 maggiori servizi di raccolta di dati web in base al numero di dipendenti su LinkedIn. Abbiamo scelto questa metrica perché è sia pubblica sia correlata ai ricavi dell'azienda e alla sua prontezza per il mondo enterprise. Metriche migliori come i ricavi o il numero di dipendenti a libro paga non sono disponibili pubblicamente per queste aziende private.

Tutte le aziende selezionate hanno più di 100 dipendenti collegati alle loro pagine profilo LinkedIn ad aprile 2025. Attualmente 5 delle 7 selezionate sono mostrate in questa pagina e le restanti 2 aziende hanno scelto di non essere incluse nel rapporto.

Prodotti di raccolta di dati web in primo piano

Queste aziende forniscono una gamma di prodotti tra cui proxy, API di data scraping e dataset. Sebbene tutti i prodotti possano essere esaminati da una prospettiva etica, ci siamo concentrati inizialmente sul prodotto che offre il massimo livello di flessibilità e alimenta la maggior parte degli altri prodotti: i proxy residenziali.

I prodotti di raccolta di dati web possono essere considerati una gerarchia in cui i proxy costituiscono il livello centrale su cui sono costruiti tutti gli altri servizi. Questo perché i proxy consentono alle macchine di accedere a Internet attraverso destinazioni diverse, permettendo un insieme ampio e diversificato di connessioni Internet cruciale per la raccolta dei dati. Pertanto, i proxy sono il prodotto di raccolta di dati web più potente; possono essere utilizzati per svolgere funzioni che non sarebbero possibili con i dataset o le API di data scraping.

Tra i proxy, i proxy residenziali sono il prodotto più difficile da identificare come proxy per i siti web. Ad esempio, altri proxy come i proxy da datacenter sono facili da identificare in base alla loro posizione. Pertanto, i proxy residenziali alimentano la maggior parte degli altri prodotti di dati web, come le API di data scraping.

Verifica: la tua raccolta di dati web è conforme ed etica?

La tua azienda molto probabilmente utilizza dati web. Tuttavia, il settore è soggetto a una regolamentazione limitata, il che rende importante scegliere un fornitore etico e conforme. A tal fine abbiamo preparato un framework olistico che tiene conto di diversi aspetti della raccolta di dati web, tra cui approvvigionamento etico, utilizzo etico e certificazione esterna.

I dati web sono un asset operativo comune

In quanto azienda, la tua attività si basa in parte sui dati web a causa dei suoi numerosi casi d'uso, come:

• Prezzi dinamici per retail ed e-commerce
• Dati alternativi in tempo reale per fondi di investimento
• Processo KYC nel settore bancario commerciale
• Addestramento o fine-tuning di modelli di IA
• Inferenza di IA o RAG
• Ricerche di mercato

Con l'IA, i dati web sono ora più importanti

Sebbene la raccolta di dati web sia antica quanto il web, la sua importanza è aumentata drasticamente dopo l'ascesa dei modelli di IA generativa. I creatori di questi modelli, come OpenAI e Anthropic, hanno iniziato senza partnership significative sui contenuti e hanno utilizzato principalmente dati online per costruire i loro modelli iniziali, il che ha portato alla nascita di un'industria dell'IA da trilioni di dollari.

Supervisione normativa limitata

Sebbene la regolamentazione dell'IA sia sotto spotlight, il settore della raccolta dei dati rimane per lo più non regolamentato nella maggior parte dei Paesi. Le attività online chiaramente illegali sono ben definite. Tuttavia, esistono requisiti normativi limitati per gli operatori del settore per prevenire proattivamente l'uso improprio dei propri servizi da parte degli utenti.

Spetta alle piattaforme stesse stabilire best practice e standard di conformità per garantire una raccolta etica dei dati e un uso corretto dei proxy. Pertanto, la scelta del fornitore è più importante nella raccolta dei dati rispetto a settori fortemente regolamentati come quello bancario, dove ogni fornitore di servizi è tenuto a rispettare numerose normative.

La posizione etica dei tuoi fornitori fa parte della reputazione della tua azienda

Indipendentemente dal fatto che tu raccolga o consumi i dati, sei responsabile del loro processo di acquisizione.

Le responsabilità delle imprese per attività illecite nella loro catena di fornitura dipendono dalla giurisdizione. Ad esempio, in Germania le imprese sono responsabili di svolgere attività di KYS e di gestione del rischio per identificare e prevenire i danni causati dalla loro catena di fornitura. Anche quando le aziende non sono responsabili dei danni causati dalla loro catena di fornitura, possono subire rischi reputazionali.

Qual è il costo di una raccolta di dati non etica e non conforme?

Rischio reputazionale

Se diventa pubblico che un'impresa utilizza un servizio di raccolta di dati web che adotta comportamenti non etici o azioni che mettono in pericolo la sicurezza dei dati, ciò può causare danni reputazionali significativi, come perdita di affari, abbandono dei clienti, perdita di talenti e perdita di fiducia degli investitori.

Esempi reali di fornitori aziendali che hanno causato perdite reputazionali:

• Nike ha subito danni reputazionali numerose volte a causa delle pratiche di lavoro non etiche dei suoi fornitori.¹
• Molte aziende come EY hanno perso la fiducia dei propri clienti quando sono state colpite dalla violazione del software di trasferimento file gestito MOVEit. ²

Rischio legale

La perdita di reputazione, soprattutto quando porta a indignazione pubblica, è in genere seguita da cause legali da parte dei clienti dell'azienda o di altri stakeholder danneggiati dalle pratiche non etiche.

Esempio reale: Starbucks è uno dei marchi recenti a essere citato in giudizio per essersi rifornito da aziende con pratiche non etiche.³

Checklist etica per i dati web

I dati web aziendali devono soddisfare 3 requisiti per essere etici:

Uso etico da parte dei clienti

Nell'ambito dei processi Know Your Supplier, le aziende evitano di utilizzare servizi che consentono attività non etiche. L'uso di tali servizi espone le imprese a danni reputazionali.

Esempio reale: In casi in cui un fornitore è stato documentato mentre consentiva l'uso della propria piattaforma per attività non etiche, numerose aziende hanno preso le distanze dal fornitore finché non ha migliorato le proprie pratiche.⁴

Come si collega questo ai dati web: I dati web vengono raccolti tramite diversi indirizzi IP. Questi indirizzi possono essere utilizzati per svolgere diverse attività illegali, come attacchi DDoS per impedire l'erogazione di servizi digitali, la raccolta non autorizzata di dati non pubblici o le frodi pubblicitarie. I malintenzionati hanno bisogno di IP per alimentare le proprie azioni e i fornitori di infrastrutture/proxy per dati web sono i maggiori fornitori di IP agli utenti retail.

Approvvigionamento etico

I servizi utilizzati per scopi etici possono causare azioni non etiche e dannose durante la loro produzione. Ad esempio, marchi come Nike e Nestlé hanno subito danni reputazionali e cause legali a causa del ricorso al lavoro minorile da parte dei loro appaltatori.

Come si collega questo ai dati web:

Le aziende devono accedere a un gran numero di fonti di larghezza di banda diversificate per una raccolta dati rapida e globale. Ciò richiede l'uso di proxy residenziali: sebbene la raccolta di dati pubblici sia legale in molte condizioni, ⁵ i siti web possono anche scegliere di bloccare alcuni dei loro visitatori. Ad esempio, possono bloccare i crawler dei concorrenti. In questi casi, le aziende devono fare affidamento su un gran numero di connessioni di utenti retail o di altre 3rd parti per raccogliere dati web.

I fornitori di proxy raccolgono milioni di connessioni Internet da varie fonti e le forniscono alle aziende che utilizzano gli indirizzi IP per accedere a queste connessioni. Alcuni di questi IP provengono dai dispositivi degli utenti residenziali. La raccolta di queste connessioni può essere legale o illegale:

• Legale: Le pratiche legalmente conformi prevedono l'ottenimento del consenso informato degli utenti, la fornitura di una compensazione e l'offerta di meccanismi di opt-out conformi alle normative locali. Il fornitore di dati web dovrebbe
  • Informare gli utenti su come verrà utilizzata la loro larghezza di banda
  • Ottenere il loro consenso in formato digitale
  • Compensare in cambio
  • Consentire loro di rinunciare in qualsiasi momento
• Illegale: I malintenzionati possono ottenere accesso ai dispositivi degli utenti e utilizzare la loro connessione Internet senza permesso o compensazione. Ciò può avvenire tramite app malware, dispositivi compromessi, installazioni mascherate, opt-in automatico e altri metodi che possono mettere a rischio il proprietario del dispositivo.

Le aziende che utilizzano proxy ottenuti illegalmente possono inavvertitamente pagare i malintenzionati per l'accesso non autorizzato ai dispositivi.

Esempi reali:

• Fornitori di proxy residenziali quotati in borsa sono stati documentati mentre condividevano la propria infrastruttura con SDK che utilizzano le connessioni dei dispositivi senza il consenso degli utenti.^{6 7}
• Router e dispositivi IoT sono stati compromessi per operazioni di botnet e venduti come proxy residenziali.^{8 9}
• Alcuni fornitori di proxy promuovono i propri servizi in forum frequentati da malintenzionati. È probabile che questi IP siano stati ottenuti illegalmente.¹⁰
• Le app VPN sul Google Play Store sono state inoltre utilizzate per acquisire IP residenziali senza il consenso degli utenti.¹¹

Sebbene queste operazioni siano state chiuse, è probabile che i malintenzionati stiano ancora accedendo a IP residenziali senza consenso tramite botnet e applicazioni compromesse o dannose.

Certificazione esterna

Gli acquirenti enterprise hanno bisogno di soluzioni sicure e pronte per l'azienda. Abbiamo identificato gli ingredienti per un'organizzazione matura di dati web che possono essere documentati tramite certificazione esterna:

Sicurezza dei dati

La mancanza di sicurezza dei dati nei sistemi dei fornitori può erodere il vantaggio competitivo di un'impresa o portare alla perdita di dati e a tempi di inattività del sistema. La perdita di funzionalità del sistema può erodere la fiducia e portare alla svalutazione di un'impresa.

Intrusione nei sistemi

I servizi di raccolta dei dati non sono integrati nei sistemi aziendali così profondamente come i servizi digitali core (ad es. un sistema di riferimento come il CRM). Pertanto le loro credenziali di sicurezza non vengono esaminate in modo approfondito come quelle di un sistema core come un sistema di riferimento. Tuttavia, la sicurezza dei dati è fondamentale per i clienti dei servizi di raccolta dei dati poiché questi servizi:

• A volte sono integrati con sistemi più centrali come i motori di determinazione dei prezzi.
• Possono infettare i sistemi aziendali anche quando non sono integrati con tali sistemi. L'uso di un servizio di raccolta dati comporta la ricezione di dati da quel servizio. Anche alcune delle forme più sicure di trasferimento dei dati comportano rischi.

L'intrusione nei sistemi può anche portare gli aggressori a prendere di mira i dispositivi che forniscono IP residenziali a un servizio proxy. Ciò può causare danni reputazionali ai clienti di quel servizio proxy.

Esempio reale di vulnerabilità in un fornitore di proxy residenziali:

Gli operatori della botnet Kimwolf hanno acquistato servizi proxy dal fornitore di proxy residenziali IPIDEA. Utilizzando comandi dannosi, hanno infettato le reti interne dei dispositivi che forniscono IP a IPIDEA. Queste reti sono state poi scansionate e anche altri dispositivi vulnerabili su queste reti locali sono stati infettati.

Si stima che Kimwolf si sia diffusa su più di 2 milioni di dispositivi con questo metodo. Anche i dati raccolti dai clienti di IPIDEA sono transitati attraverso queste reti infette.¹²

Perdita di dati

Senza sicurezza dei dati, i malintenzionati possono accedere ai dati raccolti dalle aziende per identificare le loro attività e strategie, portando alla perdita di vantaggio competitivo o di opportunità di business.

Esempio reale:

Sebbene i dati web siano pubblici, le aziende possono utilizzare i dati web in modi innovativi per ottenere un vantaggio competitivo. Ad esempio, gli investitori spendono fino al 10% del loro budget per i dati di mercato in alt data¹³ , ma raramente divulgano le loro strategie poiché ritengono che ciò possa aiutarli a ottenere un vantaggio rispetto ai concorrenti. Una fuga di dati può portare all'esposizione delle loro strategie e quindi alla loro replica da parte dei concorrenti.

Gestione delle PII

I dati web includono dati privati dietro accesso o PII che possono essere divulgati accidentalmente o intenzionalmente su siti web pubblici. Se i servizi di raccolta di dati web non gestiscono correttamente le PII, tali dati possono essere acquisiti da malintenzionati. Ciò può causare danni reputazionali al servizio di raccolta di dati web e ai suoi clienti.

Sicurezza delle applicazioni

Le applicazioni o i programmi intermedi come gli SDK che forniscono gli IP dei servizi di raccolta di dati web possono essere inserite nella whitelist da fornitori di certificazione esterna come McAfee. Ciò aumenta la fiducia delle aziende nelle pratiche di approvvigionamento etico del servizio di raccolta di dati web.

Copertura assicurativa

Le aziende in genere richiedono queste assicurazioni a qualsiasi fornitore digitale:

• Assicurazione di responsabilità civile professionale
• Certificato di assicurazione cyber

Benchmark dettagliato: valutazione dei fornitori di infrastrutture per dati web

Benchmark: uso etico da parte dei clienti

Qui intendiamo rispondere alla domanda: l'azienda garantisce che l'uso della sua soluzione sia etico e conforme alle leggi e ai regolamenti applicabili? Sintesi dei nostri risultati:

* Non applicabile: poiché Zyte e Apify acquistano proxy dai loro fornitori e non li raccolgono direttamente dagli utenti residenziali, non verrebbero contattati dai proprietari dei siti web per quanto riguarda gli abusi e quindi non hanno bisogno di creare un modulo di contatto per i siti web.

Per prima cosa, abbiamo esaminato le policy:

Revisione della policy di uso accettabile

Tutti i fornitori vietano le attività illegali e forniscono esempi come attacchi DoS, messaggi collettivi non richiesti, furto d'identità o spoofing.

Inoltre, alcuni fornitori sottolineano anche di vietare attività che potrebbero essere illegali. Di seguito elenchiamo le attività vietate in base alle policy di uso accettabile e ai loro addendum (ad es. l'addendum sul trattamento dei dati) per ciascun fornitore.

Abbiamo cercato termini che vietassero attività potenzialmente illegali e identificabili in base all'attività dell'utente. Ad esempio, una quota significativa di utenti che utilizza proxy per partecipare a sondaggi retribuiti potrebbe usare i proxy per ingannare i fornitori di sondaggi sulla propria posizione effettiva. Pertanto, questa attività è sia potenzialmente illegale sia identificabile in base all'attività dell'utente (ovvero quando un utente accede a un sito web di sondaggi retribuiti).

Sebbene identificare chiaramente le attività vietate sia utile, non è un requisito e non influisce sui nostri punteggi. Le aziende possono scegliere di dichiarare che non consentono attività illegali invece di menzionare ogni possibile esempio di attività illegali.

Menzionare un'attività come vietata non significa che tali attività verranno esaminate o bloccate. I nostri punteggi si basano su come queste policy vengono implementate, come illustrato di seguito:

Processi per un uso etico

Mentre alcune categorie delineate nelle policy di uso accettabile sono piuttosto ampie (ad es. scraping o accesso non autorizzato ai dati), altre sono sufficientemente specifiche da essere trasformate in azioni preventive (ad es. blocco dell'accesso) che i servizi di raccolta dati possono implementare per gli utenti che non hanno completato il processo KYC.

Sulla base di questi usi vietati specifici, abbiamo preparato un ampio elenco di utilizzi che sono probabilmente usi illegali dei proxy. Per ogni caso d'uso, abbiamo identificato scenari che includono domini web e azioni pertinenti. Ad esempio, nello scenario per il coinvolgimento artificiale sui social media, abbiamo tentato di accedere a un social network utilizzando un proxy per mettere "mi piace" a un post esistente.

Poi, per verificare se le aziende consentono un uso non etico da parte dei clienti, abbiamo creato un account sul servizio di ciascun fornitore utilizzando un indirizzo email non-AIMultiple. Non abbiamo completato un processo KYC con questo account e abbiamo proceduto a utilizzare i servizi per capire cosa possono ottenere gli utenti anonimi con ciascun servizio. Il KYC è un passaggio cruciale durante il quale l'utente invia i dati per convalidare la persona giuridica che rappresenta. Questo collega l'attività dell'utente a una persona giuridica:

• Che può essere ritenuta responsabile.
• La cui motivazione per le azioni online (ad es. usare proxy per accedere a siti web governativi) può essere esaminata. Ad esempio, dopo aver compreso il caso d'uso, un ricercatore o un'agenzia governativa può essere autorizzato ad accedere a un sito web governativo utilizzando un proxy.

Ci aspettavamo che questi casi d'uso attivassero un processo KYC, ma nella maggior parte dei fornitori ciò non è avvenuto. Un segno di spunta indica che la richiesta è stata bloccata per gli utenti che non avevano ancora completato il processo KYC:

Per chiarezza, le aziende di servizi di raccolta dati non hanno alcun obbligo legale di bloccare questi siti web e alcuni di questi scenari possono rientrare in un uso legale. Ad esempio, un ricercatore potrebbe voler utilizzare proxy per condurre un esperimento controllato sui social media. Tuttavia, dato il potenziale di abuso in questi scenari, ci aspettavamo che i servizi di raccolta dati li bloccassero per gli utenti che non hanno completato il processo KYC.

Come i brand comunicano i domini che bloccano

• Bright Data elenca le categorie di domini soggetti a restrizioni nella propria policy di uso accettabile.

Rispetto delle preferenze dei siti web riguardo alla raccolta automatizzata dei dati

Che cos'è robots.txt?

robots.txt è un nome di file per implementare il Robots Exclusion Protocol. Questo protocollo viene utilizzato dai siti web per indicare le porzioni del sito che il proprietario preferisce non far visitare ai bot. L'adesione a robots.txt è volontaria.

Pro e contro dell'adesione a robots.txt

• Rispetta le preferenze dei siti web.
• Potrebbe non essere aggiornato di recente e quindi essere obsoleto.
• In genere contiene termini che indicano che il proprietario del sito preferisce che determinate sezioni pubbliche del sito non siano accessibili ai bot.

Robots.txt può anche fornire un accesso disomogeneo ai bot. Ad esempio, i proprietari di siti web possono indicare che preferiscono che i bot dei motori di risposta non visitino determinati URL che invece i bot dei motori di ricerca visitano.

Robots.txt non è un documento legale e può richiedere di bloccare l'accesso dei bot a pagine che sono legalmente:

• consentite per lo scraping (ad es. dati pubblici) o
• non consentite per lo scraping (ad es. dati dietro un accesso in cui i ToC del proprietario del sito vietano lo scraping di tali dati).

I fornitori di servizi di raccolta di dati web possono richiedere agli utenti di proxy residenziali di completare un processo KYC e dimostrare di avere un caso d'uso legale ed etico prima che questi utenti possano ignorare robots.txt.

Per i test, abbiamo inviato richieste a pagine in sottocartelle di cui robots.txt richiede il blocco. I domini che abbiamo utilizzato sono stati aimultiple.com e 5 domini web tra i 100 domini web più visitati. Bright Data ha bloccato queste richieste:

Esempio CNN

Il file robots.txt di CNN blocca la cartella /terms¹⁴ . Per il test, abbiamo navigato in quella cartella con proxy residenziali e abbiamo ricevuto messaggi 200 con i dati della pagina da tutti i fornitori tranne Bright Data. La risposta di Bright Data è: “Residential Failed (bad_endpoint): il sito richiesto non è disponibile per la modalità di accesso residenziale immediato (senza KYC) conformemente a robots.txt. Per ottenere l'accesso residenziale completo per questo sito, compila il modulo KYC: https://brightdata.com/cp/kyc”.

Gestione degli abusi

Abbiamo delineato una metodologia per valutare le pratiche di gestione degli abusi dei fornitori e raccolto dati per soddisfare i nostri criteri di valutazione:

* Non applicabile: Zyte acquista proxy da altri fornitori di proxy e pertanto, quando il servizio di Zyte viene utilizzato per abusi, i proprietari dei siti web contatterebbero i suoi fornitori di proxy anziché Zyte.

Sebbene tutti i fornitori offrano modalità per essere contattati dalle 3rd parti o dai loro clienti, disporre di questi elementi è importante per la risoluzione dei problemi:

• Policy pubblica sugli abusi
• Un indirizzo email dedicato per segnalare gli abusi
• Un metodo di contatto alternativo (ad es. modulo web o interfaccia di messaggistica) che consenta ai segnalanti di contattare l'azienda. Questo è utile perché le email possono essere filtrate e potrebbero non arrivare nella casella di posta.
• Reattività ai messaggi

3 fornitori nel benchmark (Bright Data) hanno fornito un'email per segnalare gli abusi. Tutti questi fornitori hanno inoltre illustrato le loro policy in questo ambito.

Ci aspettiamo che tutti gli altri fornitori facciano lo stesso e che questa diventi una pratica diffusa nel settore nel breve termine.

Infine, abbiamo valutato la reattività nella gestione degli abusi inviando segnalazioni di abuso da domini di terze parti (cioè non-AIMultiple) e misurando i tempi di risposta. Se non siamo riusciti a trovare un indirizzo email per gli abusi, abbiamo inviato la segnalazione al modulo di contatto generale. Abbiamo testato questo tramite 3 gruppi di email inviate il:

• Venerdì 2 maggio 2025 da:
  • Un servizio di vendita di biglietti con circa 30k di traffico mensile
  • Uno studio legale con circa 1k di traffico mensile
• Il 17 maggio 2025 dal servizio di vendita di biglietti.
• Il 24 maggio 2025 da un'agenzia di social media con traffico online limitato.

Le prime email inviate il 2 maggio 2025 sono state inviate alle aziende che avevano fornito email dedicate. In seguito abbiamo ampliato l'elenco includendo indirizzi email più generali indicati nelle sezioni contatti di tutti i servizi di raccolta di dati web oggetto del benchmark. Se un'azienda rispondeva alle nostre email, smettevamo di inviarne altre.

Nelle nostre email abbiamo segnalato che i nostri siti web avevano ricevuto sospetto traffico bot tramite proxy e abbiamo chiesto il loro supporto per identificare l'origine dei proxy. Siamo riusciti a ottenere risposta da tutti i team di conformità tranne uno. Quasi tutte le risposte sono arrivate lo stesso giorno.

Trasparenza d'uso

I proprietari di siti web che forniscono dati web e servizi di raccolta web storicamente non hanno avuto alcuno scambio di dati sulle attività di raccolta. Per limitare le attività di crawling, i proprietari dei siti web potevano:

• Contattare i servizi di raccolta di dati web per segnalare abusi
• Collaborare con fornitori di gestione dei bot come Cloudflare per rendere il crawling più difficile.

Ora esistono iniziative per uno scambio di dati più strutturato tra queste parti. Bright Data ha lanciato la console per webmaster di Bright Data per consentire ai webmaster di monitorare le attività di crawling sui propri siti web. È probabile che una maggiore trasparenza migliori le pratiche di raccolta di dati web.

La nostra esperienza con la console Webmaster

Ci siamo registrati verificando la proprietà del nostro dominio e aggiungendo un file collectors.txt sul dominio.

Ora abbiamo accesso all'attività dei bot di Bright Data sul nostro sito web:

Benchmark: approvvigionamento etico

* Sono state incluse le recensioni su queste piattaforme di 3rd parti: Amazon Appstore, App Store, Google Play Store, Trustpilot. Per comodità, questo valore è stato calcolato per 5 app principali di Bright Data, non per tutte le 120 app presenti sul loro sito web.

Trasparenza dei partner

La larghezza di banda richiesta dalle aziende di infrastrutture per dati web può essere fornita in modo etico offrendo vantaggi (ad es. pagamenti, funzionalità come la possibilità di saltare gli annunci) in cambio del consenso a condividere la propria connessione Internet. Tuttavia, è anche possibile ottenere accesso non autorizzato ai sistemi degli utenti retail e vendere le loro connessioni.

I fornitori di infrastrutture per dati web possono formulare policy e processi, condurre audit esterni e pubblicare il proprio approccio e i risultati degli audit per creare trasparenza su come acquisiscono le connessioni Internet. Ciò può favorire la fiducia nell'approvvigionamento etico del loro servizio.

Abbiamo creato un framework per la trasparenza dal lato dell'offerta nei dati web e abbiamo valutato i fornitori utilizzando questo framework. Abbiamo applicato questo framework indipendentemente dal fatto che un servizio di raccolta di dati web acquisisse IP residenziali direttamente o tramite altri proxy. Il nostro obiettivo è portare trasparenza all'intera catena di fornitura degli IP, poiché le pratiche non etiche possono avere origine in qualsiasi punto della catena di fornitura.

Qui puoi trovare i nostri risultati dettagliati:

Bright Data

Bright Data è classificato come Livello 5 poiché pubblica

• Il loro approccio di approvvigionamento e come gli sviluppatori di app possono collaborare con loro tramite il loro SDK^{15 16}
• Sono stati condivisi pubblicamente dettagli su 120 fornitori. Abbiamo potuto verificare le recensioni di questi fornitori su piattaforme di 3rd parti per stimare quanto sono popolari. ¹⁷

Revisione delle app selezionate

Bright Data condivide 120 app sul proprio sito web. App come Bright VPN sono certificate da 3rd parti per quanto riguarda la divulgazione e la UX.¹⁸ Abbiamo anche scaricato queste app per esaminarle più in dettaglio:

• Bright VPN
• EarnApp
• Sling Kong

Modulo di opt-in con obbligo di non raccogliere dati personali identificativi: Modulo di consenso con una spiegazione chiara da

Bright VPN:

Earn App:

Sling Kong:

• L'utente riceve l'offerta durante il gioco:

• Opt-in:

• Ulteriori informazioni durante l'opt-in:

• Opt-out:

Valore fornito dalle app:

• Bright VPN: servizio VPN gratuito
• EarnApp: pagamenti
• Sling Kong: valuta virtuale di gioco

Altri

Sebbene la maggior parte dei fornitori sia consapevole dell'etica nel web scraping e abbia pubblicato sull'argomento (ad es. ¹⁹ , non abbiamo individuato loro impegni specifici in questo ambito, tranne che per Zyte.²⁰

Ci aspettiamo che questo cambi e che la maggior parte dei fornitori passi ad almeno il Livello 1 nel breve termine.

Certificazione esterna

* Indica che l'azienda ha conseguito tutte le certificazioni esterne in questa categoria

È fondamentale che i fornitori dispongano di sistemi, personale e processi adeguati per proteggere i dati dei clienti e mettere in sicurezza le app che forniscono i loro IP. Consulta la nostra metodologia di misurazione della certificazione esterna per comprendere la logica alla base del nostro punteggio.

Conformità a GDPR e CCPA

Tutti i fornitori dichiarano pubblicamente di essere conformi a entrambe le normative sulla privacy dei dati. Pertanto, questo aspetto non è stato incluso nel punteggio.

Come abbiamo misurato la maturità organizzativa

Sulla base delle capacità che abbiamo individuato in questo ambito, abbiamo verificato l'esistenza di questi certificati presso ciascun fornitore utilizzando le loro dichiarazioni pubbliche:

• Certificazione di sicurezza dei dati e certificazione PII: ^{21 22 23 24}
• Fonte IP nella whitelist: ²⁵
• Pratiche etiche valutate: ²⁶

Alcuni fornitori che non possiedono certificati ISO 27018 hanno affermato che dovrebbero essere considerati certificati poiché utilizzano fornitori di servizi cloud che possiedono certificati ISO 27018. Il parere del nostro consulente di cybersecurity è stato che, sebbene ciò faciliterebbe l'ottenimento del certificato, dovrebbero comunque far certificare le proprie policy e i propri controlli per acquisire il certificato.

Copertura assicurativa

3 aziende di raccolta di dati web hanno condiviso i loro certificati per le assicurazioni. Non pubblichiamo i certificati, ma abbiamo esaminato i documenti per garantire che

• coprissero queste 2 categorie assicurative
• Il limite assicurativo in ciascuna categoria sia almeno su scala multimilionaria in dollari USA.

Alleanze di settore e dati web etici

Esistono 2 principali alleanze di settore:

• Alliance for Responsible Data Collection che include Bright Data, Common Crawl e altri
• Ethical Web Data Collection Initiative (EWDCI) che include Oxylabs, ProxyEmpire, Zyte, tra gli altri. In passato includeva NetNut fino a quando NetNut è stata chiusa dall'FBI, quindi la partecipazione a un'alleanza di settore non ha impedito alle aziende di violare la legge.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

Dichiarazioni di non responsabilità e raccomandazioni per i prossimi passi

Tutti i fornitori di questo benchmark, tranne Nimble, sono clienti di AIMultiple. Come sempre, durante questa ricerca abbiamo seguito i nostri impegni etici.

Abbiamo completato una revisione esaustiva della raccolta etica dei dati web e, sebbene siamo soddisfatti della portata di questo benchmark, vorremmo aumentarne la partecipazione. Ringraziamo queste aziende per aver condiviso la loro copertura assicurativa: Apify, Bright Data, Zyte.

Siamo in attesa di risposte da Nimble. Aggiorneremo il rapporto non appena avremo ulteriori aggiornamenti da parte loro. 2 fornitori hanno scelto di non partecipare a questa iterazione del benchmark. Aggiorniamo costantemente questo rapporto se una qualsiasi di queste 7 aziende suggerisce modifiche basate sui fatti, eque per tutti i fornitori e utili alle aziende per prendere decisioni migliori.

NetNut era tra le aziende che abbiamo valutato quando abbiamo pubblicato per la prima volta questo rapporto nel 2025. Aveva il punteggio più basso possibile (Livello 0) nel nostro approfondimento sull'approvvigionamento etico in cui abbiamo esaminato le fonti degli IP di questi fornitori. NetNut è stata chiusa nel 2026 poiché l'FBI ha identificato i suoi legami con le botnet.²⁷ Speriamo che questo sia un incentivo per tutti i fornitori a essere trasparenti riguardo alle proprie fonti.

Secondo la nostra ricerca, questo è il primo rapporto incentrato sui dati web etici. Speriamo che questa trasparenza possa aiutare il settore dei dati web a trovare soluzioni creative alle sue sfide. Queste soluzioni dovranno bilanciare gli interessi dei raccoglitori di dati web, degli utenti di automazione web, dei proprietari di siti web e degli utenti residenziali che forniscono i propri IP al settore.

Limiti della metodologia

Questo benchmark misura indicatori di maturità osservabili, tra cui controlli sull'uso da parte dei clienti, trasparenza nella fornitura di IP, certificazioni esterne e condivisione della copertura assicurativa. Tuttavia, il punteggio non determina completamente se un fornitore sia legalmente conforme in ogni caso d'uso dei clienti.

Pertanto, un punteggio elevato nel benchmark dovrebbe essere considerato un elemento per la due diligence negli acquisti, non una garanzia di legalità o uso etico.

Riferimenti

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Benchmark etico e conforme sui dati web}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consultato il 4 Agosto 2026}
}

Collegamenti di riferimento

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

Page not found - Bright Data

Bright Data

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

27.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Analista principale

Segui

Cem è l'analista principale di AIMultiple dal 2017. AIMultiple informa centinaia di migliaia di aziende (secondo SimilarWeb) compreso il 60% delle Fortune 500 ogni mese.

Il lavoro di Cem è stato citato da importanti pubblicazioni globali tra cui Business Insider, Forbes, Washington Post, aziende globali come Deloitte, HPE e ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione europea.

Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, acquirente di tecnologia e imprenditore tecnologico. Ha consigliato aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un rapporto McKinsey sulla digitalizzazione.

Ha guidato la strategia tecnologica e gli approvvigionamenti di una società di telecomunicazioni rispondendo direttamente al CEO. Ha anche guidato la crescita commerciale dell'azienda deep tech Hypatos che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da 0 in 2 anni. Il lavoro di Cem in Hypatos è stato trattato da importanti pubblicazioni tecnologiche come TechCrunch e Business Insider.

Cem interviene regolarmente a conferenze tecnologiche internazionali. Si è laureato in ingegneria informatica all'Università Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento