Standard Etico e Conforme per i Dati Web

Man mano che le imprese espandono le loro operazioni di dati web, i responsabili della conformità, dei dati e del rischio valutano sempre più i rischi etici, reputazionali e legali associati.

Hanno valutato 5 principali servizi di raccolta dati web su 3 dimensioni e abbiamo testato ciascun servizio con oltre 20 scenari potenzialmente non etici.

Il nostro lavoro ti aiuta a valutare la posizione etica delle tue pratiche di raccolta dati e a comprendere le potenziali conseguenze di approcci non etici. Forniamo anche linee guida per la raccolta etica dei dati web e valutiamo i servizi di raccolta dati web da una prospettiva etica e di conformità:

Valutazione dei servizi di raccolta dati web

Hanno valutato i principali servizi di raccolta dati web (chiamati anche fornitori di dati web o infrastruttura di dati web) utilizzando la nostra lista di controllo per i dati web etici. Questi punteggi rappresentano i livelli di maturità con 5 come il livello più alto:

* Questi sono codici per i nomi dei fornitori. Questi fornitori non volevano essere citati in questo rapporto e sono elencati in fondo alla lista fino a quando non risolviamo questo problema.

** ✅ indica che l'azienda ha scelto di condividere i suoi certificati assicurativi con AIMultiple. ❌ indica che l'azienda ha deciso di non condividere i suoi certificati assicurativi con noi e quindi non abbiamo potuto convalidare la loro copertura assicurativa. La copertura assicurativa è l'unica categoria in cui ci siamo affidati alla partecipazione delle aziende di servizi di dati web per valutarle.

Ordinato per punteggio di sintesi.

Modello di punteggio per i dati web etici

Di seguito, descriviamo come sono stati derivati questi punteggi. Puoi anche vedere la motivazione per la selezione di queste dimensioni di punteggio.

Nei primi 2 categorie, abbiamo identificato 5 competenze e le aziende hanno ricevuto punteggi in base al numero di competenze che hanno soddisfatto. Il Livello 5 rappresenta la massima maturità osservata nel mercato, riflettendo le migliori pratiche attuali piuttosto che la perfezione.

Capacità per l'uso etico da parte dei clienti

• Processi efficaci per l'uso etico: Valutiamo la capacità di ciascun fornitore di prevenire l'uso non etico dei propri servizi proxy residenziali attraverso scenari di test controllati. Se una delle nostre richieste viene bloccata dal fornitore, allora questo è raggiunto.
• Processi migliorati per l'uso etico: Simile a "processi efficaci per l'uso etico". Tuttavia, questa capacità indica che il fornitore di servizi ha bloccato più di uno dei nostri tentativi di utilizzare i suoi servizi per casi d'uso non etici.
• Processi di best practice per l'uso etico: Simile a "processi efficaci per l'uso etico". Tuttavia, questa capacità indica che il fornitore di servizi ha bloccato la maggior parte dei nostri tentativi di utilizzare i suoi servizi per casi d'uso non etici.
• Fondamenta della gestione degli abusi: Pubblicazione di una politica di gestione degli abusi e un metodo per segnalare gli abusi
• Gestione degli abusi reattiva: Abbiamo misurato come le aziende hanno risposto a più segnalazioni di abusi. Anche se non c'era una linea diretta per segnalare gli abusi, abbiamo utilizzato le email elencate dall'azienda per raggiungere il loro team. Se non abbiamo ricevuto alcuna risposta alla nostra segnalazione entro una settimana, si presume che l'azienda non sia reattiva.

Capacità per una fornitura etica

La fornitura etica comporta l'acquisizione di indirizzi IP in modo etico. La nostra analisi di mercato ha identificato i seguenti livelli di trasparenza riguardo alla fornitura etica degli IP:

• Livello 1: Politica di sourcing IP pubblicata.
• Livello 2: Ha rivelato almeno una fonte (ad es. un'app mobile) per gli IP che fornisce IP in modo etico. La fonte rivelata dovrebbe avere in totale almeno 10k recensioni su piattaforme di terze parti, inclusi Google, Apple, Amazon app stores e Trustpilot.
• Livello 3: Come il Livello 3 ma con 100k recensioni
• Livello 4: Come il Livello 3 ma con 1M di recensioni
• Livello 5: Come il Livello 4 ma con 10M di recensioni

Le recensioni sono un indicatore della popolarità delle app e sono un segnale importante per questa valutazione. I servizi di raccolta dati web devono lavorare con applicazioni popolari per essere in grado di soddisfare le esigenze IP dei loro clienti.

Per la qualifica, le app rivelate dovrebbero seguire queste migliori pratiche. Non controlleremo questo per ogni app rivelata, ma lo controlleremo per alcune selezionate casualmente:

• Consenso informato:
  • Gli utenti devono acconsentire prima di condividere la propria connessione internet. La schermata di consenso dovrebbe delineare:
    • Il fornitore
    • Il servizio
    • Come il loro IP verrà utilizzato
  • Gli utenti dovrebbero essere in grado di accedere a informazioni dettagliate su
    • Come la loro connessione internet verrà utilizzata
    • Politica sulla privacy
• Valore: Gli utenti devono ricevere un certo valore dall'app (ad es. pagamento, capacità di saltare gli annunci o qualche altra funzionalità)
• Privacy: Raccolta limitata e trasparente dei dati utente.

Per le reti proxy residenziali, gli acquirenti dovrebbero anche verificare se il consenso è specifico, informato, revocabile e separato da permessi dell'app non correlati. Dovrebbero chiedere se gli utenti possono disiscriversi facilmente, se l'uso della larghezza di banda è limitato, se i minori sono esclusi e se il fornitore controlla le app o gli SDK che forniscono IP residenziali.

Certificazione esterna

Hanno valutato la certificazione esterna in base al fatto che le aziende avessero acquisito questi certificati rilevanti per la sicurezza e la conformità di livello aziendale.

• Certificazione PII: Capacità dimostrata di gestire PII acquisendo ISO 27018
• Certificazione sicurezza dei dati: Pratiche di sicurezza dei dati dimostrate acquisendo uno di questi certificati: SOC 2 o ISO/IEC 27001
• Fonte IP in lista bianca: I fornitori di certificazione esterna come McAfee certificano o:
  • App specifiche di terze parti che forniscono IP
  • SDK che raccoglie IP da app di terze parti
• Pratiche etiche valutate: Un progetto di garanzia ISAE 3000 può essere completato per valutare le pratiche interne di conformità ed etica.

Assicurazione

Hanno chiesto ai fornitori di fornirci questi documenti assicurativi:

• Certificato di assicurazione per la responsabilità professionale che fornisce copertura per le responsabilità dei fornitori in caso di problemi nel servizio
• Certificato di assicurazione cyber che fornisce copertura per le responsabilità dei fornitori in caso di problemi legati alla sicurezza delle informazioni.

Punteggio di sintesi

Questo punteggio è la somma di tutti i punteggi divisa per 3. I punteggi sono:

• 0 a 5 per le capacità per l'uso etico da parte dei clienti
• 0 a 5 per le capacità per una fornitura etica
• 0 a 3 per la certificazione esterna
• 0 a 2 per le assicurazioni

Principali servizi di raccolta dati web

AIMultiple ha selezionato i 7 maggiori servizi di raccolta dati web in termini di dipendenti su LinkedIn. Abbiamo scelto questa metrica poiché è sia pubblica che dovrebbe essere correlata ai ricavi dell'azienda e alla prontezza per le imprese. Metriche migliori come i ricavi o il numero di dipendenti in busta paga non sono pubblicamente disponibili per queste aziende private.

Tutte le aziende selezionate hanno più di 100 dipendenti collegati alle loro pagine profilo LinkedIn nell'aprile 2025. Attualmente 5 dei 7 selezionati sono visualizzati su questa pagina e le restanti 2 aziende hanno scelto di non essere incluse nel rapporto.

Prodotti di raccolta dati web in primo piano

Queste aziende offrono una gamma di prodotti inclusi proxy, API di scraping dati e dataset. Sebbene tutti i prodotti possano essere esaminati da una prospettiva etica, ci siamo inizialmente concentrati sul prodotto che offre il massimo livello di flessibilità e alimenta la maggior parte degli altri prodotti: proxy residenziali.

I prodotti di raccolta dati web possono essere considerati come una gerarchia in cui i proxy formano il livello fondamentale su cui sono costruiti tutti gli altri servizi. Questo perché i proxy permettono alle macchine di accedere a internet attraverso diverse destinazioni, consentendo un insieme diversificato e ampio di connessioni internet cruciali per la raccolta dati. Pertanto, i proxy sono il prodotto di raccolta dati web più capace, può essere utilizzato per eseguire funzioni che non sarebbero possibili con dataset o API di scraping dati.

Tra i proxy, i proxy residenziali sono il prodotto che è più difficile per i siti web identificare come proxy. Ad esempio, altri proxy come i proxy dei data center sono facili da identificare data la loro posizione. Pertanto, i proxy residenziali alimentano la maggior parte degli altri prodotti di dati web come le API di scraping dati.

Verifica: La tua raccolta dati web è conforme ed etica?

La tua azienda sta molto probabilmente sfruttando i dati web. Tuttavia, il settore affronta una regolamentazione limitata, rendendo importante scegliere un fornitore etico e conforme. Per raggiungere questo obiettivo, abbiamo preparato un quadro olistico per tenere conto di diversi aspetti della raccolta dati web inclusa la fonte etica, l'uso etico e la certificazione esterna.

I dati web sono una risorsa operativa comune

Come impresa, la tua azienda si basa parzialmente sui dati web a causa dei suoi numerosi casi d'uso come:

• Pricing dinamico per retail & e-commerce
• Dati alternativi in tempo reale per fondi di investimento
• Processo KYC nel banking commerciale
• Addestramento o finetuning di modelli AI
• Inferenza AI o RAG
• Ricerca di mercato

Con l'AI, i dati web sono ora più importanti

Sebbene la raccolta dati web sia vecchia quanto il web, la sua importanza è aumentata drasticamente dopo l'ascesa dei modelli di AI generativa. I costruttori di questi modelli come OpenAI e Anthropic sono iniziati senza partnership di contenuti significative e hanno utilizzato principalmente dati online per costruire i loro modelli iniziali, il che ha portato all'ascesa dell'industria AI da trilioni di dollari.

Sorveglianza normativa limitata

Sebbene la regolamentazione dell'AI sia sotto i riflettori, l'industria della raccolta dati rimane per lo più non regolamentata nella maggior parte dei paesi. Le attività online chiaramente illegali sono ben definite. Tuttavia, ci sono requisiti normativi limitati per gli attori del settore per prevenire proattivamente l'abuso dei loro servizi da parte degli utenti.

Spetta alle piattaforme stesse stabilire le migliori pratiche e gli standard di conformità per garantire la raccolta etica dei dati e l'uso dei proxy. Pertanto, la tua scelta del fornitore conta di più nella raccolta dati rispetto a settori fortemente regolamentati come il banking dove ogni fornitore di servizi è tenuto a rispettare numerose normative.

La posizione etica dei tuoi fornitori fa parte della reputazione della tua azienda

Indipendentemente dal fatto che tu raccolga o consumi i dati, sei responsabile del processo di acquisizione.

Le responsabilità delle imprese per attività illegali nella loro catena di approvvigionamento dipendono dalla giurisdizione. Ad esempio, in Germania, le imprese sono responsabili di svolgere attività KYS e gestione del rischio per identificare e prevenire i danni causati dalla loro catena di approvvigionamento. Anche quando le aziende non sono responsabili dei danni causati dalla loro catena di approvvigionamento, possono subire rischi reputazionali.

Qual è il costo della raccolta dati non etica e non conforme?

Rischio reputazionale

Se diventa pubblico che un'azienda sta sfruttando un servizio di raccolta dati web che si impegna in comportamenti o azioni non etici che mettono in pericolo la sicurezza dei dati, ciò può portare a danni reputazionali significativi come perdita di affari, abbandono dei clienti, abbandono dei talenti e perdita di fiducia degli investitori.

Esempi reali di fornitori aziendali che portano a perdite reputazionali:

• Nike ha subito danni reputazionali numerose volte a causa delle pratiche di lavoro non etiche dei suoi fornitori.¹
• Molte imprese come EY hanno perso la fiducia dei loro clienti quando sono state colpite dalla violazione del software di trasferimento file gestito MOVEit. ²

Rischio legale

La perdita reputazionale, specialmente quella che porta a indignazione pubblica, è tipicamente seguita da cause legali da parte dei clienti dell'azienda o di altri stakeholder che sono stati danneggiati dalle pratiche non etiche.

Esempio reale: Starbucks è uno dei marchi recenti ad essere stato citato in giudizio per l'approvvigionamento da aziende con pratiche non etiche.³

Lista di controllo per i dati web etici

I dati web aziendali devono soddisfare 3 requisiti per essere etici:

Uso etico da parte dei clienti

Nel quadro dei loro processi Conosci il tuo fornitore, le imprese evitano di utilizzare servizi che abilitano attività non etiche. Utilizzare tali servizi espone le aziende a danni reputazionali.

Esempio del mondo reale: In casi in cui un fornitore è stato documentato mentre permetteva alla sua piattaforma di essere utilizzata in attività non etiche, numerose imprese si sono distanziate dal fornitore fino a quando non ha migliorato le sue pratiche.⁴

Come questo si relaziona ai dati web: I dati web sono raccolti tramite diversi indirizzi IP. Questi indirizzi possono essere utilizzati per impegnarsi in diverse attività illegali come attacchi DDOS per prevenire la consegna dei servizi digitali, raccolta non autorizzata di dati non pubblici o frode pubblicitaria. I cattivi attori hanno bisogno di IP per alimentare le loro azioni e i fornitori di infrastruttura dati web/proxy sono i maggiori fornitori di IP per gli utenti retail.

Fornitura etica

I servizi utilizzati per scopi etici possono causare azioni non etiche e dannose durante la loro produzione. Ad esempio, marchi come Nike e Nestle hanno subito danni reputazionali e affrontato cause legali a causa dell'uso del lavoro minorile da parte dei loro appaltatori.

Come questo si relaziona ai dati web:

Le aziende devono accedere a un gran numero e fonti diverse di larghezza di banda per una raccolta dati rapida e globale. Questo richiede l'uso di proxy residenziali: Sebbene la raccolta di dati pubblici sia legale in molte condizioni, ⁵ i siti web possono anche scegliere di bloccare alcuni dei loro visitatori. Ad esempio, possono bloccare i crawler dei loro concorrenti. In tali casi, le aziende devono fare affidamento su un gran numero di connessioni da utenti retail o altre terze parti per raccogliere dati web.

I fornitori di proxy raccolgono milioni di connessioni internet da varie fonti e le forniscono alle aziende che utilizzano indirizzi IP per accedere a queste connessioni. Alcuni di questi IP provengono dai dispositivi degli utenti residenziali. La raccolta di queste connessioni può essere legale o illegale:

• Legale: Le pratiche legalmente conformi comportano l'ottenimento del consenso informato dell'utente, la fornitura di compensazione e l'offerta di meccanismi di opt-out in conformità con le normative locali. Il fornitore di dati web dovrebbe
  • Informare gli utenti su come la loro larghezza di banda verrà utilizzata
  • Ottenere il loro consenso digitalmente
  • Compensarli in cambio
  • Permettere loro di disiscriversi in qualsiasi momento
• Illegale: I cattivi attori possono accedere ai dispositivi degli utenti e utilizzare la loro connessione internet senza permesso o compensazione. Questo può accadere attraverso app malware, dispositivi compromessi, installazioni mascherate, opt-in automatico e altri metodi che possono mettere a rischio il proprietario del dispositivo.

Le aziende che utilizzano proxy ottenuti illegalmente possono involontariamente pagare i cattivi attori per l'accesso non autorizzato ai dispositivi.

Esempi reali:

• I router e i dispositivi IoT sono stati compromessi per operazioni botnet e venduti come proxy residenziali.^{6 7}
• Certi fornitori di proxy promuovono i loro servizi in forum frequentati da cattivi attori. Questi IP sono probabilmente ottenuti illegalmente.⁸
• Le app VPN su Google Play Store sono state utilizzate anche per acquisire IP residenziali senza il consenso dell'utente.⁹

Sebbene queste operazioni siano state chiuse, è probabile che i cattivi attori stiano ancora accedendo agli IP residenziali senza consenso tramite botnet e applicazioni compromesse o maliziose.

Certificazione esterna

I compratori aziendali hanno bisogno di soluzioni sicure e pronte per le imprese. Abbiamo identificato gli ingredienti per un'organizzazione di dati web matura che può essere documentata tramite certificazione esterna:

Sicurezza dei dati

La mancanza di sicurezza dei dati nei sistemi dei fornitori può erodere il vantaggio competitivo di un'impresa o portare alla perdita di dati e al downtime del sistema. La perdita di funzionalità del sistema può erodere la fiducia e portare alla svalutazione di un'impresa.

Intrusione nel sistema

I servizi di raccolta dati non sono integrati così profondamente nei sistemi di un'impresa come i servizi digitali principali (ad es. un sistema di record come CRM). Pertanto le loro credenziali di sicurezza non sono esaminate così approfonditamente come le credenziali di un sistema principale come un sistema di record. Tuttavia, la sicurezza dei dati è critica per i clienti dei servizi di raccolta dati poiché questi servizi:

• Sono talvolta integrati in sistemi più centrali come motori di pricing.
• Possono infettare i sistemi aziendali anche quando non sono integrati in tali sistemi. Utilizzare un servizio di raccolta dati comporta la ricezione di dati da quel servizio. Anche alcune delle forme più sicure di trasferimento dati includono rischi.

L'intrusione nel sistema può anche portare gli attaccanti a prendere di mira i dispositivi che forniscono IP residenziali a servizi proxy. Questo può causare danni reputazionali ai clienti di quei servizi proxy.

Esempio reale di vulnerabilità in un fornitore di proxy residenziali:

Gli operatori del botnet Kimwolf hanno acquistato servizi proxy da un fornitore di proxy residenziali IPIDEA. Utilizzando comandi malevoli, hanno infettato le reti interne dei dispositivi che forniscono IP a IPIDEA. Queste reti sono state poi scansionate e altri dispositivi vulnerabili su queste reti locali sono stati anche infettati.

Si stima che Kimwolf si sia diffuso a più di 2 milioni di dispositivi con questo metodo. I dati raccolti dai clienti di IPIDEA sono anche fluiti attraverso queste reti infette.¹⁰

Perdita di dati

Senza sicurezza dei dati, i cattivi attori possono accedere ai dati raccolti dalle imprese per identificare le loro attività e strategie portando a una perdita di vantaggio competitivo o opportunità di business.

Esempio reale:

Sebbene i dati web siano pubblici, le aziende possono utilizzare i dati web in modi nuovi per il vantaggio competitivo. Ad esempio, gli investitori spendono fino al 10% del loro budget di dati di mercato per dati alternativi¹¹ , ma raramente rivelano le loro strategie poiché credono che questo possa aiutarli a guadagnare un vantaggio rispetto ai loro concorrenti. Una perdita di dati può portare all'esposizione delle loro strategie e quindi alla replica da parte dei loro concorrenti.

Gestione PII

I dati web includono dati privati dietro login o PII che possono essere accidentalmente o intenzionalmente divulgati su siti web pubblici. Se i servizi di raccolta dati web non riescono a gestire correttamente la PII, tali dati possono essere acquisiti da cattivi attori. Questo può portare a danni reputazionali per il servizio di raccolta dati web e i suoi clienti.

Sicurezza delle applicazioni

Le applicazioni o i programmi intermedi come gli SDK che forniscono gli IP dei servizi di raccolta dati web possono essere messi in lista bianca dai fornitori di certificazione esterna come McAfee. Questo aumenta la fiducia dell'impresa nelle pratiche di fornitura etica del servizio di raccolta dati web.

Copertura assicurativa

Le aziende richiedono tipicamente queste assicurazioni da qualsiasi fornitore digitale:

• Assicurazione per la responsabilità professionale
• Certificato di assicurazione cyber

Scopri altri nostri benchmark e approfondimenti basati sui dati nella Ricerca Google.

Aggiungi come fonte preferita

Benchmark dettagliato: Valutazione dei fornitori di infrastruttura dati web

Benchmark: Uso etico da parte dei clienti

Qui miriamo a rispondere alla domanda: L'azienda garantisce che l'uso della sua soluzione sia etico e in linea con le leggi e i regolamenti applicabili? Sintesi delle nostre scoperte:

* Non applicabile: Poiché Zyte e Apify acquistano proxy dai loro fornitori e non li raccolgono direttamente dagli utenti residenziali, non verrebbero raggiunti dai proprietari di siti web riguardo agli abusi e quindi non devono creare un modulo di contatto per i siti web.

Innanzitutto, abbiamo esaminato le politiche:

Revisione della politica di utilizzo accettabile

Tutti i fornitori vietano attività illegali e forniscono esempi come attacchi DoS, messaggi di massa non richiesti, impersonificazione o spoofing.

Inoltre, alcuni fornitori sottolineano anche che vietano attività che sono probabilmente illegali. Di seguito, elenchiamo le attività vietate in base alle politiche di utilizzo accettabile e ai loro allegati (ad es. allegato di elaborazione dei dati) per ciascun fornitore.

Cercavamo termini che vietassero attività che sono probabilmente illegali e possono essere identificate in base all'attività dell'utente. Ad esempio, una quota significativa di utenti che utilizzano proxy per prendere sondaggi a pagamento potrebbe utilizzare proxy per ingannare i fornitori di sondaggi sulla loro posizione effettiva. Pertanto, questa attività è sia probabilmente illegale che può essere identificata in base all'attività dell'utente (cioè quando un utente accede a un sito web di sondaggi a pagamento).

Sebbene identificare chiaramente le attività vietate sia vantaggioso, non è un requisito e non influisce sui nostri punteggi. Le aziende possono scegliere di menzionare che non permettono attività illegali piuttosto che menzionare ogni possibile istanza di attività illegali.

Menzionare un'attività come vietata non significa che tali attività saranno esaminate o bloccate. I nostri punteggi si basano su come queste politiche sono implementate come descritto di seguito:

Processi per l'uso etico

Mentre alcune categorie delineate nelle politiche di utilizzo accettabile sono piuttosto ampie (ad es. scraping dati non autorizzato o accesso), altre sono specifiche abbastanza da essere convertite in azioni preventive (ad es. bloccare l'accesso) che i servizi di raccolta dati possono implementare per gli utenti che non hanno completato il loro processo KYC.

In base a questi usi specifici vietati, abbiamo preparato un elenco estensivo di usi che sono probabilmente usi illegali di proxy. Per ogni caso d'uso, abbiamo identificato scenari inclusi domini web rilevanti e azioni. Ad esempio, nello scenario per l'engagement sociale artificiale sui social media, abbiamo tentato di accedere a una rete sociale utilizzando un proxy per mettere like a un post esistente.

Poi, per testare se le aziende permettono l'uso non etico da parte dei clienti, abbiamo creato un account sul servizio di ciascun fornitore utilizzando un indirizzo email non AIMultiple. Non abbiamo completato un processo KYC con questo account e abbiamo proceduto a utilizzare i servizi per capire cosa gli utenti anonimi possono ottenere con ciascun servizio. KYC è un passaggio cruciale durante il quale l'utente invia dati per convalidare l'entità legale che rappresentano. Questo collega l'attività dell'utente a un'entità legale:

• Che può essere ritenuta responsabile.
• La cui motivazione per le azioni online (ad es. utilizzare proxy per accedere a siti web governativi) può essere esaminata. Ad esempio, dopo aver compreso il loro caso d'uso, un ricercatore o un'agenzia governativa può essere autorizzato ad accedere a un sito web governativo utilizzando un proxy.

Abbiamo aspettato che questi casi d'uso attivassero un processo KYC ma nella maggior parte dei fornitori, questo non è successo. Un segno di spunta indica che la richiesta è stata bloccata per gli utenti che non avevano ancora completato il processo KYC:

Per chiarezza, le aziende di servizi di raccolta dati non hanno alcun obbligo legale di bloccare questi siti web e alcuni di questi scenari possono far parte di un uso legale. Ad esempio, un ricercatore potrebbe voler sfruttare proxy per eseguire un esperimento controllato sui social media. Tuttavia, dato il potenziale di abuso in questi scenari, ci aspettavamo che i servizi di raccolta dati li bloccassero per gli utenti che non avevano completato il processo KYC.

Come i marchi comunicano i domini che bloccano

• Bright Data elenca le categorie di domini limitati nella loro politica di utilizzo accettabile.

Rispetto delle preferenze dei siti web riguardo alla raccolta dati automatizzata

Cos'è robots.txt?

robots.txt è un nome di file per implementare il Protocollo di Esclusione dei Robot. Questo protocollo è utilizzato dai siti web per indicare le porzioni del sito web che il proprietario del sito web preferisce che i bot non visitino. L'adesione a robots.txt è volontaria.

Pro e contro dell'adesione a robots.txt

➕ Rispetta le preferenze del sito web.

➖ Potrebbe non essere aggiornato di recente e quindi essere obsoleto.

➖ Tipicamente coinvolge termini che indicano che il proprietario del sito web preferisce che certe sezioni pubbliche del sito web non siano accessibili dai bot.

Robots.txt può anche fornire un accesso disuguale ai bot. Ad esempio, i proprietari di siti web possono indicare che non preferiscono che i bot dei motori di risposta visitino certi URL che i bot dei motori di ricerca visitano.

Robots.txt non è un documento legale e può richiedere di bloccare l'accesso dei bot per pagine che sono legalmente:

• permesse di essere scraate (ad es. dati pubblici) o
• non permesse di essere scraate (ad es. dati dietro un login dove il ToC del proprietario del sito web vieta lo scraping di tali dati).

I fornitori di servizi di raccolta dati web possono richiedere agli utenti di proxy residenziali di completare un processo KYC e provare che hanno un caso d'uso legale ed etico prima che questi utenti possano ignorare robots.txt.

Per i test, abbiamo inviato richieste a pagine in sottocartelle che sono richieste di essere bloccate da robots.txt. I domini che abbiamo utilizzato erano aimultiple.com e 5 domini web tra i 100 domini web più visitati. Solo Bright Data ha bloccato queste richieste:

Esempio CNN

Il robots.txt di CNN blocca la cartella /terms¹² . Per i test, abbiamo navigato in quella cartella con proxy residenziali e ricevuto messaggi 200 con i dati della pagina da tutti i fornitori tranne Bright Data. La risposta di Bright Data è: "Residential Failed (bad_endpoint): Il sito richiesto non è disponibile per la modalità di accesso residenziale immediata (no KYC) in conformità con robots.txt. Per ottenere l'accesso residenziale completo per indirizzare questo sito, compila il modulo KYC: https://brightdata.com/cp/kyc".

Gestione degli abusi

Hanno delineato una metodologia per valutare le pratiche di gestione degli abusi dei fornitori e hanno raccolto dati per soddisfare i nostri criteri di valutazione:

* Non applicabile: Zyte acquista proxy da altri fornitori di proxy e quindi quando il servizio di Zyte è utilizzato per abusi, i proprietari di siti web raggiungerebbero i loro fornitori di proxy piuttosto che Zyte.

Mentre tutti i fornitori forniscono mezzi per terze parti o i loro clienti di raggiungerli, averli è importante per la risoluzione dei problemi:

• Politica pubblica sugli abusi
• Un indirizzo email dedicato per segnalare abusi
• Un metodo di contatto alternativo (ad es. webform o interfaccia di messaggistica) che permette ai segnalatori di raggiungere l'azienda. Questo è utile poiché le email possono essere filtrate e potrebbero non raggiungere la casella di posta.
• Reattività ai messaggi

3 fornitori nel benchmark (Bright Data) hanno fornito un'email per segnalare abusi. Tutti questi fornitori hanno anche delineato le loro politiche in questo dominio.

Ci aspettiamo che tutti gli altri fornitori facciano lo stesso e che questo diventi una pratica diffusa nel settore nel breve termine.

Infine, abbiamo valutato la reattività della gestione degli abusi inviando email di segnalazione di abusi da domini di terze parti (cioè non AIMultiple) e misurando i tempi di risposta. Se non potevamo trovare un indirizzo email per gli abusi, lo abbiamo inviato al modulo di contatto generale. Abbiamo testato questo tramite 3 batch di email inviate il:

• Venerdì 2 maggio 2025 da:
  • Un servizio di vendita biglietti con ~30k traffico mensile
  • Uno studio legale con ~1k traffico mensile in
• 17 maggio 2025 dal servizio di vendita biglietti.
• 24 maggio 2025 da un'agenzia di social media con traffico online limitato.

Le prime email inviate il 2 maggio 2025 sono state inviate alle aziende che fornivano email dedicate. In seguito, abbiamo ampliato la nostra lista e incluso più indirizzi email generali elencati nelle sezioni di contatto di tutti i servizi di raccolta dati web valutati. Se un'azienda rispondeva alle nostre email, smettevamo di inviarle ulteriori email.

Nei nostri email, abbiamo menzionato che i nostri siti web ricevevano traffico bot sospetto tramite proxy e chiedevamo il loro supporto nell'identificare la fonte dei proxy. Siamo riusciti a ottenere tutte le squadre di conformità tranne una per rispondere a noi. Quasi tutte le risposte sono state ricevute lo stesso giorno.

Trasparenza dell'uso

I proprietari di siti web che forniscono dati web e servizi di raccolta web storicamente non hanno avuto scambio di dati sulle attività di raccolta dati. Per limitare le attività di crawling, i proprietari di siti web potevano o:

• Contattare i servizi di raccolta dati web per segnalare abusi
• Lavorare con fornitori di gestione bot come Cloudflare per rendere il crawling più difficile.

Ora, ci sono iniziative per uno scambio di dati più strutturato tra queste parti. Bright Data ha lanciato la console Webmaster di Bright Data per i webmaster per monitorare le attività di crawling sui loro siti web. Più trasparenza è probabile che migliori le pratiche di raccolta dati web.

La nostra esperienza con la console Webmaster

Ci siamo registrati verificando la proprietà del nostro dominio e aggiungendo un file collectors.txt sul dominio.

Ora abbiamo accesso all'attività bot da Bright Data sul nostro sito web:

Benchmark: Fornitura etica

* Le recensioni su queste piattaforme di terze parti sono state incluse: Amazon Appstore, App Store, Google Play Store, Trustpilot. Per comodità, questo valore è stato calcolato per 5 app principali per Bright Data, non tutte le 120 app presenti sul loro sito web.

Trasparenza dei partner

La larghezza di banda richiesta dalle aziende di infrastruttura dati web può essere fornita in modo etico fornendo benefici (ad es. pagamenti, funzionalità come la capacità di saltare gli annunci) in cambio del consenso a condividere la propria connessione internet. Tuttavia, è anche possibile ottenere l'accesso non autorizzato ai sistemi degli utenti retail e vendere le loro connessioni.

I fornitori di infrastruttura dati web possono formulare politiche e processi, eseguire audit esterni e pubblicare il loro approccio e i risultati dell'audit per creare trasparenza su come acquisiscono le loro connessioni internet. Questo può favorire la fiducia nella fornitura etica del loro servizio.

Hanno creato un quadro per la trasparenza lato fornitura nei dati web e hanno valutato i fornitori utilizzando questo quadro. Abbiamo applicato questo quadro indipendentemente dal fatto che un servizio di raccolta dati web abbia acquisito IP residenziali da solo o tramite altri proxy. Il nostro obiettivo è portare trasparenza all'intera catena di approvvigionamento degli IP poiché le pratiche non etiche possono originare in qualsiasi punto della catena di approvvigionamento.

Ecco qui i nostri risultati dettagliati:

Bright Data

Bright Data è classificato come Livello 5 poiché pubblicano

• Il loro approccio di sourcing e come gli sviluppatori di app possono lavorare con loro tramite il loro SDK^{13 14}
• I dettagli su 120 fornitori sono stati condivisi pubblicamente. Potremmo controllare le recensioni di questi fornitori su piattaforme di terze parti per stimare quanto siano popolari. ¹⁵

Revisione delle app selezionate

Bright Data condivide 120 delle app sul loro sito web. App come Bright VPN sono certificate da terze parti sulla loro divulgazione e UX.¹⁶ Abbiamo anche scaricato queste app per vederle in modo più dettagliato:

• Bright VPN
• EarnApp
• Sling Kong

Modulo di opt-in con obbligo di non raccogliere dati identificabili personalmente: Modulo di consenso con chiara spiegazione da

Bright VPN:

Earn App:

Sling Kong:

• L'utente riceve l'offerta durante il gioco:

• Opt-in:

• Informazioni aggiuntive durante l'opt-in:

• Opt-out:

Valore fornito dalle app:

• Bright VPN: Servizio VPN gratuito
• EarnApp: Pagamenti
• Sling Kong: Valuta virtuale di gioco

Altri

Mentre la maggior parte dei fornitori è consapevole dell'etica nello scraping web e ha pubblicato sull'argomento (ad es. ¹⁷ , non abbiamo identificato i loro impegni specifici in questo fronte tranne Zyte.¹⁸

Ci aspettiamo che questo cambi e che la maggior parte dei fornitori passi almeno al Livello 1 nel breve termine.

Certificazione esterna

* Indica che l'azienda ha ottenuto tutte le certificazioni esterne in questa categoria

È cruciale che i fornitori abbiano i sistemi, il personale e i processi giusti per proteggere i dati dei clienti e proteggere le app che forniscono i loro IP. Vedi la nostra metodologia di misurazione della certificazione esterna per vedere la logica dietro il nostro punteggio.

Conformità GDPR & CCPA

Tutti i fornitori affermano pubblicamente di essere conformi a entrambe le normative sulla privacy dei dati. Pertanto, questo non è stato incluso nel punteggio.

Come abbiamo misurato le maturità organizzative

In base alle capacità che abbiamo identificato in questo dominio, abbiamo controllato l'esistenza di questi certificati presso ciascun fornitore utilizzando le loro dichiarazioni pubbliche:

• Certificazione sicurezza dei dati & Certificazione PII: ^{19 20 21 22 23}
• Fonte IP in lista bianca: ²⁴
• Pratiche etiche valutate: ²⁵

Alcuni fornitori che non detengono certificati ISO 27018 hanno affermato che dovrebbero essere considerati certificati poiché utilizzano fornitori di servizi cloud che detengono certificati ISO 27018. L'opinione del nostro consulente cybersecurity era che mentre questo faciliterebbe l'acquisizione del certificato, avrebbero comunque bisogno di avere le loro politiche e controlli certificati per acquisire il certificato.

Copertura assicurativa

3 aziende di raccolta dati web hanno condiviso i loro certificati per le assicurazioni. Non pubblichiamo certificati ma abbiamo esaminato i documenti per garantire che

• coprissero queste 2 categorie di assicurazione
• Il limite assicurativo in ciascuna categoria sia almeno su scala multi-milionario in USD.

Disclaimer e raccomandazioni per i prossimi passi

Tutti i fornitori in questo benchmark tranne Nimble sono clienti di AIMultiple. Come sempre, abbiamo seguito i nostri impegni etici durante questa ricerca.

Hanno completato una revisione esaustiva della raccolta dati web etica e mentre siamo soddisfatti della portata di questo benchmark, vorremmo aumentarne la partecipazione. Ringraziamo queste aziende per aver condiviso la loro copertura assicurativa: Apify, Bright Data, Zyte.

Stiamo aspettando risposte da NetNut, Nimble. Aggiornareemo il rapporto non appena avremo più aggiornamenti da loro. 2 fornitori hanno scelto di non partecipare a questa iterazione del benchmark. Stiamo sempre aggiornando questo rapporto se una di queste 7 aziende suggerisce cambiamenti che sono basati sui fatti, equi per tutti i fornitori e aiutano le imprese a prendere decisioni migliori.

Questo è il primo rapporto a concentrarsi sui dati web etici secondo la nostra ricerca. Speriamo che questa trasparenza possa aiutare l'industria dei dati web a trovare soluzioni creative alle sue sfide. Queste soluzioni dovranno bilanciare gli interessi dei raccoglitori di dati web, degli utenti di automazione web, dei proprietari di siti web e degli utenti residenziali che forniscono i loro IP all'industria.

Limiti della metodologia

Questo benchmark misura indicatori di maturità osservabili, inclusi controlli sull'uso da parte dei clienti, trasparenza della fornitura IP, certificazioni esterne e condivisione delle assicurazioni. Tuttavia, il punteggio non determina completamente se un fornitore è legalmente conforme in ogni caso d'uso del cliente.

Pertanto, un alto punteggio di benchmark dovrebbe essere trattato come input per la due diligence degli acquisti, non come una garanzia di legalità o uso etico.

Riferimenti

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Standard Etico e Conforme per i Dati Web}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Consultato il 21 Giugno 2026}
}

Collegamenti di riferimento

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

https://netnut.com/wp-content/uploads/2024/01/NetNut-ISO.pdf

24.

Nimble Trust Center | Security, Compliance & Reliability

25.

Trust Center | Zyte

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento