Kurumlar web verisi operasyonlarını ölçeklendirdikçe uyum, veri ve risk yöneticileri ilgili etik, itibar ve yasal riskleri giderek daha fazla değerlendiriyor.
Önde gelen 5 web verisi toplama hizmetini 3 boyutta kıyasladık ve her hizmeti 20'den fazla potansiyel olarak etik olmayan senaryoyla test ettik.
Çalışmamız, veri toplama uygulamalarınızın etik duruşunu değerlendirmenize ve etik olmayan yaklaşımların olası sonuçlarını anlamanıza yardımcı olur. Ayrıca etik web verisi toplamaya yönelik yönergeler sunuyor ve web verisi toplama hizmetlerini etik ve uyum perspektifinden değerlendiriyoruz:
Web verisi toplama hizmetlerinin değerlendirilmesi
Önde gelen web verisi toplama hizmetlerini (web verisi sağlayıcıları veya web verisi altyapısı olarak da adlandırılır) etik web verisi kontrol listemizi kullanarak değerlendirdik. Bu puanlar olgunluk seviyelerini temsil eder ve 5 en yüksek seviyedir:
Sağlayıcılar | Özet | Müşteriler tarafından
etik kullanım | Etik
tedarik | Harici sertifikasyon | Paylaşılan sigorta kapsamı
** |
|---|---|---|---|---|---|
Seviye 5 | Seviye 5 | Seviye 5 | Veri güvenliği, PII işleme. IP kaynakları beyaz listeye alınmış. Etik uygulamalar değerlendirildi. | ✅ | |
Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✅ | |
Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✅ | |
Nimble | Seviye 1 | Seviye 1 | Seviye 0 | Veri güvenliği | ❌ |
* Bunlar satıcı adları için kodlardır. Bu satıcılar bu raporda anılmak istemedi ve bu sorunu çözene kadar listenin altında listeleniyorlar.
** ✅, şirketin sigorta sertifikalarını AIMultiple ile paylaşmayı seçtiğini gösterir. ❌, şirketin sigorta sertifikalarını bizimle paylaşmamaya karar verdiğini ve bu nedenle sigorta kapsamlarını doğrulayamadığımızı gösterir. Sigorta kapsamı, web verisi hizmetleri şirketlerinin katılımına dayanarak onları değerlendirdiğimiz kategoridir.
Sıralandı özet puana göre.
Etik web verisi için puanlama modeli
Aşağıda bu puanların nasıl türetildiğini açıklıyoruz. Bu puanlama boyutlarını seçme gerekçesini de görebilirsiniz.
İlk 2 kategoride 5 yetkinlik belirledik ve şirketler, karşıladıkları yetkinlik sayısına göre puan aldı. Seviye 5, pazarda gözlemlenen en yüksek olgunluğu temsil eder ve mükemmellikten ziyade mevcut en iyi uygulamaları yansıtır.
Müşteriler tarafından etik kullanım için yetkinlikler
- Etkili süreçler etik kullanım için: Her sağlayıcının residential proxy hizmetlerinin etik olmayan kullanımını kontrollü test senaryoları aracılığıyla önleme becerisini değerlendiriyoruz. İsteklerimizden herhangi biri sağlayıcı tarafından engellenirse bu başarılmış olur.
- İyileştirilmiş süreçler etik kullanım için: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetkinlik, hizmet sağlayıcının hizmetlerini etik olmayan kullanım örnekleri için kullanma girişimlerimizden birden fazlasını engellediğini gösterir.
- En iyi uygulama süreçleri etik kullanım için: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetkinlik, hizmet sağlayıcının hizmetlerini etik olmayan kullanım örnekleri için kullanma girişimlerimizin çoğunu engellediğini gösterir.
- Kötüye kullanım yönetimi temeli: Kötüye kullanım yönetimi politikası ve kötüye kullanımı bildirme yöntemi yayımlama
- Duyarlı kötüye kullanım yönetimi: Şirketlerin birden fazla kötüye kullanım bildirimine nasıl yanıt verdiğini ölçtük. Kötüye kullanımı bildirmek için bir hat olmasa bile ekiplerine ulaşmak için şirketin listelediği e-postaları kullandık. Raporumuza bir hafta içinde yanıt alamazsak şirketin yanıt vermediği varsayılır.
Etik tedarik için yetkinlikler
Etik tedarik, IP adreslerinin etik bir şekilde edinilmesini içerir. Pazar analizimiz, etik IP tedarikiyle ilgili aşağıdaki şeffaflık seviyelerini belirledi:
- Seviye 1: Yayımlanmış IP kaynak politikası.
- Seviye 2: IP'leri etik bir şekilde sağlayan en az bir kaynağı (ör. mobil uygulama) açıkladı. Açıklanan kaynağın, Google, Apple, Amazon uygulama mağazaları ve Trustpilot dahil üçüncü taraf platformlarda toplam en az 10k yorumu olmalıdır.
- Seviye 3: Seviye 3 ile aynı ancak 100k yorumla
- Seviye 4: Seviye 3 ile aynı ancak 1M yorumla
- Seviye 5: Seviye 4 ile aynı ancak 10M yorumla
Yorumlar, uygulamaların popülerliğinin bir göstergesidir ve bu değerlendirme için önemli bir sinyaldir. Web verisi toplama hizmetlerinin, müşterilerinin IP ihtiyaçlarını karşılayabilmek için popüler uygulamalarla çalışması gerekir.
Yeterlilik için açıklanan uygulamaların bu en iyi uygulamaları izlemesi gerekir. Bunu açıklanan her uygulama için kontrol etmeyeceğiz, ancak rastgele seçilen birkaçı için kontrol edeceğiz:
- Bilgilendirilmiş onay:
- Kullanıcıların internet bağlantılarını paylaşmadan önce katılmaları (opt-in) gerekir. Katılım ekranı şunları özetlemelidir:
- Sağlayıcı
- Hizmet
- IP'lerinin nasıl kullanılacağı
- Kullanıcılar aşağıdakiler hakkında ayrıntılı bilgiye erişebilmelidir:
- İnternet bağlantılarının nasıl kullanılacağı
- Gizlilik politikası
- Kullanıcıların internet bağlantılarını paylaşmadan önce katılmaları (opt-in) gerekir. Katılım ekranı şunları özetlemelidir:
- Değer: Kullanıcılar uygulamadan bir değer almalıdır (ör. ödeme, reklamları atlama olanağı veya başka bir işlev)
- Gizlilik: Sınırlı ve şeffaf kullanıcı verisi toplama.
Residential proxy ağları için alıcılar ayrıca onayın belirli, bilgilendirilmiş, geri alınabilir ve ilgisiz uygulama izinlerinden ayrı olup olmadığını doğrulamalıdır. Kullanıcıların kolayca çıkıp çıkamayacağını (opt-out), bant genişliği kullanımının sınırlandırılıp sınırlandırılmadığını, reşit olmayanların hariç tutulup tutulmadığını ve sağlayıcının residential IP sağlayan uygulamaları veya SDK'ları denetleyip denetlemediğini sormalıdırlar.
Harici sertifikasyon
Harici sertifikasyonu, şirketlerin kurumsal düzeyde güvenlik ve uyumla ilgili bu sertifikaları edinip edinmediğine göre değerlendirdik.
- PII sertifikasyonu: ISO 27018 edinerek PII yönetme yetkinliğini kanıtladı
- Veri güvenliği sertifikasyonu: SOC 2 veya ISO/IEC 27001 sertifikalarından birini edinerek veri güvenliği uygulamalarını kanıtladı
- IP kaynağı beyaz listeye alınmış: McAfee gibi harici sertifikasyon sağlayıcıları aşağıdakilerden birini onaylar:
- IP sağlayan belirli 3rd taraf uygulamaları
- 3rd taraf uygulamalardan IP toplayan SDK
- Etik uygulamalar değerlendirildi: İç uyum ve etik uygulamaları değerlendirmek için bir ISAE 3000 güvence projesi tamamlanabilir.
Sigorta
Satıcılardan bize bu sigorta belgelerini sağlamalarını istedik:
- Mesleki sorumluluk sigortası hizmette sorun olması durumunda satıcıların yükümlülükleri için teminat sağlayan sertifika
- Siber sigorta sertifikası bilgi güvenliğiyle ilgili sorunlar durumunda satıcıların yükümlülükleri için teminat sağlayan sertifika.
Özet puan
Bu puan, tüm puanların toplamının 3'e bölünmesiyle elde edilir. Puanlar şunlardır:
- Müşteriler tarafından etik kullanım yetkinlikleri için 0 ile 5 arası
- Etik tedarik yetkinlikleri için 0 ile 5 arası
- Harici sertifikasyon için 0 ile 3 arası
- Sigortalar için 0 ile 2 arası
Önde gelen web verisi toplama hizmetleri
AIMultiple, LinkedIn'deki çalışan sayısı açısından en büyük 7 web verisi toplama hizmetini seçti. Bu metriği seçtik çünkü hem kamuya açık hem de şirketin gelirleri ve kurumsal hazırlığıyla ilişkili olmalıdır. Gelirler veya bordrodaki çalışan sayısı gibi daha iyi metrikler bu özel şirketler için kamuya açık değildir.
Seçilen şirketlerin tümünün Nisan 2025'te LinkedIn profil sayfalarına bağlı 100'den fazla çalışanı vardır. Şu anda seçilen 7 şirketten 5'i bu sayfada gösterilmektedir ve kalan 2 şirket rapora dahil edilmemeyi seçmiştir.
Odaktaki web verisi toplama ürünleri
Bu şirketler; proxy'ler, veri kazıma API'ları ve dataset'ler dahil bir dizi ürün sunar. Tüm ürünler etik bir perspektiften incelenebilir olsa da başlangıçta en yüksek esneklik seviyesini sağlayan ve diğer birçok ürünü destekleyen ürüne odaklandık: residential proxy'ler.
Web verisi toplama ürünleri, proxy'lerin diğer tüm hizmetlerin üzerine inşa edildiği çekirdek katmanı oluşturduğu bir hiyerarşi olarak düşünülebilir. Bunun nedeni, proxy'lerin makinelerin internete farklı hedefler üzerinden erişmesini sağlayarak veri toplama için kritik olan çeşitli ve geniş bir internet bağlantısı kümesine olanak tanımasıdır. Bu nedenle proxy'ler en yetenekli web verisi toplama ürünüdür; dataset'ler veya veri kazıma API'larıyla mümkün olmayan işlevleri yerine getirmek için kullanılabilir.
Proxy'ler arasında residential proxy'ler, web sitelerinin proxy olarak tanımlaması en zor olan üründür. Örneğin, datacenter proxy'ler gibi diğer proxy'ler konumları nedeniyle kolayca tanımlanabilir. Bu nedenle residential proxy'ler, veri kazıma API'ları gibi diğer birçok web verisi ürününü destekler.
Doğrulayın: Web verisi toplamanız uyumlu ve etik mi?
İşletmeniz büyük olasılıkla web verisinden yararlanıyordur. Ancak sektör sınırlı düzenlemeyle karşı karşıya olduğundan etik ve uyumlu bir sağlayıcı seçmek önemlidir. Bunu sağlamak için etik kaynak kullanımı, etik kullanım ve harici sertifikasyon dahil web verisi toplamanın farklı yönlerini dikkate alan bütünsel bir çerçeve hazırladık.
Web verisi yaygın bir operasyonel varlıktır
Bir kurum olarak işletmeniz, aşağıdakiler gibi çok sayıda kullanım örneği nedeniyle kısmen web verisine dayanır:
- Perakende ve e-ticaret için dinamik fiyatlandırma
- Yatırım fonları için gerçek zamanlı alternatif veri
- Ticari bankacılıkta KYC süreci
- Yapay zeka model eğitimi veya fine-tuning
- Yapay zeka inference veya RAG
- Pazar araştırması
Yapay zeka ile web verisi artık daha önemli
Web verisi toplama web kadar eski olsa da üretken yapay zeka modellerinin yükselişinden sonra önemi büyük ölçüde arttı. OpenAI ve Anthropic gibi bu modellerin geliştiricileri, önemli içerik ortaklıkları olmadan yola çıktı ve başlangıç modellerini oluşturmak için çoğunlukla çevrimiçi verileri kullandı; bu da trilyon dolarlık yapay zeka endüstrisinin yükselmesine yol açtı.
Sınırlı düzenleyici denetim
Web verisi toplamaya yönelik düzenleyici gereklilikler yargı bölgesine göre önemli ölçüdeğişir. Bu nedenle bu kıyaslama, ülkeler arasında tek tip bir düzenleyici çerçeve varsaymak yerine etik ve uyum uygulamalarına odaklanır.
Açıkça yasa dışı çevrimiçi etkinlikler iyi tanımlanmıştır. Ancak, sektör oyuncularının hizmetlerinin kullanıcılar tarafından kötüye kullanılmasını proaktif olarak önlemeleri için sınırlı düzenleyici gereklilik vardır.
Etik veri toplama ve proxy kullanımını sağlamak için en iyi uygulamaları ve uyum standartlarını belirlemek platformların kendilerine kalmıştır. Bu nedenle, her hizmet sağlayıcının çok sayıda düzenlemeye uymasının zorunlu olduğu bankacılık gibi yoğun şekilde düzenlenen sektörlere kıyasla, veri toplamada satıcı seçiminiz daha önemlidir.
Tedarikçilerinizin etik duruşu şirketinizin itibarının bir parçasıdır
Etik ve satıcı riski perspektifinden, kurumlar web verisinin nasıl edinildiğini, verileri doğrudan toplamak yerine tüketiyor olsalar bile değerlendirmelidir.
Kurumların tedarik zincirindeki yasa dışı faaliyetlerden sorumlulukları yargı bölgesine bağlıdır. Örneğin Almanya'da kurumlar, tedarik zincirlerinin neden olduğu zararları tespit etmek ve önlemek için KYS ve risk yönetimi faaliyetleri yürütmekle yükümlüdür. Şirketler tedarik zincirlerinin neden olduğu zararlardan sorumlu olmasalar bile itibar riski yaşayabilirler.
Etik olmayan ve uyumsuz veri toplamanın maliyeti nedir?
İtibar riski
Bir kurumun, etik olmayan davranışlarda bulunan veya veri güvenliğini tehlikeye atan eylemler gerçekleştiren bir web verisi toplama hizmetinden yararlandığı kamuoyuna yansırsa bu; iş kaybı, müşteri kaybı, yetenek kaybı ve yatırımcı güveni kaybı gibi önemli itibar hasarına yol açabilir.
Kurumsal tedarikçilerin itibar kaybına yol açtığı gerçek hayattan örnekler:
- Nike, tedarikçilerinin etik olmayan iş gücü uygulamaları nedeniyle defalarca itibar hasarı yaşadı.1
- EY gibi birçok kurum, yönetilen dosya transferi yazılımı MOVEit ihlalinden etkilendiğinde müşterilerinin güvenini kaybetti. 2
Yasal risk
Özellikle kamuoyunda öfkeye yol açan itibar kaybını, genellikle etik olmayan uygulamalardan zarar gören şirket müşterileri veya diğer paydaşların açtığı davalar izler.
Gerçek hayattan örnek: Starbucks, etik olmayan uygulamalara sahip şirketlerden kaynak kullanımı nedeniyle dava edilen son markalardan biridir.3
Etik web verisi kontrol listesi
Kurumsal web verisinin etik olması için 3 gereksinimi karşılaması gerekir:
Müşteriler tarafından etik kullanım
Tedarikçini Tanı süreçlerinin bir parçası olarak kurumlar, etik olmayan etkinliklere olanak tanıyan hizmetleri kullanmaktan kaçınır. Bu tür hizmetleri kullanmak işletmeleri itibar riskine maruz bırakır.
Gerçek dünyadan örnek: Bir sağlayıcının platformunun etik olmayan etkinliklerde kullanılmasına izin verdiği belgelenen durumlarda, uygulamalarını iyileştirene kadar çok sayıda kurum o sağlayıcıdan uzaklaştı.4
Bunun web verisiyle ilişkisi: Web verisi farklı IP adresleri aracılığıyla toplanır. Bu adresler; dijital hizmet sunumunu engellemeye yönelik DDOS saldırıları, yetkisiz halka açık olmayan veri toplama veya reklam dolandırıcılığı gibi farklı yasa dışı etkinliklerde bulunmak için kullanılabilir. Kötü niyetli aktörlerin eylemlerini gerçekleştirmek için IP'lere ihtiyacı vardır ve web verisi altyapısı/proxy sağlayıcıları perakende kullanıcılara en büyük IP tedarikçileridir.
Etik tedarik
Etik amaçlarla kullanılan hizmetler, üretimleri sırasında etik olmayan ve zararlı eylemlere neden olabilir. Örneğin Nike ve Nestle gibi markalar, yüklenicilerinin çocuk işçi kullanması nedeniyle itibar zararı gördü ve davalarla karşılaştı.
Bunun web verisiyle ilişkisi:
İşletmelerin hızlı ve küresel veri toplama için çok sayıda ve çeşitli bant genişliği kaynağına erişmesi gerekir. Bu da residential proxy'lerin kullanılmasını gerektirir: Amerika Birleşik Devletleri'nde, halka açık web verilerine erişmek, diğer yasalar ve sözleşme kısıtlamaları yine de geçerli olsa da bazı durumlarda CFAA kapsamında yetkisiz erişim teşkil etmeyebilir. 5 web siteleri ayrıca bazı ziyaretçilerini engellemeyi seçebilir. Örneğin rakiplerinin crawler'larını engelleyebilirler. Bu tür durumlarda işletmelerin web verisi toplamak için perakende kullanıcılardan veya diğer 3rd taraflardan gelen çok sayıda bağlantıya güvenmesi gerekir.
Proxy sağlayıcıları çeşitli kaynaklardan milyonlarca internet bağlantısı toplar ve bunları, bu bağlantılara erişmek için IP adresi kullanan işletmelere sağlar. Bu IP'lerin bazıları konutsal kullanıcıların cihazlarından gelir. Bu bağlantıları toplamak yasal veya yasa dışı olabilir:
- Yasal: Yasalara uygun uygulamalar, yerel düzenlemelere uygun olarak bilgilendirilmiş kullanıcı onayı almayı, tazminat sağlamayı ve çıkış (opt-out) mekanizmaları sunmayı içerir. Web verisi sağlayıcısı şunları yapmalıdır:
- Kullanıcıları bant genişliklerinin nasıl kullanılacağı konusunda bilgilendirmeli
- Onaylarını dijital olarak almalı
- Karşılığında onları telafi etmeli
- İstedikleri zaman çıkmalarına izin vermeli
- Yasa dışı: Kötü niyetli aktörler kullanıcıların cihazlarına erişebilir ve internet bağlantılarını izinsiz veya tazminatsız kullanabilir. Bu; zararlı yazılım uygulamaları, ele geçirilmiş cihazlar, maskelenmiş kurulumlar, otomatik katılım (opt-in) ve cihaz sahibini riske atabilecek diğer yöntemlerle gerçekleşebilir.
Yasa dışı yollarla elde edilmiş proxy'ler kullanan işletmeler, farkında olmadan cihazlara yetkisiz erişim için kötü niyetli aktörlere ödeme yapabilir.
Gerçek hayattan örnekler:
- Borsada işlem gören residential proxy sağlayıcılarının, altyapılarını kullanıcı onayı olmadan cihaz bağlantılarını kullanan SDK'larla paylaştığı belgelenmiştir.67
- Yönlendiriciler ve IoT cihazları botnet operasyonları için ele geçirilmiş ve residential proxy olarak satılmıştır.8 9
- Bazı proxy sağlayıcıları hizmetlerini kötü niyetli aktörlerin sıkça kullandığı forumlarda tanıtır. Ücretli anketlerde konumu veya kimliği yanlış göstermek için proxy kullanmak anket sağlayıcısının kurallarını ihlal edebilir ve yargı bölgesine ve niyete bağlı olarak dolandırıcılıkla ilgili yasal sorunlara da yol açabilir.10
- Google Play Store'daki VPN uygulamaları da kullanıcı onayı olmadan residential IP'ler edinmek için kullanılmıştır.11
Bu operasyonlar kapatılmış olsa da kötü niyetli aktörlerin botnet'ler ve ele geçirilmiş veya zararlı uygulamalar aracılığıyla hâlâ izinsiz şekilde residential IP'lere erişmesi muhtemeldir.
Harici sertifikasyon
Kurumsal alıcıların güvenli, kurumsal düzeyde hazır çözümlere ihtiyacı vardır. Harici sertifikasyonla belgelenebilen olgun bir web verisi organizasyonu için gerekli unsurları belirledik:
Veri güvenliği
Tedarikçilerin sistemlerindeki veri güvenliği eksikliği, bir kurumun rekabet avantajını aşındırabilir veya veri kaybına ve sistem kesintisine yol açabilir. Sistem işlevselliğinin kaybı güveni zedeleyebilir ve bir kurumun değer kaybetmesine neden olabilir.
Sistem ihlali
Veri toplama hizmetleri, çekirdek dijital hizmetler (ör. CRM gibi bir kayıt sistemi) kadar bir kurumun sistemlerine derinlemesine entegre değildir. Bu nedenle güvenlik kimlik bilgileri, bir kayıt sistemi gibi çekirdek bir sistemin kimlik bilgileri kadar kapsamlı şekilde incelenmez. Ancak veri güvenliği, veri toplama hizmetlerinin müşterileri için kritiktir çünkü bu hizmetler:
- Bazen fiyatlandırma motorları gibi daha merkezi sistemlere entegre edilir.
- Bu tür sistemlere entegre olmasalar bile kurumsal sistemlere bulaşabilir. Bir veri toplama hizmetini kullanmak, o hizmetten veri almayı içerir. En güvenli veri aktarımı biçimlerinden bazıları bile risk içerir.
Sistem ihlali ayrıca saldırganların, bir proxy hizmetine residential IP sağlayan cihazları hedef almasına yol açabilir. Bu da o proxy hizmetinin müşterileri için itibar zararına neden olabilir.
Gerçek hayattaki güvenlik açığı örneği residential proxy sağlayıcısı:
Kimwolf botnet'inin operatörleri, residential proxy sağlayıcısı IPIDEA'dan proxy hizmetleri satın aldı. Kötü amaçlı komutlar kullanarak IPIDEA'ya IP sağlayan cihazların iç ağlarına bulaştılar. Bu ağlar daha sonra tarandı ve bu yerel ağlardaki diğer savunmasız cihazlar da enfekte edildi.
Kimwolf'un bu yöntemle 2 milyondan fazla cihaza yayıldığı tahmin edilmektedir. IPIDEA müşterilerinin topladığı veriler de bu enfekte ağlardan aktı.12
Veri kaybı
Veri güvenliği olmadan kötü niyetli aktörler, kurumların faaliyetlerini ve stratejilerini tespit etmek için topladıkları verilere erişebilir; bu da rekabet avantajı veya iş fırsatları kaybına yol açar.
Gerçek hayattan örnek:
Web verisi halka açık olsa da işletmeler rekabet avantajı için web verisini yeni yollarla kullanabilir. Örneğin yatırımcılar, piyasa verisi bütçelerinin %10'una kadarını alternatif verilere harcar13, ancak stratejilerini nadiren açıklarlar çünkü bunun rakiplerine kıyasla avantaj elde etmelerine yardımcı olabileceğine inanırlar. Bir veri sızıntısı stratejilerinin açığa çıkmasına ve dolayısıyla rakipleri tarafından kopyalanmasına yol açabilir.
PII yönetimi
Web verisi, oturum açma arkasındaki özel verileri veya halka açık web sitelerinde kazara veya kasıtlı olarak ifşa edilebilecek PII'leri içerir. Web verisi toplama hizmetleri PII'yi doğru şekilde yönetmezse bu tür veriler kötü niyetli aktörler tarafından ele geçirilebilir. Bu da web verisi toplama hizmeti ve müşterileri için itibar zararına yol açabilir.
Uygulama güvenliği
Web verisi toplama hizmetlerinin IP'lerini sağlayan uygulamalar veya SDK'lar gibi ara programlar, McAfee gibi harici sertifikasyon sağlayıcıları tarafından beyaz listeye alınabilir. Bu, kurumun web verisi toplama hizmetinin etik tedarik uygulamalarına olan güvenini artırır.
Sigorta kapsamı
Kurumlar genellikle her dijital sağlayıcıdan şu sigortaları ister:
- Mesleki sorumluluk sigortası
- Siber sigorta sertifikası
Ayrıntılı kıyaslama: Web verisi altyapı sağlayıcılarının değerlendirilmesi
Kıyaslama: Müşteriler tarafından etik kullanım
Burada şu soruyu yanıtlamayı amaçlıyoruz: Şirket, çözümünün kullanımının etik ve geçerli yasa ve yönetmeliklerle uyumlu olmasını sağlıyor mu? Bulgularımızın özeti:
* Geçerli değil: Zyte ve Apify, tedarikçilerinden proxy satın aldığı ve doğrudan konutsal kullanıcılardan toplamadığı için, web sitesi sahipleri kötüye kullanım konusunda onlara ulaşamaz ve bu nedenle web siteleri için bir iletişim formu oluşturmaları gerekmez.
İlk olarak politikaları inceledik:
Kabul edilebilir kullanım politikası incelemesi
Tüm satıcılar yasa dışı etkinlikleri yasaklar ve DoS saldırıları, istenmeyen toplu mesajlar, kimliğe bürünme veya sahtecilik gibi örnekler verir.
Ayrıca bazı satıcılar, yasa dışı olması muhtemel etkinlikleri de yasakladıklarını vurgular. Aşağıda, her satıcı için kabul edilebilir kullanım politikalarına ve eklerine (ör. veri işleme eki) dayanarak yasaklanan etkinlikleri listeliyoruz.
Yasa dışı olması muhtemel ve kullanıcı etkinliğine göre tespit edilebilecek etkinlikleri yasaklayan şartları aradık. Örneğin, ücretli anketlere katılmak için proxy kullanan kullanıcıların önemli bir kısmı, anket sağlayıcılarını gerçek konumları hakkında yanıltmak için proxy kullanıyor olabilir. Dolayısıyla bu etkinlik hem yasa dışı olması muhtemeldir hem de kullanıcı etkinliğine göre tespit edilebilir (ör. kullanıcı ücretli bir anket web sitesine giriş yaptığında).
Açıkça yasaklanan etkinlikleri belirlemek faydalı olsa da bu bir gereklilik değildir ve puanlarımızı etkilemez. Şirketler, olası her yasa dışı etkinlik örneğini belirtmek yerine yasa dışı etkinliklere izin vermediklerini belirtmeyi seçebilir.
Bir etkinliğin yasaklandığını belirtmek, söz konusu etkinliklerin inceleneceği veya engelleneceği anlamına gelmez. Puanlarımız, aşağıda açıklandığı gibi bu politikaların nasıl uygulandığına dayanır:
Etik kullanım için süreçler
Kabul edilebilir kullanım politikalarında özetlenen bazı kategoriler oldukça geniş olsa da (ör. yetkisiz veri kazıma veya erişim), diğerleri veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için uygulayabileceği önleyici eylemlere (ör. erişimi engelleme) dönüştürülebilecek kadar spesifiktir.
Bu belirli yasaklanmış kullanımlara dayanarak, proxy'lerin yasa dışı olması muhtemel kullanımlarının kapsamlı bir listesini hazırladık. Her kullanım örneği için ilgili web alan adları ve eylemler dahil senaryolar belirledik. Örneğin, yapay sosyal medya etkileşimi senaryosunda, mevcut bir gönderiyi beğenmek için bir proxy kullanarak bir sosyal ağa giriş yapmayı denedik.
Ardından, şirketlerin müşteriler tarafından etik olmayan kullanıma izin verip vermediğini test etmek için her sağlayıcının hizmetinde AIMultiple olmayan bir e-posta adresiyle bir hesap oluşturduk. Bu hesapla KYC sürecini tamamlamadık ve anonim kullanıcıların her hizmetle neler başarabileceğini anlamak için hizmetleri kullanmaya devam ettik. KYC, kullanıcının temsil ettiği yasal varlığı doğrulamak için veri gönderdiği kritik bir adımdır. Bu, kullanıcı etkinliğini yasal bir varlığa bağlar:
- Hesap verebilir tutulabilecek.
- Çevrimiçi eylemlerinin gerekçesi (ör. hükümet web sitelerine giriş yapmak için proxy kullanma) incelenebilen. Örneğin, kullanım amaçlarını anladıktan sonra bir araştırmacının veya devlet kurumunun bir proxy kullanarak bir hükümet web sitesine giriş yapmasına izin verilebilir.
Bu kullanım örneklerinin bir KYC sürecini tetiklemesini bekliyorduk ancak çoğu satıcıda bu gerçekleşmedi. Onay işareti, KYC sürecini henüz tamamlamamış kullanıcılar için isteğin engellendiğini gösterir:
Açıklık getirmek gerekirse, veri toplama hizmeti şirketlerinin bu web sitelerini engelleme konusunda yasal bir yükümlülüğü yoktur ve bu senaryoların bazıları yasal kullanımın bir parçası olabilir. Örneğin bir araştırmacı kontrollü bir sosyal medya deneyi yürütmek için proxy'lerden yararlanmak isteyebilir. Ancak bu senaryolardaki kötüye kullanım potansiyeli göz önüne alındığında, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için bunları engellemesini bekliyorduk.
Markalar engelledikleri alan adlarını nasıl iletiyor
- Bright Data, kabul edilebilir kullanım politikasında kısıtlı alan adı kategorilerini listeler.
Otomatik veri toplama konusunda web sitelerinin tercihlerine saygı gösterme
robots.txt nedir?
robots.txt, Robots Exclusion Protocol'ü uygulamak için kullanılan bir dosya adıdır. Bu protokol, web siteleri tarafından web sitesi sahibinin botların ziyaret etmemesini tercih ettiği bölümleri belirtmek için kullanılır. robots.txt'ye uyum isteğe bağlıdır.
robots.txt'ye uymanın artıları ve eksileri
- Web sitesi tercihlerine saygı gösterir.
- Yakın zamanda güncellenmemiş olabilir ve bu nedenle güncelliğini yitirmiş olabilir.
- Genellikle web sitesi sahibinin, web sitesinin belirli halka açık bölümlerine botlar tarafından erişilmemesini tercih ettiğini belirten ifadeler içerir.
Robots.txt ayrıca botlara eşit olmayan erişim sağlayabilir. Örneğin web sitesi sahipleri, yanıt motorlarının botlarının, arama motorlarının botlarının ziyaret ettiği belirli URL'leri ziyaret etmemesini tercih ettiklerini belirtebilir.
Robots.txt yasal bir belge değildir ve yasal olarak şu olan sayfalar için bot erişiminin engellenmesini talep edebilir:
- kazınmasına izin verilen (ör. halka açık veriler) veya
- kazınmasına izin verilmeyen (ör. web sitesi sahibinin ToC'sinin bu tür verilerin kazınmasını yasakladığı, oturum açma arkasındaki veriler).
Web verisi toplama hizmeti sağlayıcıları, kullanıcılar robots.txt'yi göz ardı etmeden önce residential proxy kullanıcılarından bir KYC sürecini tamamlamalarını ve yasal ve etik bir kullanım amaçları olduğunu kanıtlamalarını isteyebilir.
Test için robots.txt tarafından engellenmesi istenen alt klasörlerdeki sayfalara istekler gönderdik. Kullandığımız alan adları aimultiple.com ve en çok ziyaret edilen ilk 100 web alan adı arasından 5 web alan adıydı. Bright Data bu istekleri engelledi:
CNN örneği
CNN'nin robots.txt dosyası /terms klasörünü engeller14. Test için bu klasöre residential proxy'lerle gittik ve Bright Data dışındaki tüm sağlayıcılardan sayfanın verileriyle birlikte 200 mesajı aldık. Bright Data'nın yanıtı şudur: “Residential Failed (bad_endpoint): İstenen site, robots.txt uyarınca anında residential (KYC'siz) erişim modu için kullanılamıyor. Bu siteyi hedefleyen tam residential erişimi elde etmek için KYC formunu doldurun: https://brightdata.com/cp/kyc”.
Kötüye kullanım yönetimi
Satıcıların kötüye kullanım yönetimi uygulamalarını değerlendirmek için bir metodoloji özetledik ve değerlendirme kriterlerimizi karşılamak için veri topladık:
* Geçerli değil: Zyte, diğer proxy sağlayıcılarından proxy satın alır ve bu nedenle Zyte'nin hizmeti kötüye kullanım için kullanıldığında, web sitesi sahipleri Zyte yerine onun proxy sağlayıcılarına ulaşır.
Tüm satıcılar, 3rd tarafların veya müşterilerinin kendilerine ulaşması için araçlar sağlasa da sorunların çözümü için şunlar önemlidir:
- Kamuya açık kötüye kullanım politikası
- Kötüye kullanımı bildirmek için özel bir e-posta adresi
- Bildirenlerin şirkete ulaşmasını sağlayan alternatif bir iletişim yöntemi (ör. web formu veya mesajlaşma arayüzü). Bu faydalıdır çünkü e-postalar filtrelenebilir ve gelen kutusuna ulaşmayabilir.
- Mesajlara yanıt verme
Kıyaslamadaki 3 sağlayıcı (Bright Data) kötüye kullanımı bildirmek için bir e-posta sağladı. Tüm bu sağlayıcılar ayrıca bu alandaki politikalarını da özetledi.
Diğer tüm sağlayıcıların da aynısını yapmasını ve bunun kısa vadede yaygın bir sektör uygulaması hâline gelmesini bekliyoruz.
Son olarak, üçüncü taraf alan adlarından (yani AIMultiple olmayan) kötüye kullanım raporları e-postalayarak ve yanıt sürelerini ölçerek kötüye kullanım yönetimi duyarlılığını değerlendirdik. Kötüye kullanım e-posta adresi bulamazsak, genel iletişim formuna gönderdik. Bunu gönderilen 3 e-posta grubuyla test ettik:
- 2 Mayıs 2025 Cuma, şu adresten:
- Aylık ~30k trafiğe sahip bir bilet satış hizmeti
- Aylık ~1k trafiğe sahip bir hukuk firması
- 17 Mayıs 2025, bilet satış hizmetinden.
- 24 Mayıs 2025, sınırlı çevrimiçi trafiğe sahip bir sosyal medya ajansından.
2 Mayıs 2025'te gönderilen ilk e-postalar, özel e-posta sağlayan şirketlere gönderildi. Daha sonra listemizi genişlettik ve kıyaslanan tüm web verisi toplama hizmetlerinin iletişim bölümlerinde listelenen daha genel e-posta adreslerini dahil ettik. Bir şirket e-postalarımıza yanıt verirse ona başka e-posta göndermeyi bıraktık.
E-postalarımızda web sitelerimizin proxy'ler aracılığıyla şüpheli bot trafiği aldığını belirttik ve proxy'lerin kaynağını belirleme konusunda desteklerini istedik. Biri dışında tüm uyum ekiplerine yanıt aldırmayı başardık. Neredeyse tüm yanıtlar aynı gün alındı.
Kullanım şeffaflığı
Web verisi sağlayan web sitesi sahipleri ile web toplama hizmetleri, geçmişte veri toplama etkinlikleri hakkında hiçbir veri alışverişine sahip değildi. Tarama etkinliklerini sınırlamak için web sitesi sahipleri şunlardan birini yapabilir:
- Kötüye kullanımı bildirmek için web verisi toplama hizmetleriyle iletişime geçebilir
- Tarama faaliyetini zorlaştırmak için Cloudflare gibi bot yönetimi sağlayıcılarıyla çalışabilir.
Artık bu taraflar arasında daha yapılandırılmış veri alışverişi için girişimler var. Bright Data, web yöneticilerinin web sitelerindeki tarama etkinliklerini izlemesi için Bright Data Webmaster konsolunu başlattı. Daha fazla şeffaflığın web verisi toplama uygulamalarını iyileştirmesi muhtemeldir.
Webmaster konsoluyla deneyimimiz
Alan adı sahipliğimizi doğrulayarak ve alan adına bir collectors.txt dosyası ekleyerek kaydolduk.
Artık web sitemizde Bright Data kaynaklı bot etkinliğine erişimimiz var:
Kıyaslama: Etik tedarik
* Bu 3rd taraf platformlardaki yorumlar dahil edildi: Amazon Appstore, App Store, Google Play Store, Trustpilot. Kolaylık olması açısından bu değer, Bright Data için web sitesinde yer alan tüm 120 uygulama için değil, 5 büyük uygulama için hesaplandı.
İş ortağı şeffaflığı
Web verisi altyapı şirketlerinin ihtiyaç duyduğu bant genişliği, internet bağlantısını paylaşma onayı karşılığında faydalar (ör. ödemeler, reklamları atlama olanağı gibi özellikler) sağlanarak etik bir şekilde tedarik edilebilir. Ancak perakende kullanıcıların sistemlerine yetkisiz erişim sağlamak ve bağlantılarını satmak da mümkündür.
Web verisi altyapı sağlayıcıları, internet bağlantılarını nasıl edindikleri konusunda şeffaflık yaratmak için politikalar ve süreçler oluşturabilir, harici denetimler yürütebilir ve yaklaşımlarını ve denetim bulgularını yayımlayabilir. Bu, hizmetlerinin etik tedarikine olan güveni artırabilir.
Web verisinde tedarik tarafı şeffaflığı için bir çerçeve oluşturduk ve satıcıları bu çerçeveyi kullanarak derecelendirdik. Bu çerçeveyi, bir web verisi toplama hizmetinin residential IP'leri kendisi veya başka proxy'ler aracılığıyla edinmesinden bağımsız olarak uyguladık. Amacımız, etik olmayan uygulamalar tedarik zincirinin herhangi bir noktasından kaynaklanabileceğinden tüm IP tedarik zincirine şeffaflık getirmektir.
Ayrıntılı sonuçlarımızı burada bulabilirsiniz:
Bright Data
Bright Data, aşağıdakileri yayımladıkları için Seviye 5 olarak sınıflandırılmıştır
- Kaynak yaklaşımları ve uygulama geliştiricilerinin SDK'ları aracılığıyla onlarla nasıl çalışabileceği15 16
- 120 tedarikçiye ilişkin ayrıntılar kamuya açık olarak paylaşıldı. Bu tedarikçilerin ne kadar popüler olduğunu tahmin etmek için 3rd taraf platformlardaki yorumlarını kontrol edebildik. 17
Seçili uygulamaların incelenmesi
Bright Data web sitesinde 120 uygulamayı paylaşır. Bright VPN gibi uygulamalar, açıklamaları ve kullanıcı deneyimleri (UX) konusunda 3rd taraflarca sertifikalandırılmıştır.18 Biz de daha ayrıntılı görmek için bu uygulamaları indirdik:
- Bright VPN
- EarnApp
- Sling Kong
Kişisel olarak tanımlanabilir verileri toplamama yükümlülüğü içeren opt-in formu: Aşağıdakilerden net açıklama içeren onay formu:
Bright VPN:
Earn App:

Sling Kong:
- Oyun sırasında kullanıcıya teklif sunulur:

- Opt-in:

- Opt-in sırasında ek bilgi:

- Opt-out:


Uygulamaların sağladığı değer:
- Bright VPN: Ücretsiz VPN hizmeti
- EarnApp: Ödemeler
- Sling Kong: Oyun içi sanal para birimi
Diğerleri
Çoğu sağlayıcı web kazımada etik konusunun farkında olsa ve konuyla ilgili yayın yapmış olsa da (ör. 19, Zyte dışında bu cephede belirli taahhütlerini tespit edemedik.20
Bunun değişmesini ve çoğu sağlayıcının kısa vadede en az Seviye 1'e geçmesini bekliyoruz.
Harici sertifikasyon
* Şirketin bu kategorideki tüm harici sertifikaları elde ettiğini gösterir
Satıcıların, müşterilerin verilerini korumak ve IP'lerini sağlayan uygulamaları güvence altına almak için doğru sistemlere, personele ve süreçlere sahip olması hayati önem taşır. Puanlamamızın arkasındaki mantığı görmek için harici sertifikasyon ölçüm metodolojimize bakın.
GDPR ve CCPA uyumluluğu
Tüm satıcılar, her iki veri gizliliği düzenlemesine de uyumlu olduklarını kamuya açık şekilde beyan eder. Bu nedenle bu, puanlamaya dahil edilmedi.
Kurumsal olgunlukları nasıl ölçtük
Bu alanda belirlediğimiz yetkinliklere dayanarak, her sağlayıcıda bu sertifikaların varlığını kamuya açık beyanlarını kullanarak kontrol ettik:
- Veri güvenliği sertifikasyonu ve PII sertifikasyonu: 21222324
- IP kaynağı beyaz listeye alınmış: 25
- Etik uygulamalar değerlendirildi: 26
ISO 27018 sertifikasına sahip olmayan bazı sağlayıcılar, ISO 27018 sertifikasına sahip bulut hizmeti sağlayıcıları kullandıkları için sertifikalı sayılmaları gerektiğini öne sürdü. Siber güvenlik danışmanımızın görüşü, bunun sertifika edinimini kolaylaştıracak olsa da sertifikayı almak için yine de politikalarının ve kontrollerinin sertifikalandırılması gerekeceği yönündeydi.
Sigorta kapsamı
3 web verisi toplama şirketi sigortalar için sertifikalarını paylaştı. Sertifikaları yayımlamıyoruz ancak belgeleri aşağıdakilerden emin olmak için inceledik:
- bu 2 sigorta kategorisini kapsıyorlar
- Her kategorideki sigorta limiti en az milyonlarca ABD doları ölçeğindedir.
Sektör ittifakları ve etik web verisi
2 büyük sektör ittifakı vardır:
- Sorumlu Veri Toplama İttifakı; Bright Data, Common Crawl ve diğerlerini içerir
- Etik Web Verisi Toplama Girişimi (EWDCI); diğerleriyle birlikte Oxylabs, ProxyEmpire ve Zyte'yi içerir. FBI, NetNut'u kapatana kadar NetNut'u da içeriyordu; yani bir sektör ittifakına katılım, şirketlerin yasayı çiğnemesini engellememiştir.
Sonraki adımlar için feragatnameler ve öneriler
Nimble dışında bu kıyaslamadaki tüm sağlayıcılar AIMultiple'ın müşterisidir. Her zaman olduğu gibi bu araştırma sırasında etik taahhütlerimize uyduk.
Etik web verisi toplamanın kapsamlı bir incelemesini tamamladık ve bu kıyaslamanın kapsamından memnun olsak da katılımını artırmayı çok isteriz. Sigorta kapsamlarını paylaştıkları için şu şirketlere teşekkür ederiz: Apify, Bright Data, Zyte.
Nimble'dan yanıt bekliyoruz. Onlardan daha fazla güncelleme alır almaz raporu güncelleyeceğiz. 2 satıcı, kıyaslamanın bu yinelemesine katılmamayı seçti. Bu 7 şirketten herhangi biri, gerçeklere dayalı, tüm satıcılar için adil ve kurumların daha iyi kararlar almasına yardımcı olan değişiklikler önerirse bu raporu her zaman güncelliyoruz.
NetNut, bu raporu ilk kez 2025'te yayımladığımızda değerlendirdiğimiz şirketler arasındaydı. Bu sağlayıcıların IP kaynaklarını incelediğimiz etik tedarik derinlemesine incelememizde mümkün olan en düşük puana (Seviye 0) sahipti. FBI, botnet'lerle bağlantısını tespit ettiği için NetNut 2026'da kapatıldı.27 Bunun, tüm satıcıların kaynak kullanımları konusunda şeffaf olmaları için bir teşvik olacağını umuyoruz.
Araştırmamıza göre bu, etik web verisine odaklanan ilk rapordur. Bu şeffaflığın, web verisi endüstrisinin zorluklarına yaratıcı çözümler bulmasına yardımcı olabileceğini umuyoruz. Bu çözümlerin; web verisi toplayıcılarının, web otomasyonu kullanıcılarının, web sitesi sahiplerinin ve IP'lerini endüstriye sağlayan konutsal kullanıcıların çıkarlarını dengelemesi gerekecek.
Metodoloji sınırlamaları
Bu kıyaslama; müşteri kullanım kontrolleri, IP tedarik şeffaflığı, harici sertifikalar ve sigorta paylaşımı dahil gözlemlenebilir olgunluk göstergelerini ölçer. Ancak puanlama, bir sağlayıcının her müşteri kullanım örneğinde yasal olarak uyumlu olup olmadığını tam olarak belirlemez.
Bu nedenle, yüksek bir kıyaslama puanı yasallık veya etik kullanım garantisi olarak değil, satın alma durum tespitine girdi olarak değerlendirilmelidir.
Referanslar
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Etik ve Uyumlu Web Verisi Kıyaslaması}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/web-scraping-ethics}},
note = {AIMultiple. Erişim tarihi: 4 Ağustos 2026}
}66 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 8 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
9 güncelleme- 2026
Tedarik zincirine ilişkin iki büyük ittifakı kapsayan Sektör İttifakları ve Etik Web Verisi bölümü eklendi.
Web veri toplama hizmetleri karşılaştırması 7'den 5 sağlayıcıya indirildi; iki sağlayıcı yer almamayı seçti.
Kıyaslamanın sonuna bir Metodoloji sınırlamaları bölümü eklendi.
- 2025
Etik ve Uyumlu Web Veri Kıyaslaması bölümünün girişine satıcı kodları eklendi.
İtibar riski bölümündeki "Gerçek hayat örneği" verileri genişletildi.
Web veri toplama hizmetlerinin yeni bir değerlendirmesiyle "Etik ve Uyumlu Web Veri Kıyaslaması" bölümü değiştirildi.
Further Reading bölümüne Etik Web Kazıma Organizasyonları eklendi.
Büyük web kazıma davaları geçmişi" bölümündeki Meta - Bright Data ve X Corp. - Bright Data davalarının sonuçları güncellendi.
- 2024
“Yasal Vakalar” bölümündeki “eBay vs Bidder's Edge Davası” verileri güncellendi.




Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.