İşletmeler web verisi operasyonlarını ölçeklendirdikçe uyumluluk, veri ve risk yöneticileri ilgili etik, itibari ve yasal riskleri giderek daha fazla değerlendiriyor.
Önde gelen 5 web verisi toplama hizmetini 3 boyutta kıyasladık ve her hizmeti 20'den fazla potansiyel olarak etik dışı senaryoyla test ettik.
Çalışmamız, veri toplama uygulamalarınızın etik durumunu değerlendirmenize ve etik dışı yaklaşımların olası sonuçlarını anlamanıza yardımcı olur. Ayrıca etik web verisi toplama için yönergeler sunuyor ve web verisi toplama hizmetlerini etik ve uyumluluk perspektifinden değerlendiriyoruz:
Web verisi toplama hizmetlerinin değerlendirilmesi
Önde gelen web verisi toplama hizmetlerini (web verisi sağlayıcıları veya web verisi altyapısı olarak da adlandırılır) etik web verisi kontrol listemizi kullanarak değerlendirdik. Bu puanlar olgunluk düzeylerini temsil eder ve 5 en yüksek düzeydir:
Sağlayıcılar | Özet | Müşteriler tarafından etik kullanım
| Etik
tedarik | Dış sertifikasyon | Sigorta kapsamı
paylaşıldı** |
|---|---|---|---|---|---|
Bright Data | Seviye 5 | Seviye 5 | Seviye 5 | Veri güvenliği, PII işleme. IP kaynakları beyaz listeye alınmış. Etik uygulamalar değerlendirilmiş. | ✓ |
Zyte | Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✓ |
Apify | Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✓ |
Nimble | Seviye 1 | Seviye 1 | Seviye 0 | Veri güvenliği | ✕ |
* Bunlar satıcı adları için kodlardır. Bu satıcılar bu raporda adlarının geçmesini istemedi ve bu sorunu çözene kadar listenin altında listeleniyor.
** ✓, şirketin sigorta sertifikalarını AIMultiple ile paylaşmayı tercih ettiğini gösterir. ✕, şirketin sigorta sertifikalarını bizimle paylaşmamaya karar verdiğini ve bu nedenle sigorta kapsamlarını doğrulayamadığımızı gösterir. Sigorta kapsamı, web verisi hizmeti şirketlerinin değerlendirilmesi için katılımına dayandığımız kategoridir.
Sıralandı özet puana göre.
Etik web verisi için puanlama modeli
Aşağıda bu puanların nasıl elde edildiğini açıklıyoruz. Ayrıca bu puanlama boyutlarının seçilme gerekçesini inceleyebilirsiniz.
İlk 2 kategoride 5 yetkinlik belirledik ve şirketler karşıladıkları yetkinlik sayısına göre puan aldı. Seviye 5, pazarda gözlemlenen en yüksek olgunluğu temsil eder ve mükemmellikten ziyade mevcut en iyi uygulamaları yansıtır.
Müşteriler tarafından etik kullanım için yetkinlikler
- Etik kullanım için etkili süreçler: Kontrollü test senaryoları aracılığıyla her sağlayıcının residential proxy hizmetlerinin etik dışı kullanımını önleme yeteneğini değerlendiriyoruz. İsteklerimizden herhangi biri sağlayıcı tarafından engellenirse bu başarılmış olur.
- Etik kullanım için geliştirilmiş süreçler: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetkinlik, hizmet sağlayıcının hizmetlerini etik dışı kullanım durumları için kullanma girişimlerimizin birden fazlasını engellediğini gösterir.
- Etik kullanım için en iyi uygulama süreçleri: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetkinlik, hizmet sağlayıcının etik dışı kullanım senaryolarına yönelik girişimlerimizin çoğunu engellediğini gösterir.
- Kötüye kullanım yönetimi temeli: Kötüye kullanım yönetimi politikası yayımlamak ve kötüye kullanımı bildirme yöntemi sunmak
- Duyarlı kötüye kullanım yönetimi: Şirketlerin birden fazla kötüye kullanım bildirimine nasıl yanıt verdiğini ölçtük. Kötüye kullanımı bildirmek için bir yardım hattı olmasa bile ekiplerine ulaşmak için şirketin listelediği e-postaları kullandık. Raporumuza bir hafta içinde yanıt alamazsak şirketin yanıt vermediği varsayılır.
Etik tedarik için yetkinlikler
Etik tedarik, IP adreslerinin etik bir şekilde edinilmesini içerir. Pazar analizimiz, etik IP tedarikine ilişkin aşağıdaki şeffaflık düzeylerini belirledi:
- Seviye 1: Yayımlanmış IP tedarik politikası.
- Seviye 2: IP'leri etik şekilde sağlayan en az bir kaynağı (örn. bir mobil uygulama) açıklamış olmak. Açıklanan kaynağın Google, Apple, Amazon uygulama mağazaları ve Trustpilot dahil üçüncü taraf platformlarda toplam en az 10k yorumu olmalıdır.
- Seviye 3: Seviye 3 ile aynı ancak 100k yorum ile
- Seviye 4: Seviye 3 ile aynı ancak 1M yorum ile
- Seviye 5: Seviye 4 ile aynı ancak 10M yorum ile
Yorumlar uygulamaların popülerliğinin bir göstergesidir ve bu değerlendirme için önemli bir sinyaldir. Web verisi toplama hizmetlerinin, müşterilerinin IP ihtiyaçlarını karşılayabilmesi için popüler uygulamalarla çalışması gerekir.
Yeterlilik için açıklanan uygulamalar şu en iyi uygulamaları izlemelidir. Her açıklanan uygulama için bunu kontrol etmeyecek, ancak rastgele seçilen birkaç uygulama için kontrol edeceğiz:
- Bilgilendirilmiş onay:
- Kullanıcılar internet bağlantılarını paylaşmadan önce açıkça katılmalıdır (opt-in). Katılım ekranında şunlar belirtilmelidir:
- Sağlayıcı
- Hizmet
- IP'lerinin nasıl kullanılacağı
- Kullanıcılar şu konularda ayrıntılı bilgiye erişebilmelidir:
- İnternet bağlantılarının nasıl kullanılacağı
- Gizlilik politikası
- Kullanıcılar internet bağlantılarını paylaşmadan önce açıkça katılmalıdır (opt-in). Katılım ekranında şunlar belirtilmelidir:
- Değer: Kullanıcılar uygulamadan bir değer almalıdır (ör. ödeme, reklamları atlama yeteneği veya başka bir işlevsellik)
- Gizlilik: Sınırlı ve şeffaf kullanıcı verisi toplama.
Residential proxy ağları için alıcılar ayrıca onayın belirli, bilgilendirilmiş, geri alınabilir ve ilgisiz uygulama izinlerinden ayrılmış olup olmadığını doğrulamalıdır. Kullanıcıların kolayca çıkış yapıp yapamadığını, bant genişliği kullanımının sınırlandırılıp sınırlandırılmadığını, reşit olmayanların hariç tutulup tutulmadığını ve sağlayıcının residential IP sağlayan uygulamaları veya SDK'ları denetleyip denetlemediğini sormalıdır.
Dış sertifikasyon
Dış sertifikasyonu, şirketlerin kurumsal düzeyde güvenlik ve uyumlulukla ilgili bu sertifikaları edinip edinmediğine göre değerlendirdik.
- PII sertifikasyonu: ISO 27018 alınarak PII yönetme yeteneğinin gösterilmesi
- Veri güvenliği sertifikasyonu: SOC 2 veya ISO/IEC 27001 sertifikalarından birini alarak veri güvenliği uygulamalarının gösterilmesi
- IP kaynağı beyaz listeye alınmış: McAfee gibi dış sertifika sağlayıcıları şunlardan birini onaylar:
- IP sağlayan belirli 3rd taraf uygulamalar
- 3rd taraf uygulamalardan IP toplayan SDK
- Etik uygulamalar değerlendirilmiş: İç uyumluluk ve etik uygulamalarını değerlendirmek için bir ISAE 3000 güvence projesi tamamlanabilir.
Sigorta
Satıcılardan bu sigorta belgelerini sağlamalarını istedik:
- Mesleki sorumluluk sigortası, hizmette sorun olması durumunda satıcıların yükümlülüklerini kapsayan sertifika
- Siber sigorta sertifikası, bilgi güvenliğiyle ilgili sorunlarda satıcıların yükümlülüklerini kapsayan.
Özet puan
Bu puan, tüm puanların toplamının 3'e bölünmesiyle elde edilir. Puanlar şunlardır:
- Müşteriler tarafından etik kullanım yetkinlikleri için 0-5
- Etik tedarik yetkinlikleri için 0-5
- Dış sertifikasyon için 0-3
- Sigortalar için 0-2
Önde gelen web verisi toplama hizmetleri
AIMultiple, LinkedIn'deki çalışan sayısı bakımından en büyük 7 web verisi toplama hizmetini seçti. Bu ölçütü seçtik çünkü hem kamuya açık hem de şirketin gelirleri ve kurumsal hazırlığı ile ilişkili olmalı. Gelirler veya bordrodaki çalışan sayısı gibi daha iyi ölçütler bu özel şirketler için kamuya açık değildir.
Seçilen şirketlerin tümünün Nisan 2025'te LinkedIn profil sayfalarına bağlı 100'den fazla çalışanı vardır. Şu anda seçilen 7 şirketten 5'i bu sayfada gösterilmektedir ve kalan 2 şirket rapora dahil edilmemeyi tercih etmiştir.
Odaktaki web verisi toplama ürünleri
Bu şirketler proxy'ler, veri kazıma API'leri ve veri kümeleri dahil bir dizi ürün sunar. Tüm ürünler etik açıdan incelenebilirken, başlangıçta en yüksek esneklik sağlayan ve diğer ürünlerin çoğuna güç veren ürüne odaklandık: residential proxy'ler.
Web verisi toplama ürünleri, proxy'lerin diğer tüm hizmetlerin üzerine inşa edildiği çekirdek katmanı oluşturduğu bir hiyerarşi olarak düşünülebilir. Bunun nedeni, proxy'lerin makinelerin internete farklı hedefler üzerinden erişmesine izin vererek veri toplama için kritik olan çeşitli ve geniş bir internet bağlantısı kümesi sağlamasıdır. Bu nedenle proxy'ler en yetenekli web verisi toplama ürünüdür; veri kümeleri veya veri kazıma API'leriyle mümkün olmayan işlevleri yerine getirmek için kullanılabilir.
Proxy'ler arasında residential proxy'ler, web sitelerinin proxy olarak tanımlaması en zor üründür. Örneğin, veri merkezi proxy'leri gibi diğer proxy'ler konumları nedeniyle kolayca tanımlanabilir. Bu nedenle residential proxy'ler, veri kazıma API'leri gibi diğer web verisi ürünlerinin çoğuna güç sağlar.
Doğrulayın: Web verisi toplamanız uyumlu ve etik mi?
İşletmeniz büyük olasılıkla web verisinden yararlanıyordur. Ancak sektör sınırlı düzenlemeyle karşı karşıyadır; bu da etik ve uyumlu bir sağlayıcı seçmeyi önemli kılar. Bunu başarmak için etik tedarik, etik kullanım ve dış sertifikasyon dahil web verisi toplamanın farklı yönlerini dikkate alan bütünsel bir çerçeve hazırladık.
Web verisi yaygın bir operasyonel varlıktır
Bir işletme olarak, aşağıdakiler gibi çok sayıda kullanım durumu nedeniyle işiniz kısmen web verisine dayanır:
- Perakende ve e-ticaret için dinamik fiyatlandırma
- Yatırım fonları için gerçek zamanlı alternatif veri
- Ticari bankacılıkta KYC süreci
- Yapay zeka modeli eğitimi veya fine-tuning
- Yapay zeka inference veya RAG
- Pazar araştırması
Yapay zeka ile web verisi artık daha önemli
Web verisi toplama web kadar eski olsa da, üretken yapay zeka modellerinin yükselişinden sonra önemi büyük ölçüde arttı. OpenAI ve Anthropic gibi bu modellerin geliştiricileri, önemli içerik ortaklıkları olmadan yola çıktı ve ilk modellerini oluşturmak için çoğunlukla çevrimiçi verileri kullandı; bu da trilyon dolarlık yapay zeka endüstrisinin yükselişine yol açtı.
Sınırlı düzenleyici denetim
Web verisi toplamaya yönelik düzenleyici gereklilikler yargı bölgesine göre önemli ölçüde farklılık gösterir. Bu nedenle bu kıyaslama, ülkeler arasında tek tip bir düzenleyici çerçeve varsaymak yerine etik ve uyumluluk uygulamalarına odaklanır.
Açıkça yasa dışı çevrimiçi faaliyetler iyi tanımlanmıştır. Ancak sektör oyuncularının hizmetlerinin kullanıcıları tarafından kötüye kullanılmasını proaktif olarak önlemeleri için sınırlı düzenleyici gereklilik vardır.
Etik veri toplama ve proxy kullanımını sağlamak için en iyi uygulamaları ve uyumluluk standartlarını belirlemek platformların kendisine düşer. Bu nedenle, her hizmet sağlayıcının çok sayıda düzenlemeye uymasının zorunlu olduğu bankacılık gibi yoğun düzenlenen sektörlerle karşılaştırıldığında, veri toplamada satıcı seçiminiz daha önemlidir.
Tedarikçilerinizin etik duruşu şirketinizin itibarının bir parçasıdır
Etik ve satıcı riski perspektifinden, işletmeler veriyi doğrudan toplamak yerine tüketiyor olsalar bile web verisinin nasıl edinildiğini değerlendirmelidir.
İşletmelerin tedarik zincirindeki yasa dışı faaliyetlere ilişkin sorumlulukları yargı bölgesine bağlıdır. Örneğin Almanya'da işletmeler, tedarik zincirlerinin neden olduğu zararları tespit etmek ve önlemek için KYS ve risk yönetimi faaliyetleri yürütmekle yükümlüdür. Şirketler tedarik zincirlerinin neden olduğu zararlardan sorumlu olmasalar bile itibar riskiyle karşılaşabilir.
Etik dışı ve uyumsuz veri toplamanın maliyeti nedir?
İtibar riski
Bir işletmenin etik dışı davranışlarda bulunan veya veri güvenliğini tehlikeye atan eylemlerde bulunan bir web verisi toplama hizmetini kullandığı kamuoyuna yansırsa, bu kaybedilen iş, müşteri kaybı, yetenek kaybı ve yatırımcı güveninin kaybı gibi önemli itibar hasarına yol açabilir.
Kurumsal tedarikçilerin itibar kaybına yol açtığı gerçek hayattan örnekler:
- Nike, tedarikçilerinin etik dışı işgücü uygulamaları nedeniyle birçok kez itibar hasarı yaşadı.1
- EY gibi birçok işletme, MOVEit yönetilen dosya aktarım yazılımı ihlalinden etkilendiğinde müşterilerinin güvenini kaybetti. 2
Yasal risk
Özellikle kamuoyunda öfkeye yol açan itibar kaybını, genellikle etik dışı uygulamalardan zarar gören şirketin müşterileri veya diğer paydaşlar tarafından açılan davalar izler.
Gerçek hayattan örnek: Starbucks, etik dışı uygulamalara sahip şirketlerden tedarik yaptığı için dava edilen son markalardan biridir.3
Etik web verisi kontrol listesi
Kurumsal web verisinin etik olması için 3 gereksinimi karşılaması gerekir:
Müşteriler tarafından etik kullanım
Know Your Supplier süreçlerinin bir parçası olarak işletmeler, etik dışı faaliyetlere olanak tanıyan hizmetleri kullanmaktan kaçınır. Bu tür hizmetleri kullanmak işletmeleri itibar zararına maruz bırakır.
Gerçek dünyadan örnek: Bir sağlayıcının platformunun etik dışı faaliyetlerde kullanılmasına izin verdiği belgelenen durumlarda, çok sayıda işletme uygulamalarını iyileştirene kadar sağlayıcıdan uzaklaştı.4
Bunun web verisiyle ilişkisi: Web verisi farklı IP adresleri aracılığıyla toplanır. Bu adresler, dijital hizmet sunumunu engellemek için DDOS saldırıları, yetkisiz kamuya açık olmayan veri toplama veya reklam dolandırıcılığı gibi farklı yasa dışı faaliyetlerde bulunmak için kullanılabilir. Kötü aktörler eylemlerini güçlendirmek için IP'lere ihtiyaç duyar ve web verisi altyapısı/proxy sağlayıcıları bireysel kullanıcılara en büyük IP tedarikçileridir.
Etik tedarik
Etik amaçlarla kullanılan hizmetler, üretimleri sırasında etik dışı ve zararlı eylemlere neden olabilir. Örneğin Nike ve Nestle gibi markalar, yüklenicilerinin çocuk işçi kullanması nedeniyle itibar zararı görmüş ve davalarla karşılaşmıştır.
Bunun web verisiyle ilişkisi:
İşletmelerin hızlı ve küresel veri toplama için çok sayıda ve çeşitli bant genişliği kaynağına erişmesi gerekir. Bu, residential proxy'lerin kullanılmasını gerektirir: Amerika Birleşik Devletleri'nde, kamuya açık web verilerine erişmek bazı durumlarda CFAA kapsamında yetkisiz erişim oluşturmayabilir, ancak diğer yasalar ve sözleşmesel kısıtlamalar yine de geçerli olabilir. 5 web siteleri ayrıca bazı ziyaretçilerini engellemeyi seçebilir. Örneğin rakiplerinin tarayıcılarını engelleyebilirler. Bu gibi durumlarda işletmeler web verisi toplamak için bireysel kullanıcılardan veya diğer 3rd taraflardan çok sayıda bağlantıya güvenmek zorundadır.
Proxy sağlayıcıları çeşitli kaynaklardan milyonlarca internet bağlantısı toplar ve bu bağlantılara erişmek için IP adreslerini kullanan işletmelere sağlar. Bu IP'lerin bazıları bireysel kullanıcıların cihazlarından gelir. Bu bağlantıları toplamak yasal veya yasa dışı olabilir:
- Yasal: Yasalara uygun uygulamalar, yerel düzenlemelere uygun olarak bilgilendirilmiş kullanıcı onayı almayı, tazminat sağlamayı ve çıkış mekanizmaları sunmayı içerir. Web verisi sağlayıcısı
- Kullanıcıları bant genişliklerinin nasıl kullanılacağı hakkında bilgilendirmelidir
- Dijital olarak onaylarını almalıdır
- Bunun karşılığında onları tazmin etmelidir
- İstedikleri zaman çıkmalarına izin vermelidir
- Yasa dışı: Kötü aktörler kullanıcıların cihazlarına erişebilir ve internet bağlantılarını izinsiz veya tazminatsız kullanabilir. Bu, kötü amaçlı yazılım uygulamaları, ele geçirilmiş cihazlar, gizlenmiş kurulumlar, otomatik katılım ve cihaz sahibini riske atabilecek diğer yöntemler aracılığıyla gerçekleşebilir.
Yasa dışı elde edilmiş proxy'leri kullanan işletmeler, farkında olmadan cihazlara yetkisiz erişim için kötü aktörlere ödeme yapabilir.
Gerçek hayattan örnekler:
- NetNut, altyapısını kullanıcı onayı olmadan cihaz bağlantılarını kullanan SDK'larla paylaşıyordu. Sonuç olarak FBI, NetNut'un web sitesini kapattı.67
- Yönlendiriciler ve IoT cihazları botnet operasyonları için ele geçirilmiş ve residential proxy olarak satılmıştır.8 9
- Google, Android TV kutusu üreticisi Videostrong'un 1.3 milyondan fazla set üstü kutunun ürün yazılımına önceden yüklediği bir arka kapı olan XCPE'yi çökertti. Arka kapı, NetNut'un Popanet ve AppSalt'ı da dahil olmak üzere, kutuları rıza olmadan çıkış düğümü olarak kaydeden residential proxy SDK'larını yükledi. Google, AppSalt'ın onay bayrağının bir onay ekranı gösterilmeden ayarlandığını ve uygulama Google Play'den yüklendiğinde SDK'nın çalışmayı durdurduğunu tespit etti.10
- Bazı proxy sağlayıcıları hizmetlerini kötü aktörlerin uğrak yeri olan forumlarda tanıtır. Ücretli anketlerde konumu veya kimliği yanlış beyan etmek için proxy kullanmak anket sağlayıcısının kurallarını ihlal edebilir ve yargı bölgesi ile niyete bağlı olarak dolandırıcılıkla ilgili yasal sorunlara da yol açabilir.11
- Google Play Store'daki VPN uygulamaları da kullanıcı onayı olmadan residential IP'ler elde etmek için kullanılmıştır.12
Bu operasyonlar kapatılmış olsa da, kötü aktörlerin botnet'ler ve ele geçirilmiş veya kötü amaçlı uygulamalar aracılığıyla hâlâ rızasız residential IP'lere erişmesi muhtemeldir.
Dış sertifikasyon
Kurumsal alıcılar güvenli, kurumsal kullanıma hazır çözümlere ihtiyaç duyar. Dış sertifikasyonla belgelenebilen olgun bir web verisi organizasyonunun bileşenlerini belirledik:
Veri güvenliği
Tedarikçilerin sistemlerindeki veri güvenliği eksikliği, bir işletmenin rekabet avantajını zayıflatabilir veya veri kaybına ve sistem kesintisine yol açabilir. Sistem işlevselliğinin kaybı güveni zedeleyebilir ve işletmenin değer kaybetmesine neden olabilir.
Sistem ihlali
Veri toplama hizmetleri, çekirdek dijital hizmetler (ör. CRM gibi bir kayıt sistemi) kadar bir işletmenin sistemlerine derinlemesine entegre değildir. Bu nedenle güvenlik kimlik bilgileri, kayıt sistemi gibi çekirdek bir sistemin kimlik bilgileri kadar kapsamlı incelenmez. Ancak veri güvenliği, bu hizmetler şunları yaptığı için veri toplama hizmeti müşterileri açısından kritiktir:
- Bazen fiyatlandırma motorları gibi daha merkezi sistemlere entegre edilirler.
- Bu tür sistemlere entegre olmadıklarında bile kurumsal sistemlere bulaşabilirler. Bir veri toplama hizmetini kullanmak o hizmetten veri almayı içerir. En güvenli veri aktarım biçimlerinden bazıları bile risk içerir.
Sistem ihlali ayrıca saldırganların bir proxy hizmetine residential IP sağlayan cihazları hedef almasına yol açabilir. Bu, o proxy hizmetinin müşterileri için itibar zararına neden olabilir.
Bir residential proxy sağlayıcısında gerçek hayattan güvenlik açığı örneği:
Kimwolf botnet'inin operatörleri, residential proxy sağlayıcısı IPIDEA'dan proxy hizmetleri satın aldı. Kötü amaçlı komutlar kullanarak IPIDEA'ya IP sağlayan cihazların iç ağlarına bulaştılar. Bu ağlar daha sonra tarandı ve bu yerel ağlardaki diğer savunmasız cihazlar da enfekte edildi.
Kimwolf'un bu yöntemle 2 milyondan fazla cihaza yayıldığı tahmin ediliyor. IPIDEA müşterileri tarafından toplanan veriler de bu enfekte ağlar üzerinden aktı.13
Veri kaybı
Veri güvenliği olmadan kötü aktörler, işletmeler tarafından toplanan verilere erişerek faaliyetlerini ve stratejilerini tespit edebilir; bu da rekabet avantajı veya iş fırsatlarının kaybına yol açar.
Gerçek hayattan örnek:
Web verisi kamuya açık olsa da işletmeler rekabet avantajı için web verisini yeni yollarla kullanabilir. Örneğin yatırımcılar pazar verisi bütçelerinin %10'ine kadarını alternatif veriye harcar14, ancak stratejilerini nadiren açıklarlar çünkü bunun rakiplerine kıyasla avantaj elde etmelerine yardımcı olabileceğine inanırlar. Bir veri sızıntısı stratejilerinin açığa çıkmasına ve dolayısıyla rakipleri tarafından kopyalanmasına yol açabilir.
PII yönetimi
Web verisi, oturum açma arkasındaki özel verileri veya kamuya açık web sitelerinde kazara veya kasıtlı olarak ifşa edilebilen PII'leri içerir. Web verisi toplama hizmetleri PII'yi doğru yönetmezse bu tür veriler kötü aktörler tarafından ele geçirilebilir. Bu, web verisi toplama hizmeti ve müşterileri için itibar zararına yol açabilir.
Uygulama güvenliği
Web verisi toplama hizmetlerinin IP'lerini sağlayan uygulamalar veya SDK'lar gibi ara programlar, McAfee gibi dış sertifika sağlayıcıları tarafından beyaz listeye alınabilir. Bu, web verisi toplama hizmetinin etik tedarik uygulamalarına olan kurumsal güveni artırır.
Sigorta kapsamı
İşletmeler genellikle tüm dijital sağlayıcılardan şu sigortaları ister:
- Mesleki sorumluluk sigortası
- Siber sigorta sertifikası
Ayrıntılı kıyaslama: Web verisi altyapı sağlayıcılarının değerlendirilmesi
Kıyaslama: Müşteriler tarafından etik kullanım
Burada şu soruyu yanıtlamayı amaçlıyoruz: Şirket, çözümünün kullanımının etik ve geçerli yasa ve düzenlemelere uygun olmasını sağlıyor mu? Bulgularımızın özeti:
* Uygulanamaz: Zyte ve Apify, proxy'leri tedarikçilerinden satın aldığı ve doğrudan bireysel kullanıcılardan toplamadığı için web sitesi sahipleri kötüye kullanım konusunda onlara ulaşamaz ve bu nedenle web siteleri için bir iletişim formu oluşturmaları gerekmez.
Önce politikaları inceledik:
Kabul edilebilir kullanım politikası incelemesi
Tüm satıcılar yasa dışı faaliyetleri yasaklar ve DoS saldırıları, istenmeyen toplu mesajlar, kimliğe bürünme veya sahtecilik gibi örnekler sunar.
Ayrıca bazı satıcılar, yasa dışı olması muhtemel faaliyetleri de yasakladıklarını vurgular. Aşağıda, her satıcı için kabul edilebilir kullanım politikalarına ve eklerine (ör. veri işleme eki) dayanarak yasaklanan faaliyetleri listeliyoruz.
Yasa dışı olması muhtemel ve kullanıcı faaliyetine dayanarak tespit edilebilecek faaliyetleri yasaklayan ifadeler aradık. Örneğin, ücretli anketlere katılmak için proxy kullanan kullanıcıların önemli bir kısmı, anket sağlayıcılarını gerçek konumları hakkında yanıltmak için proxy kullanıyor olabilir. Bu nedenle bu faaliyet hem yasa dışı olması muhtemeldir hem de kullanıcı faaliyetine dayanarak tespit edilebilir (yani bir kullanıcı ücretli bir anket web sitesine giriş yaptığında).
Yasaklanan faaliyetlerin açıkça belirlenmesi faydalı olsa da bu bir gereklilik değildir ve puanlarımızı etkilemez. Şirketler, yasa dışı faaliyetlerin her olası örneğini belirtmek yerine yasa dışı faaliyetlere izin vermediklerini belirtmeyi tercih edebilir.
Bir faaliyetin yasak olarak belirtilmesi, bu tür faaliyetlerin inceleneceği veya engelleneceği anlamına gelmez. Puanlarımız, aşağıda açıklandığı gibi bu politikaların nasıl uygulandığına dayanır:
Etik kullanım için süreçler
Kabul edilebilir kullanım politikalarında özetlenen bazı kategoriler oldukça genişken (ör. yetkisiz veri kazıma veya erişim), diğerleri veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için uygulayabileceği önleyici eylemlere (ör. erişimi engelleme) dönüştürülebilecek kadar spesifiktir.
Bu belirli yasak kullanımlara dayanarak, proxy'lerin yasa dışı kullanımı olması muhtemel kapsamlı bir kullanım listesi hazırladık. Her kullanım durumu için ilgili web alan adları ve eylemleri içeren senaryolar belirledik. Örneğin, yapay sosyal medya etkileşimi senaryosunda, mevcut bir gönderiyi beğenmek için bir proxy kullanarak bir sosyal ağa giriş yapmayı denedik.
Ardından, şirketlerin müşteriler tarafından etik dışı kullanıma izin verip vermediğini test etmek için AIMultiple olmayan bir e-posta adresiyle her sağlayıcının hizmetinde bir hesap oluşturduk. Bu hesapla bir KYC sürecini tamamlamadık ve anonim kullanıcıların her hizmetle neler başarabileceğini anlamak için hizmetleri kullanmaya devam ettik. KYC, kullanıcının temsil ettiği tüzel kişiliği doğrulamak için veri gönderdiği kritik bir adımdır. Bu, kullanıcı faaliyetini bir tüzel kişiliğe bağlar:
- Sorumlu tutulabilecek.
- Çevrimiçi eylemlerinin gerekçesi (ör. devlet web sitelerine giriş yapmak için proxy kullanmak) incelenebilir. Örneğin, bir araştırmacının veya devlet kurumunun kullanım durumu anlaşıldıktan sonra bir proxy kullanarak devlet web sitesine giriş yapmasına izin verilebilir.
Bu kullanım durumlarının bir KYC sürecini tetiklemesini bekledik ancak çoğu satıcıda bu gerçekleşmedi. Onay işareti, KYC sürecini henüz tamamlamamış kullanıcılar için isteğin engellendiğini gösterir:
Açıklık olması için, veri toplama hizmeti şirketlerinin bu web sitelerini engelleme konusunda yasal bir yükümlülüğü yoktur ve bu senaryoların bazıları yasal kullanımın parçası olabilir. Örneğin bir araştırmacı kontrollü bir sosyal medya deneyi yürütmek için proxy'lerden yararlanmak isteyebilir. Ancak bu senaryolardaki kötüye kullanım potansiyeli göz önüne alındığında, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için bunları engellemesini bekledik.
Markalar engelledikleri alan adlarını nasıl duyurur?
- Bright Data, kabul edilebilir kullanım politikasında kısıtlı alan adı kategorilerini listeler.
Otomatik veri toplamayla ilgili web sitelerinin tercihlerine saygı göstermek
robots.txt nedir?
robots.txt, Robotlar Dışlama Protokolü'nü uygulamak için kullanılan bir dosya adıdır. Bu protokol, web siteleri tarafından web sitesi sahibinin botların ziyaret etmesini tercih etmediği bölümleri belirtmek için kullanılır. robots.txt'ye uyum gönüllüdür.
robots.txt'ye uymanın artıları ve eksileri
- Web sitesi tercihlerine saygı gösterir.
- Yakın zamanda güncellenmemiş olabilir ve bu nedenle güncelliğini yitirmiş olabilir.
- Genellikle web sitesi sahibinin sitenin belirli genel bölümlerine botlar tarafından erişilmesini tercih etmediğini gösteren ifadeler içerir.
Robots.txt ayrıca botlara eşit olmayan erişim sağlayabilir. Örneğin, web sitesi sahipleri arama motorlarının botlarının ziyaret ettiği belirli URL'leri yanıt motorlarının botlarının ziyaret etmesini tercih etmediğini belirtebilir.
Robots.txt yasal bir belge değildir ve yasal olarak şu sayfalara bot erişiminin engellenmesini talep edebilir:
- kazınmasına izin verilen (ör. kamuya açık veriler) veya
- kazınmasına izin verilmeyen (ör. web sitesi sahibinin ToC'sinin bu tür verilerin kazınmasını yasakladığı oturum açma arkasındaki veriler).
Web verisi toplama hizmeti sağlayıcıları, bu kullanıcılar robots.txt'yi dikkate almayı bırakmadan önce residential proxy kullanıcılarından bir KYC sürecini tamamlamalarını ve yasal ve etik bir kullanım durumları olduğunu kanıtlamalarını isteyebilir.
Test için, robots.txt tarafından engellenmesi istenen alt klasörlerdeki sayfalara istekler gönderdik. Kullandığımız alan adları aimultiple.com ve en çok ziyaret edilen 100 web alan adı arasından 5 web alan adıydı. Bright Data bu istekleri engelledi:
CNN örneği
CNN'in robots.txt dosyası /terms klasörünü engeller15. Test için residential proxy'lerle o klasöre gittik ve Bright Data hariç tüm sağlayıcılardan sayfanın verileriyle birlikte 200 mesajı aldık. Bright Data'nın yanıtı şudur: “Residential Failed (bad_endpoint): İstenen site, robots.txt uyarınca anında residential (no KYC) erişim modunda kullanılamıyor. Bu siteyi hedeflemek için tam residential erişimi almak üzere KYC formunu doldurun: https://brightdata.com/cp/kyc”.
Kötüye kullanım yönetimi
Satıcıların kötüye kullanım yönetimi uygulamalarını değerlendirmek için bir metodoloji hazırladık ve değerlendirme kriterlerimizi karşılamak için veri topladık:
* Uygulanamaz: Zyte, proxy'leri diğer proxy sağlayıcılarından satın alır ve bu nedenle Zyte'ın hizmeti kötüye kullanım için kullanıldığında web sitesi sahipleri Zyte yerine onun proxy sağlayıcılarına ulaşır.
Tüm satıcılar 3rd tarafların veya müşterilerinin kendilerine ulaşması için araçlar sunsa da, bunların bulunması sorun çözümü için önemlidir:
- Kamuya açık kötüye kullanım politikası
- Kötüye kullanımı bildirmek için özel bir e-posta adresi
- Bildirenlerin şirkete ulaşmasını sağlayan alternatif bir iletişim yöntemi (ör. web formu veya mesajlaşma arayüzü). Bu yararlıdır çünkü e-postalar filtrelenebilir ve gelen kutusuna ulaşmayabilir.
- Mesajlara yanıt verme duyarlılığı
Kıyaslamadaki 3 sağlayıcı (Bright Data) kötüye kullanımı bildirmek için bir e-posta sağladı. Bu sağlayıcıların tümü bu alandaki politikalarını da açıkladı.
Diğer tüm sağlayıcıların da aynısını yapmasını ve bunun kısa vadede yaygın bir sektör uygulaması hâline gelmesini bekliyoruz.
Son olarak, üçüncü taraf alan adlarından (yani AIMultiple olmayan) kötüye kullanım raporları e-postalayarak ve yanıt sürelerini ölçerek kötüye kullanım yönetimi duyarlılığını değerlendirdik. Bir kötüye kullanım e-posta adresi bulamazsak genel iletişim formuna gönderdik. Bunu, şu tarihlerde gönderilen 3 e-posta grubuyla test ettik:
- 2 Mayıs 2025 Cuma, şu adresten:
- aylık yaklaşık 30k trafiğe sahip bir bilet satış hizmeti
- aylık yaklaşık 1k trafiğe sahip bir hukuk firması
- 17 Mayıs 2025, bilet satış hizmetinden.
- 24 Mayıs 2025, sınırlı çevrimiçi trafiğe sahip bir sosyal medya ajansından.
2 Mayıs 2025'te gönderilen ilk e-postalar, özel e-posta sağlayan şirketlere gönderildi. Daha sonra listemizi genişlettik ve kıyaslanan tüm web verisi toplama hizmetlerinin iletişim bölümlerinde listelenen daha genel e-posta adreslerini dahil ettik. Bir şirket e-postalarımıza yanıt verirse ona daha fazla e-posta göndermeyi bıraktık.
E-postalarımızda web sitelerimizin proxy'ler aracılığıyla şüpheli bot trafiği aldığını belirttik ve proxy'lerin kaynağını belirlemede destek istedik. Biri hariç tüm uyumluluk ekiplerinden yanıt alabildik. Yanıtların neredeyse tamamı aynı gün alındı.
Kullanım şeffaflığı
Web verisi sağlayan web sitesi sahipleri ile web toplama hizmetleri arasında tarihsel olarak veri toplama faaliyetleri hakkında veri alışverişi olmamıştır. Tarama faaliyetlerini sınırlamak için web sitesi sahipleri şunlardan birini yapabilirdi:
- Kötüye kullanımı bildirmek için web verisi toplama hizmetleriyle iletişime geçmek
- Tarama faaliyetini zorlaştırmak için Cloudflare gibi bot yönetimi sağlayıcılarıyla çalışmak.
Artık bu taraflar arasında daha yapılandırılmış veri alışverişi için girişimler var. Bright Data, web yöneticilerinin web sitelerindeki tarama faaliyetlerini izlemesi için Bright Data Webmaster konsolunu başlattı. Daha fazla şeffaflığın web verisi toplama uygulamalarını iyileştirmesi muhtemeldir.
Webmaster konsoluyla deneyimimiz
Alan adı sahipliğimizi doğrulayarak ve alan adına bir collectors.txt dosyası ekleyerek kaydolduk.
Artık web sitemizde Bright Data kaynaklı bot faaliyetine erişimimiz var:
Kıyaslama: Etik tedarik
* Şu 3rd taraf platformlardaki yorumlar dahil edildi: Amazon Appstore, App Store, Google Play Store, Trustpilot. Kolaylık olması için bu değer Bright Data için web sitesinde yer alan tüm 120 uygulama için değil, 5 büyük uygulama için hesaplandı.
İş ortağı şeffaflığı
Web verisi altyapı şirketlerinin ihtiyaç duyduğu bant genişliği, kişinin internet bağlantısını paylaşma onayı karşılığında faydalar (ör. ödemeler, reklamları atlama yeteneği gibi özellikler) sağlanarak etik bir şekilde temin edilebilir. Ancak bireysel kullanıcıların sistemlerine yetkisiz erişim sağlamak ve bağlantılarını satmak da mümkündür.
Web verisi altyapı sağlayıcıları, internet bağlantılarını nasıl edindikleri konusunda şeffaflık yaratmak için politikalar ve süreçler oluşturabilir, dış denetimler yaptırabilir ve yaklaşımlarını ve denetim bulgularını yayımlayabilir. Bu, hizmetlerinin etik tedarikine olan güveni artırabilir.
Web verisinde arz tarafı şeffaflığı için bir çerçeve oluşturduk ve satıcıları bu çerçeveyi kullanarak derecelendirdik. Bu çerçeveyi, bir web verisi toplama hizmetinin residential IP'leri kendisinin veya başka proxy'ler aracılığıyla edinmesine bakmaksızın uyguladık. Amacımız, etik dışı uygulamalar tedarik zincirinin herhangi bir noktasında ortaya çıkabileceğinden IP tedarik zincirinin tamamına şeffaflık getirmektir.
Ayrıntılı sonuçlarımızı burada bulabilirsiniz:
Bright Data
Bright Data, şunları yayımladığı için Seviye 5 olarak sınıflandırılmıştır
- Tedarik yaklaşımları ve uygulama geliştiricilerinin SDK'ları aracılığıyla onlarla nasıl çalışabileceği16 17
- 120 tedarikçiye ilişkin ayrıntılar kamuya açık olarak paylaşıldı. Ne kadar popüler olduklarını tahmin etmek için bu tedarikçilerin 3rd taraf platformlardaki yorumlarını kontrol edebildik. 18
Seçilen uygulamaların incelenmesi
Bright Data, web sitesinde 120 uygulamayı paylaşır. Bright VPN gibi uygulamalar, açıklama ve kullanıcı deneyimi konusunda 3rd taraflarca sertifikalandırılmıştır.19 Ayrıca daha ayrıntılı görmek için bu uygulamaları indirdik:
- Bright VPN
- EarnApp
- Sling Kong
Kişisel olarak tanımlanabilir verileri toplamama yükümlülüğü olan katılım formu: Açık açıklamalı onay formu, kaynak:
Bright VPN:
Earn App:

Sling Kong:
- Kullanıcıya oyun sırasında teklif sunulur:

- Katılım:

- Katılım sırasında ek bilgi:

- Çıkış:


Uygulamaların sağladığı değer:
- Bright VPN: Ücretsiz VPN hizmeti
- EarnApp: Ödemeler
- Sling Kong: Oyun içi sanal para birimi
Diğerleri
Çoğu sağlayıcı web kazımada etik konusunun farkında olsa ve bu konuda yayın yapmış olsa da (ör. 20, Zyte hariç bu cephede belirli taahhütlerini tespit edemedik.21
Bunun değişmesini ve çoğu sağlayıcının kısa vadede en az Seviye 1'e geçmesini bekliyoruz.
Dış sertifikasyon
* Bu kategorideki tüm dış sertifikaları aldığını gösterir
Satıcıların müşterilerinin verilerini korumak ve IP'lerini sağlayan uygulamaları güvence altına almak için doğru sistemlere, personele ve süreçlere sahip olması kritiktir. Puanlamamızın arkasındaki mantığı görmek için dış sertifikasyon ölçüm metodolojimize bakın.
GDPR ve CCPA uyumluluğu
Tüm satıcılar her iki veri gizliliği düzenlemesine de uyumlu olduklarını kamuya açık şekilde iddia ediyor. Bu nedenle bu, puanlamaya dahil edilmedi.
Kurumsal olgunlukları nasıl ölçtük
Bu alanda belirlediğimiz yetkinliklere dayanarak, her sağlayıcıda bu sertifikaların varlığını kamuya açık beyanlarını kullanarak kontrol ettik:
- Veri güvenliği sertifikasyonu ve PII sertifikasyonu: 22232425
- IP kaynağı beyaz listede: 26
- Etik uygulamalar değerlendirildi: 27
ISO 27018 sertifikasına sahip olmayan bazı sağlayıcılar, ISO 27018 sertifikasına sahip bulut hizmeti sağlayıcıları kullandıkları için sertifikalı sayılmaları gerektiğini iddia etti. Siber güvenlik danışmanımızın görüşü, bunun sertifika edinimini kolaylaştırsa da sertifikayı almak için yine de politikalarının ve kontrollerinin sertifikalandırılması gerektiği yönündeydi.
Sigorta kapsamı
3 web verisi toplama şirketi sigorta sertifikalarını paylaştı. Sertifikaları yayımlamıyoruz ancak belgeleri şunları sağlamak için inceledik:
- bu 2 sigorta kategorisini kapsadıklarını
- Her kategorideki sigorta limitinin ABD doları cinsinden en az milyonlarca dolar ölçeğinde olduğunu.
Sektör ittifakları ve etik web verisi
2 büyük sektör ittifakı vardır:
- Sorumlu Veri Toplama İttifakı; Bright Data, Common Crawl ve diğerlerini içerir
- Etik Web Verisi Toplama Girişimi (EWDCI); Oxylabs, ProxyEmpire, Zyte gibi şirketleri içerir. Daha önce NetNut'u da içeriyordu. 2 Temmuz 2026'da FBI, güvenlik araştırmacılarının ve Google'ın çıkış düğümü havuzunun bir kısmının Popa botnet'iyle örtüştüğünü iddia etmesinin ardından Alarum Technologies tarafından işletilen bir residential proxy ağı olan NetNut ile ilişkili alan adlarına el koydu. Alarum iddiaları reddediyor, kamuya açık bir suçlama yapılmadı ve iddialar mahkemede test edilmedi.
Sorumluluk reddi ve sonraki adımlar için öneriler
Bu kıyaslamadaki Nimble hariç tüm sağlayıcılar AIMultiple müşterisidir. Her zaman olduğu gibi, bu araştırma sırasında etik taahhütlerimize uyduk.
Etik web verisi toplamanın kapsamlı bir incelemesini tamamladık ve bu kıyaslamanın kapsamından memnun olsak da katılımı artırmayı isteriz. Sigorta kapsamlarını paylaştıkları için şu şirketlere teşekkür ederiz: Apify, Bright Data, Zyte.
Nimble'dan yanıt bekliyoruz. Onlardan daha fazla güncelleme alır almaz raporu güncelleyeceğiz. 2 satıcı, kıyaslamanın bu yinelemesine katılmamayı tercih etti. Bu 7 şirketten herhangi biri, gerçeklere dayalı, tüm satıcılara adil ve işletmelerin daha iyi kararlar almasına yardımcı olan değişiklikler önerirse raporu her zaman güncelliyoruz.
NetNut, bu raporu ilk kez 2025'te yayımladığımızda değerlendirdiğimiz şirketler arasındaydı. Bu sağlayıcıların IP kaynaklarını incelediğimiz etik tedarik derinlemesine incelememizde mümkün olan en düşük puana (Seviye 0) sahipti. Temmuz 2026'da FBI, Google ve bağımsız güvenlik firmalarının NetNut'un ağı ile Popa botnet'i arasında bağlantılar olduğunu iddia eden araştırmalarının ardından NetNut ile ilişkili alan adlarına el koydu. NetNut'un ana şirketi Alarum Technologies bu iddiaları reddediyor ve iddialar mahkemede test edilmedi.28 Bunun, tüm satıcıların tedarikleri konusunda şeffaf olmaları için bir teşvik olmasını umuyoruz.
Araştırmamıza göre bu, etik web verisine odaklanan ilk rapordur. Bu şeffaflığın, web verisi sektörünün zorluklarına yaratıcı çözümler bulmasına yardımcı olmasını umuyoruz. Bu çözümlerin web verisi toplayıcılarının, web otomasyonu kullanıcılarının, web sitesi sahiplerinin ve IP'lerini sektöre sağlayan bireysel kullanıcıların çıkarlarını dengelemesi gerekecek.
Metodoloji sınırlamaları
Bu kıyaslama, müşteri kullanım kontrolleri, IP tedariki şeffaflığı, dış sertifikalar ve sigorta paylaşımı dahil gözlemlenebilir olgunluk göstergelerini ölçer. Ancak puanlama, bir sağlayıcının her müşteri kullanım durumunda yasal olarak uyumlu olup olmadığını tam olarak belirlemez.
Bu nedenle yüksek bir kıyaslama puanı, yasallık veya etik kullanım garantisi olarak değil, satın alma durum tespitine girdi olarak değerlendirilmelidir.
Referanslar
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Etik ve Uyumlu Web Verisi Kıyaslaması}},
year = {2026},
month = oct,
howpublished = {\url{https://aimultiple.com/web-scraping-ethics}},
note = {AIMultiple. Erişim tarihi: 26 Ekim 2026}
}66 veri noktasının sonuçları ve zaman damgaları. Bu makaledeki grafik ve tablolarda gösterilen özet verileri, 8 CSV dosyası içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
9 güncellemeTedarik zincirine ilişkin iki büyük ittifakı kapsayan Sektör İttifakları ve Etik Web Verisi bölümü eklendi.
Web veri toplama hizmetleri karşılaştırması 7'den 5 sağlayıcıya indirildi; iki sağlayıcı yer almamayı seçti.
Kıyaslamanın sonuna bir Metodoloji sınırlamaları bölümü eklendi.




Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.