Etik ve Mevzuata Uygun Web Veri Kıyaslaması

İşletmeler web veri operasyonlarını ölçeklendirdikçe, uyumluluk, veri ve risk yöneticileri ilgili etik, itibar ve yasal riskleri giderek daha fazla değerlendirmektedir.

5 önde gelen web veri toplama hizmetini 3 boyutta karşılaştırdık ve her hizmeti 20'den fazla potansiyel etik dışı senaryoyla test ettik.

Çalışmalarımız , veri toplama uygulamalarınızın etik durumunu değerlendirmenize ve etik olmayan yaklaşımların potansiyel sonuçlarını anlamanıza yardımcı olur. Ayrıca etik web veri toplama için yönergeler sunuyor ve web veri toplama hizmetlerini etik ve uyumluluk açısından değerlendiriyoruz:

Web veri toplama hizmetlerinin değerlendirilmesi

Önde gelen web veri toplama hizmetlerini (web veri sağlayıcıları veya web veri altyapısı olarak da adlandırılır) etik web veri kontrol listemizi kullanarak değerlendirdik. Bu puanlar olgunluk seviyelerini temsil eder ve 5 en yüksek seviyedir:

* Bunlar tedarikçi adlarının kodlarıdır. Bu tedarikçiler bu raporda yer almak istemediler ve bu sorunu çözene kadar listenin en altında yer almaktadırlar.

** ✅ işareti, şirketin sigorta sertifikalarını AIMultiple ile paylaşmayı seçtiğini gösterir. ❌ işareti ise şirketin sigorta sertifikalarını bizimle paylaşmamaya karar verdiğini ve bu nedenle sigorta kapsamlarını doğrulayamadığımızı gösterir. Sigorta kapsamı, değerlendirme için web veri hizmetleri şirketlerinin katılımına güvendiğimiz tek kategoridir.

Özet puanına göre sıralanmıştır .

Etik web verileri için puanlama modeli

Aşağıda, bu puanların nasıl elde edildiğini açıklıyoruz. Ayrıca , bu puanlama boyutlarının seçilmesinin gerekçesini de görebilirsiniz.

İlk 2 kategoride 5 yetkinlik belirledik ve şirketler, karşıladıkları yetkinlik sayısına göre puan aldılar. Seviye 5, piyasada gözlemlenen en yüksek olgunluk seviyesini temsil eder ve mükemmellikten ziyade mevcut en iyi uygulamaları yansıtır.

Müşteriler tarafından etik kullanım için yetenekler

• Etik kullanım için etkili süreçler : Her sağlayıcının, konut proxy hizmetlerinin etik dışı kullanımını önleme yeteneğini kontrollü test senaryoları aracılığıyla değerlendiriyoruz. Taleplerimizden herhangi biri sağlayıcı tarafından engellenirse, bu hedefe ulaşılmış demektir.
• Etik kullanım için iyileştirilmiş süreçler : "Etkin etik kullanım süreçleri"ne benzer. Ancak bu özellik, hizmet sağlayıcının hizmetlerini etik olmayan kullanım durumları için kullanma girişimlerimizin birden fazlasını engellediğini gösterir.
• Etik kullanım için en iyi uygulama süreçleri: "Etik kullanım için etkili süreçler"e benzer. Ancak bu özellik, hizmet sağlayıcının hizmetlerini etik olmayan kullanım durumları için kullanma girişimlerimizin çoğunu engellediğini gösterir.
• İstismar yönetimi vakfı : İstismar yönetimi politikasının ve istismarı bildirme yönteminin yayınlanması.
• Duyarlı istismar yönetimi : Şirketlerin birden fazla istismar raporuna nasıl yanıt verdiğini ölçtük. İstismarı bildirmek için bir ihbar hattı olmasa bile, şirketlerin ekiplerine ulaşmak için listeledikleri e-postaları kullandık. Raporumuza bir hafta içinde herhangi bir yanıt almazsak, şirketin duyarsız olduğu varsayıldı.

Etik tedarik yetenekleri

Etik tedarik, IP adreslerinin etik bir şekilde edinilmesini içerir. Piyasa analizimiz, etik IP tedariki konusunda aşağıdaki şeffaflık seviyelerini belirlemiştir:

• Seviye 1 : Yayınlanmış IP kaynak politikası.
• Seviye 2: Etik bir şekilde IP sağlayan en az bir kaynak (örneğin bir mobil uygulama) açıklanmıştır. Açıklanan kaynağın, Google, Apple, Amazon uygulama mağazaları ve Trustpilot dahil olmak üzere üçüncü taraf platformlarda toplamda en az 10.000 yorumu olmalıdır.
• Seviye 3: Seviye 3 ile aynı, ancak 100.000 değerlendirme ile.
• Seviye 4: Seviye 3 ile aynı, ancak 1 milyon değerlendirme ile.
• Seviye 5: Seviye 4 ile aynı, ancak 10 milyon değerlendirme ile.

Yorumlar, uygulamaların popülerliğinin bir göstergesidir ve bu değerlendirme için önemli bir sinyaldir. Web veri toplama hizmetlerinin, müşterilerinin fikri mülkiyet ihtiyaçlarını karşılayabilmek için popüler uygulamalarla birlikte çalışması gerekir.

Nitelik kazanmak için, açıklanan uygulamaların bu en iyi uygulamaları takip etmesi gerekir. Bunu açıklanan her uygulama için kontrol etmeyeceğiz, ancak rastgele seçilen birkaç uygulama için kontrol edeceğiz:

• Bilgilendirilmiş onam:
  • Kullanıcıların internet bağlantılarını paylaşmadan önce onay vermeleri gerekmektedir. Onay ekranında şunlar belirtilmelidir:
    • Sağlayıcı
    • Hizmet
    • Fikri mülkiyetlerinin nasıl kullanılacağı
  • Kullanıcılar aşağıdaki konularda detaylı bilgilere erişebilmelidir:
    • İnternet bağlantılarının nasıl kullanılacağı
    • Gizlilik politikası
• Değer: Kullanıcılar uygulamadan bir değer elde etmelidir (örneğin ödeme, reklamları atlama özelliği veya başka bir işlev).
• Gizlilik: Sınırlı ve şeffaf kullanıcı verisi toplama.

Dış sertifikasyon

Şirketlerin kurumsal düzeyde güvenlik ve uyumlulukla ilgili bu sertifikaları edinip edinmediklerine göre harici sertifikaları değerlendirdik.

• Kişisel Verilerin Yönetimi Sertifikasyonu: ISO 27018 sertifikasını alarak kişisel verilerin yönetimi konusunda yetkinliğin gösterilmesi.
• Veri güvenliği sertifikasyonu: SOC 2 veya ISO/IEC 27001 sertifikalarından birini alarak veri güvenliği uygulamalarını kanıtlamak:
• IP kaynağı beyaz listeye alındı: McAfee gibi harici sertifikasyon sağlayıcıları aşağıdakilerden birini onaylar:
  • IP adresleri sağlayan belirli üçüncü taraf uygulamalar
  • Üçüncü taraf uygulamalardan IP adreslerini toplayan SDK
• Değerlendirilen etik uygulamalar : ISAE 3000 güvence projesi, iç uyumluluk ve etik uygulamaları değerlendirmek için tamamlanabilir.

Sigorta

Tedarikçilerden bize bu sigorta belgelerini sağlamalarını istedik:

• Hizmet sırasında oluşabilecek sorunlar durumunda satıcıların sorumluluklarını kapsayan mesleki sorumluluk sigorta belgesi.
• Bilgi güvenliğiyle ilgili sorunlar durumunda tedarikçilerin yükümlülüklerini kapsayan siber sigorta sertifikası .

Özet puan

Bu puan, tüm puanların toplamının 3'e bölünmesiyle elde edilir. Puanlar şunlardır:

• Müşteriler tarafından etik kullanım için yetenekler açısından 0 ila 5 arası puanlama.
• Etik tedarik yetenekleri için 0 ila 5 arası puan.
• Harici sertifikasyon için 0 ila 3 arası
• Sigortalar için 0 ila 2 arası

Önde gelen web veri toplama hizmetleri

AIMultiple, LinkedIn'deki çalışan sayısı bakımından en büyük 7 web veri toplama hizmetini seçti. Bu ölçütü seçmemizin nedeni, hem kamuya açık olması hem de şirketin gelirleri ve kurumsal hazır olma durumuyla ilişkilendirilebilmesidir. Gelirler veya bordroda çalışan sayısı gibi daha iyi ölçütler, bu özel şirketler için kamuya açık değildir.

Seçilen şirketlerin tamamının Nisan 2025 itibariyle LinkedIn profil sayfalarına bağlı 100'den fazla çalışanı bulunmaktadır. Şu anda seçilen 7 şirketten 5'i bu sayfada gösterilmektedir ve kalan 2 şirket rapora dahil edilmemeyi tercih etmiştir.

Web veri toplama ürünlerine odaklanıyoruz.

Bu şirketler proxy'ler, veri kazıma API'leri ve veri kümeleri de dahil olmak üzere çeşitli ürünler sunmaktadır. Tüm ürünler etik açıdan incelenebilirken, biz öncelikle en yüksek esneklik seviyesini sağlayan ve diğer ürünlerin çoğuna güç veren ürüne odaklandık: Konut proxy'leri.

Web veri toplama ürünleri, proxy'lerin diğer tüm hizmetlerin üzerine inşa edildiği temel katmanı oluşturduğu bir hiyerarşi olarak düşünülebilir. Bunun nedeni, proxy'lerin makinelerin internete farklı hedefler üzerinden erişmesine olanak sağlaması ve veri toplama için hayati önem taşıyan çeşitli ve geniş bir internet bağlantı kümesi sunmasıdır. Bu nedenle, proxy'ler en yetenekli web veri toplama ürünüdür ve veri kümeleri veya veri kazıma API'leri ile mümkün olmayan işlevleri yerine getirmek için kullanılabilir.

Proxy'ler arasında, konut proxy'leri, web sitelerinin proxy olarak tanımlaması en zor olan üründür. Örneğin, veri merkezi proxy'leri gibi diğer proxy'ler, konumları nedeniyle kolayca tanımlanabilir. Bu nedenle, konut proxy'leri, veri kazıma API'leri gibi diğer birçok web veri ürününü destekler.

Doğrulayın: Web üzerinden veri toplama yönteminiz yasalara uygun ve etik mi?

İşletmeniz büyük olasılıkla web verilerinden yararlanıyor. Ancak sektör sınırlı düzenlemelerle karşı karşıya olduğundan, etik ve uyumlu bir sağlayıcı seçmek önemlidir. Bunu başarmak için, etik kaynak bulma, etik kullanım ve harici sertifikasyon da dahil olmak üzere web veri toplamanın farklı yönlerini dikkate alan bütüncül bir çerçeve hazırladık.

Web verileri yaygın bir operasyonel varlıktır.

Bir işletme olarak, işiniz büyük ölçüde web verilerine bağımlıdır çünkü web verilerinin çok sayıda kullanım alanı vardır, örneğin:

• Perakende ve e-ticaret için dinamik fiyatlandırma
• Yatırım fonları için gerçek zamanlı alternatif veriler
• Ticari bankacılıkta KYC süreci
• Yapay zeka modeli eğitimi veya ince ayar
• Yapay zeka çıkarımı veya RAG
• Pazar araştırması

Yapay zekâ ile web verileri artık daha önemli hale geldi.

Web veri toplama, web'in kendisi kadar eski olsa da, üretken yapay zeka modellerinin yükselişinden sonra önemi büyük ölçüde arttı. OpenAI ve Anthropic gibi bu modelleri geliştirenler, önemli bir içerik ortaklığı olmadan işe başladılar ve ilk modellerini oluşturmak için ağırlıklı olarak çevrimiçi verileri kullandılar; bu da trilyon dolarlık yapay zeka endüstrisinin yükselişine yol açtı.

Sınırlı düzenleyici denetim

Yapay zekâ düzenlemeleri mercek altında olsa da, veri toplama sektörü çoğu ülkede büyük ölçüde düzenlenmemiş durumda. Açıkça yasadışı çevrimiçi faaliyetler iyi tanımlanmıştır. Bununla birlikte, sektör oyuncularının hizmetlerinin kullanıcılar tarafından kötüye kullanılmasını proaktif olarak önlemeleri için sınırlı düzenleyici gereklilikler bulunmaktadır.

Etik veri toplama ve proxy kullanımını sağlamak için en iyi uygulamaları ve uyumluluk standartlarını belirlemek platformların kendilerine kalmıştır. Bu nedenle, veri toplama alanında tedarikçi seçimi, her hizmet sağlayıcısının çok sayıda düzenlemeye uymasının zorunlu olduğu bankacılık gibi sıkı düzenlemelere tabi sektörlere kıyasla daha önemlidir.

Tedarikçilerinizin etik duruşu, şirketinizin itibarının bir parçasıdır.

Verileri toplamanız veya tüketmeniz fark etmeksizin, veri edinme sürecinden siz sorumlusunuz.

İşletmelerin tedarik zincirlerindeki yasa dışı faaliyetlerden doğan sorumlulukları, yargı yetkisine bağlıdır. Örneğin, Almanya'da işletmeler, tedarik zincirlerinden kaynaklanan zararları tespit etmek ve önlemek için KYS (Kilit Yol Güvenliği) ve risk yönetimi faaliyetlerini yürütmekle yükümlüdür. Şirketler tedarik zincirlerinden kaynaklanan zararlardan sorumlu olmasalar bile, itibar riskiyle karşı karşıya kalabilirler.

Etik dışı ve yasalara aykırı veri toplamanın maliyeti nedir?

İtibar riski

Bir işletmenin etik dışı davranışlarda bulunan veya veri güvenliğini tehlikeye atan bir web veri toplama hizmeti kullandığının kamuoyuna açıklanması, iş kaybı, müşteri kaybı, çalışan kaybı ve yatırımcı güveninin kaybı gibi önemli itibar kayıplarına yol açabilir.

Kurumsal tedarikçilerin itibar kaybına yol açan gerçek hayattan örnekler:

• Nike, tedarikçilerinin etik dışı çalışma uygulamaları nedeniyle birçok kez itibar kaybına uğradı. ¹
• EY gibi birçok işletme, MOVEit yönetilen dosya transfer yazılımındaki güvenlik açığından etkilenerek müşterilerinin güvenini kaybetti. ²

Hukuki risk

İtibar kaybı, özellikle kamuoyunda büyük tepkiye yol açtığında, genellikle şirketin müşterileri veya etik dışı uygulamalardan zarar gören diğer paydaşları tarafından açılan davalarla sonuçlanır.

Gerçek hayattan bir örnek: Starbucks, etik olmayan uygulamalara sahip şirketlerden tedarik yapması nedeniyle dava edilen son markalardan biri. ³

Etik web veri kontrol listesi

Kurumsal web verilerinin etik olması için 3 gereksinimi karşılaması gerekir:

Müşteriler tarafından etik kullanım

Tedarikçinizi Tanıma (KYC) süreçlerinin bir parçası olarak, işletmeler etik olmayan faaliyetlere olanak sağlayan hizmetlerden kaçınırlar. Bu tür hizmetlerin kullanılması, işletmeleri itibar kaybına maruz bırakır.

Gerçek dünya örneği: Bir sağlayıcının platformunun etik olmayan faaliyetlerde kullanılmasına izin verdiği belgelendiği durumlarda, birçok işletme, sağlayıcı uygulamalarını iyileştirene kadar ondan uzak durmuştur. ⁴

Bunun web verileriyle ilişkisi şu şekildedir: Web verileri farklı IP adresleri üzerinden toplanır. Bu adresler, dijital hizmetlerin sunumunu engellemek için DDOS saldırıları, yetkisiz gizli veri toplama veya reklam sahtekarlığı gibi çeşitli yasa dışı faaliyetlerde bulunmak için kullanılabilir. Kötü niyetli kişilerin eylemlerini gerçekleştirmek için IP adreslerine ihtiyaçları vardır ve web veri altyapısı/proxy sağlayıcıları, perakende kullanıcılara en büyük IP tedarikçileridir.

Etik tedarik

Etik amaçlarla kullanılan hizmetler, üretim süreçlerinde etik dışı ve zararlı eylemlere yol açabilir. Örneğin, Nike ve Nestle gibi markalar, yüklenicilerinin çocuk işçiliği kullanması nedeniyle itibar kaybına uğradı ve davalarla karşı karşıya kaldı.

Bunun web verileriyle ilişkisi şöyledir:

İşletmelerin hızlı ve küresel veri toplama için çok sayıda ve çeşitli bant genişliği kaynağına erişmesi gerekir. Bu, konut proxy'lerinin kullanımını gerektirir: Birçok koşul altında kamuya açık verilerin toplanması yasal olsa da, ⁵ web sitesi, ziyaretçilerinin bir kısmını engellemeyi de seçebilir. Örneğin, rakiplerinin tarayıcılarını engelleyebilirler. Bu gibi durumlarda, işletmeler web verilerini toplamak için perakende kullanıcılarından veya diğer üçüncü taraflardan gelen çok sayıda bağlantıya güvenmek zorundadır.

Proxy sağlayıcıları, çeşitli kaynaklardan milyonlarca internet bağlantısı toplar ve bu bağlantılara erişmek için IP adreslerini kullanan işletmelere sunar. Bu IP adreslerinin bazıları ev kullanıcılarının cihazlarından kaynaklanmaktadır. Bu bağlantıların toplanması yasal veya yasa dışı olabilir:

• Yasal: Yasalara uygun uygulamalar, bilgilendirilmiş kullanıcı onayı almayı, tazminat sağlamayı ve yerel düzenlemelere uygun olarak vazgeçme mekanizmaları sunmayı içerir. Web veri sağlayıcısı şunları yapmalıdır:
  • Kullanıcılara bant genişliklerinin nasıl kullanılacağı konusunda bilgi verin.
  • Onların onayını dijital olarak alın.
  • Onlara karşılık olarak tazminat ödeyin.
  • İstedikleri zaman abonelikten çıkmalarına izin verin.
• Yasadışı: Kötü niyetli kişiler, kullanıcıların cihazlarına erişim sağlayarak internet bağlantılarını izinsiz veya tazminat almadan kullanabilirler. Bu durum, kötü amaçlı yazılım uygulamaları, ele geçirilmiş cihazlar, gizlenmiş kurulumlar, otomatik kayıt ve cihaz sahibini riske atabilecek diğer yöntemler aracılığıyla gerçekleşebilir.

Yasadışı yollarla elde edilen proxy'leri kullanan işletmeler, farkında olmadan kötü niyetli kişilere cihazlara yetkisiz erişim için ödeme yapabilirler.

Gerçek hayattan örnekler:

• Yönlendiriciler ve IoT cihazları botnet operasyonları için ele geçirildi ve ev kullanıcıları için proxy olarak satıldı. ^{6 7}
• Bazı proxy sağlayıcıları, hizmetlerini kötü niyetli kişilerin sıkça kullandığı forumlarda tanıtıyor. Bu IP adreslerinin yasa dışı yollarla elde edilmiş olma olasılığı yüksektir. ⁸
• Play Store'daki VPN uygulamaları, kullanıcı izni olmadan konut IP adreslerini elde etmek için de kullanılmıştır. ⁹

Bu operasyonlar durdurulmuş olsa da, kötü niyetli kişilerin botnet'ler ve ele geçirilmiş veya zararlı uygulamalar aracılığıyla izinsiz olarak konut IP adreslerine erişmeye devam etmesi muhtemeldir.

Dış sertifikasyon

Kurumsal alıcılar güvenli, kurumsal kullanıma hazır çözümlere ihtiyaç duyar. Harici sertifikasyon yoluyla belgelendirilebilen olgun bir web veri organizasyonunun bileşenlerini belirledik:

Veri güvenliği

Tedarikçilerin sistemlerindeki veri güvenliğinin yetersizliği, bir işletmenin rekabet avantajını zayıflatabilir veya veri kaybına ve sistem arızalarına yol açabilir. Sistem işlevselliğinin kaybı, güveni zedeleyebilir ve işletmenin değer kaybına neden olabilir.

Sisteme izinsiz giriş

Veri toplama hizmetleri, temel dijital hizmetler (örneğin CRM gibi bir kayıt sistemi) kadar işletmenin sistemlerine derinlemesine entegre değildir. Bu nedenle, güvenlik kimlik bilgileri, bir kayıt sistemi gibi temel bir sistemin kimlik bilgileri kadar kapsamlı bir şekilde incelenmez. Bununla birlikte, veri güvenliği, veri toplama hizmetlerinin müşterileri için kritik öneme sahiptir çünkü bu hizmetler:

• Bazen fiyatlandırma motorları gibi daha merkezi sistemlere entegre edilirler.
• Kurumsal sistemlere entegre olmasalar bile, bu sistemlere virüs bulaştırabilirler. Veri toplama hizmeti kullanmak, bu hizmetten veri almak anlamına gelir. En güvenli veri aktarım yöntemlerinden bazılarında bile riskler mevcuttur.

Sistem saldırıları, saldırganların proxy hizmetlerine konut IP adresleri sağlayan cihazları hedef almasına da yol açabilir. Bu durum, proxy hizmetlerinin müşterilerinin itibarının zedelenmesine neden olabilir.

Konut tipi proxy sağlayıcısında gerçek hayattan bir güvenlik açığı örneği:

Kimwolf botnet'inin operatörleri, konut proxy sağlayıcısı IPIDEA'dan proxy hizmetleri satın aldı. Kötü amaçlı komutlar kullanarak, IPIDEA'ya IP sağlayan cihazların iç ağlarını enfekte ettiler. Daha sonra bu ağlar tarandı ve bu yerel ağlardaki diğer savunmasız cihazlar da enfekte edildi.

Kimwolf'un bu yöntemle 2 milyondan fazla cihaza yayıldığı tahmin ediliyor. IPIDEA'nın müşterileri tarafından toplanan veriler de bu virüslü ağlar üzerinden yayıldı. ¹⁰

Veri kaybı

Veri güvenliği olmadan, kötü niyetli kişiler işletmelerin topladığı verilere erişerek faaliyetlerini ve stratejilerini tespit edebilir ve bu da rekabet avantajının veya iş fırsatlarının kaybına yol açabilir.

Gerçek hayattan bir örnek:

Web verileri herkese açık olsa da, işletmeler rekabet avantajı elde etmek için web verilerini yeni yollarla kullanabilirler. Örneğin, yatırımcılar piyasa verisi bütçelerinin %10'una kadarını alternatif verilere harcıyorlar. ¹¹ , ancak stratejilerini nadiren açıklarlar çünkü bunun rakiplerine kıyasla avantaj sağlamalarına yardımcı olacağına inanırlar. Bir veri sızıntısı, stratejilerinin açığa çıkmasına ve dolayısıyla rakipleri tarafından kopyalanmasına yol açabilir.

Kişisel verilerin yönetimi

Web verileri, giriş bilgilerinin ardındaki özel verileri veya kamuya açık web sitelerinde kazara veya kasıtlı olarak ifşa edilebilecek kişisel bilgileri içerir. Web veri toplama hizmetleri kişisel bilgileri doğru şekilde yönetemezse, bu veriler kötü niyetli kişiler tarafından ele geçirilebilir. Bu durum, web veri toplama hizmeti ve müşterileri için itibar kaybına yol açabilir.

Uygulama güvenliği

Web veri toplama hizmetlerinin IP adreslerini kaynak olarak kullanan SDK'lar gibi uygulamalar veya ara programlar, McAfee gibi harici sertifikasyon sağlayıcıları tarafından beyaz listeye alınabilir. Bu, işletmenin web veri toplama hizmetinin etik tedarik uygulamalarına olan güvenini artırır.

Sigorta kapsamı

İşletmeler genellikle dijital hizmet sağlayıcılarından bu sigortaları talep eder:

• Mesleki sorumluluk sigortası
• Siber sigorta sertifikası

Detaylı kıyaslama: Web veri altyapısı sağlayıcılarının değerlendirilmesi

Kriter: Müşteriler tarafından etik kullanım

Burada şu soruyu yanıtlamayı amaçlıyoruz: Şirket, çözümünün kullanımının etik ve geçerli yasa ve yönetmeliklere uygun olmasını sağlıyor mu? Bulgularımızın özeti:

* Geçerli değil: Zyte ve Apify proxy'leri tedarikçilerinden satın aldıkları ve doğrudan konut kullanıcılarından toplamadıkları için, kötüye kullanım konusunda web sitesi sahipleri tarafından kendilerine ulaşılamayacak ve bu nedenle web siteleri için bir iletişim formu oluşturmalarına gerek kalmayacaktır.

Öncelikle politikaları gözden geçirdik:

Kabul edilebilir kullanım politikası incelemesi

Tüm satıcılar yasa dışı faaliyetleri yasaklar ve DoS saldırıları, istenmeyen toplu mesajlar, kimlik hırsızlığı veya sahtekarlık gibi örnekler verir.

Ayrıca, bazı satıcılar yasa dışı olma olasılığı yüksek faaliyetleri de yasakladıklarını vurgulamaktadır. Aşağıda, her satıcının kabul edilebilir kullanım politikalarına ve eklerine (örneğin veri işleme eki) dayanarak yasaklanan faaliyetleri listeliyoruz.

Yasadışı olma olasılığı yüksek ve kullanıcı etkinliğine göre tespit edilebilen faaliyetleri yasaklayacak terimler aradık. Örneğin, ücretli anketlere katılmak için proxy kullanan kullanıcıların önemli bir kısmı, anket sağlayıcılarını gerçek konumları konusunda yanıltmak için proxy kullanıyor olabilir. Bu nedenle, bu faaliyet hem yasadışı olma olasılığı yüksek hem de kullanıcı etkinliğine göre (yani bir kullanıcı ücretli anket web sitesine giriş yaptığında) tespit edilebilir.

Yasaklanmış faaliyetleri açıkça belirtmek faydalı olsa da, zorunlu değildir ve puanlarımızı etkilemez. Şirketler, yasa dışı faaliyetlerin her olası örneğini belirtmek yerine, yasa dışı faaliyetlere izin vermediklerini belirtmeyi tercih edebilirler.

Bir etkinliğin yasaklı olarak belirtilmesi, bu tür etkinliklerin inceleneceği veya engelleneceği anlamına gelmez. Puanlarımız, aşağıda belirtildiği gibi bu politikaların nasıl uygulandığına bağlıdır:

Etik kullanım süreçleri

Kabul edilebilir kullanım politikalarında belirtilen bazı kategoriler oldukça geniş kapsamlı olsa da (örneğin yetkisiz veri kazıma veya erişim), diğerleri veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için uygulayabileceği önleyici eylemlere dönüştürülebilecek kadar spesifiktir (örneğin erişimi engelleme).

Bu özel yasaklı kullanımlara dayanarak, proxy'lerin yasa dışı kullanımları olma olasılığı yüksek olan kullanımların kapsamlı bir listesini hazırladık. Her kullanım durumu için, ilgili web alan adlarını ve eylemleri içeren senaryolar belirledik. Örneğin, yapay sosyal medya etkileşimi senaryosunda, mevcut bir gönderiyi beğenmek için bir proxy kullanarak bir sosyal ağa giriş yapmayı denedik.

Ardından, şirketlerin müşteriler tarafından etik olmayan kullanıma izin verip vermediğini test etmek için, her sağlayıcının hizmetinde AIMultiple olmayan bir e-posta adresi kullanarak bir hesap oluşturduk. Bu hesapla KYC sürecini tamamlamadık ve anonim kullanıcıların her hizmetle neler başarabileceğini anlamak için hizmetleri kullanmaya devam ettik. KYC, kullanıcının temsil ettiği yasal kuruluşu doğrulamak için veri gönderdiği çok önemli bir adımdır. Bu, kullanıcı etkinliğini yasal bir kuruluşa bağlar:

• Bu durumdan sorumlu tutulabilir.
• Çevrimiçi eylemlerin (örneğin, devlet web sitelerine giriş yapmak için proxy kullanmak gibi) gerekçesi incelenebilir. Örneğin, kullanım durumları anlaşıldıktan sonra, bir araştırmacıya veya devlet kurumuna bir devlet web sitesine proxy kullanarak giriş yapma izni verilebilir.

Bu kullanım durumlarının bir KYC sürecini tetikleyeceğini bekliyorduk, ancak çoğu tedarikçide bu gerçekleşmedi. Onay işareti, KYC sürecini henüz tamamlamamış kullanıcılar için isteğin engellendiğini gösterir:

Açıklık getirmek gerekirse, veri toplama hizmeti veren şirketlerin bu web sitelerini engelleme konusunda yasal bir yükümlülüğü yoktur ve bu senaryoların bazıları yasal kullanımın bir parçası olabilir. Örneğin, bir araştırmacı kontrollü bir sosyal medya deneyi yürütmek için proxy'lerden yararlanmak isteyebilir. Bununla birlikte, bu senaryolardaki kötüye kullanım potansiyeli göz önüne alındığında, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için bunları engellemesini bekliyorduk.

Markaların engelledikleri alan adlarını nasıl ilettikleri

• Bright Data, kabul edilebilir kullanım politikalarında kısıtlanmış etki alanı kategorilerini listeliyor.

Web sitelerinin otomatik veri toplama konusundaki tercihlerine saygı duymak

robots.txt nedir?

robots.txt, Robot Dışlama Protokolü'nü uygulamak için kullanılan bir dosya adıdır. Bu protokol, web sitesi sahibinin botların ziyaret etmesini istemediği web sitesi bölümlerini belirtmek için web siteleri tarafından kullanılır. robots.txt'ye uyum isteğe bağlıdır.

robots.txt'ye uymanın artıları ve eksileri

➕ Web sitesi tercihlerine saygı duyar.

➖ Son zamanlarda güncellenmemiş olabilir ve bu nedenle güncel olmayabilir.

➖ Genellikle, web sitesi sahibinin web sitesinin belirli herkese açık bölümlerine botların erişmesini istemediğini belirten şartları içerir.

Robots.txt dosyası, botlara eşit olmayan erişim imkanı da sağlayabilir. Örneğin, web sitesi sahipleri, arama motorlarının botlarının ziyaret ettiği belirli URL'leri yanıt motorlarının botlarının ziyaret etmesini tercih etmediklerini belirtebilirler.

Robots.txt yasal bir belge değildir ve yasal olarak erişilebilir olan sayfalara bot erişimini engelleme talebinde bulunabilir:

• Kazınmasına izin verilen (örneğin kamuya açık veriler) veya
• Kazınmasına izin verilmeyen veriler (örneğin, web sitesi sahibinin Kullanım Şartları'nda bu tür verilerin kazınmasını yasaklayan giriş ekranının arkasındaki veriler).

Web veri toplama hizmeti sağlayıcıları, konut proxy kullanıcılarından, robots.txt dosyasını göz ardı edebilmeleri için önce bir KYC sürecini tamamlamalarını ve yasal ve etik bir kullanım durumuna sahip olduklarını kanıtlamalarını isteyebilir.

Test amacıyla, robots.txt tarafından engellenmesi istenen alt klasörlerdeki sayfalara istekler gönderdik. Kullandığımız alan adları aimultiple.com ve en çok ziyaret edilen 100 web alan adı arasında yer alan 5 web alan adıydı. Bu istekleri yalnızca Bright Data engelledi:

CNN örneği

CNN'in robots.txt dosyası /terms klasörünü engelliyor. ¹² Test için, konut proxy'leri ile o klasöre gittik ve Bright Data hariç tüm sağlayıcılardan sayfa verilerini içeren 200 mesaj aldık. Bright Data'nin yanıtı şu şekildedir: “ Konut Erişimi Başarısız (kötü_uç_nokta): İstenen site, robots.txt uyarınca hemen konut (KYC gerektirmeyen) erişim modu için kullanılamıyor. Bu siteyi hedeflemek için tam konut erişimi almak üzere KYC formunu doldurun: https://brightdata.com/cp/kyc ” .

İstismar yönetimi

Satıcıların suistimal yönetimi uygulamalarını değerlendirmek için bir metodoloji belirledik ve değerlendirme kriterlerimizi karşılamak üzere veri topladık:

* Geçerli değil: Zyte diğer proxy sağlayıcılarından proxy satın almaktadır ve bu nedenle Zyte'ün hizmeti kötüye kullanıldığında, web sitesi sahipleri Zyte yerine proxy sağlayıcılarına başvuracaktır.

Tüm satıcılar üçüncü şahısların veya müşterilerinin kendilerine ulaşabilmesi için çeşitli yollar sunarken, bu yolların olması sorun çözümü için önemlidir:

• Kamuya yönelik istismar politikası
• Suistimal bildirimleri için özel bir e-posta adresi.
• Gazetecilerin şirketle iletişime geçmesini sağlayan alternatif bir iletişim yöntemi (örneğin web formu veya mesajlaşma arayüzü). E-postaların filtrelenebileceği ve gelen kutusuna ulaşamayabileceği göz önüne alındığında bu faydalıdır.
• Mesajlara yanıt verme

Karşılaştırma testinde (Bright Data) yer alan 3 sağlayıcı, kötüye kullanımı bildirmek için bir e-posta adresi sağladı. Bu sağlayıcıların tümü ayrıca bu alandaki politikalarını da özetledi.

Diğer tüm sağlayıcıların da aynı şeyi yapmasını ve bunun kısa vadede sektörde yaygın bir uygulama haline gelmesini bekliyoruz.

Son olarak, üçüncü taraf alan adlarından (yani AIMultiple dışı) gelen kötüye kullanım raporlarını e-posta yoluyla göndererek ve yanıt sürelerini ölçerek kötüye kullanım yönetimi yanıt verme hızını değerlendirdik. Kötüye kullanım e-posta adresi bulamadığımız durumlarda, genel iletişim formuna gönderdik. Bunu, şu tarihlerde gönderilen 3 e-posta grubu aracılığıyla test ettik:

• 2 Mayıs 2025 Cuma, şuradan:
  • Aylık yaklaşık 30.000 trafiğe sahip bir bilet satış hizmeti.
  • Aylık yaklaşık 1000 ziyaretçisi olan bir hukuk firması
• Bilet satış hizmetinden 17 Mayıs 2025 tarihinde.
• 24 Mayıs 2025, sınırlı çevrimiçi trafiğe sahip bir sosyal medya ajansından.

2 Mayıs 2025'te gönderilen ilk e-postalar, özel e-posta adresleri sağlayan şirketlere gönderildi. Daha sonra listemizi genişlettik ve tüm karşılaştırmalı web veri toplama hizmetlerinin iletişim bölümlerinde listelenen daha genel e-posta adreslerini de dahil ettik. Bir şirket e-postalarımıza yanıt verirse, onlara daha fazla e-posta göndermeyi durdurduk.

E-postalarımızda, web sitelerimizin proxy'ler aracılığıyla şüpheli bot trafiği aldığını belirtmiş ve proxy'lerin kaynağını belirleme konusunda desteklerini istemiştik. Bir tanesi hariç tüm uyumluluk ekiplerinden yanıt alabildik. Yanıtların neredeyse tamamı aynı gün içinde alındı.

Kullanım şeffaflığı

Web verisi ve web toplama hizmetleri sağlayan web sitesi sahipleri, geçmişte veri toplama faaliyetleri hakkında herhangi bir veri alışverişinde bulunmamışlardır. Tarama faaliyetlerini sınırlamak için web sitesi sahipleri şunları yapabilir:

• Suistimali bildirmek için web veri toplama hizmetleriyle iletişime geçin.
• Tarama işlemlerini daha zorlu hale getirmek için Cloudflare gibi bot yönetim sağlayıcılarıyla çalışın.

Şimdi, bu taraflar arasında daha yapılandırılmış veri alışverişi için girişimler var. Bright Data, web yöneticilerinin web sitelerindeki tarama faaliyetlerini izlemeleri için Bright Data Web Yöneticisi Konsolunu başlattı. Daha fazla şeffaflık, web veri toplama uygulamalarını iyileştirecektir.

Webmaster konsolu ile ilgili deneyimimiz

Alan adımızın sahipliğini doğrulayarak ve alan adına collectors.txt dosyasını ekleyerek kaydımızı gerçekleştirdik.

Artık web sitemizdeki Bright Data numaralı botun faaliyetlerine erişebiliyoruz:

Kriter: Etik tedarik

* Bu üçüncü taraf platformlardaki yorumlar dahil edilmiştir: Amazon Appstore, App Store, Play Store, Trustpilot. Kolaylık sağlamak amacıyla, bu değer, web sitelerinde yer alan 120 uygulamanın tamamı için değil, 5 büyük uygulama için hesaplanmıştır.

Ortak şeffaflığı

Web veri altyapısı şirketlerinin ihtiyaç duyduğu bant genişliği, internet bağlantısını paylaşma izni karşılığında (örneğin ödemeler, reklamları atlama özelliği gibi) avantajlar sağlayarak etik bir şekilde temin edilebilir. Ancak, perakende kullanıcıların sistemlerine yetkisiz erişim sağlamak ve bağlantılarını satmak da mümkündür.

Web veri altyapısı sağlayıcıları, internet bağlantılarını nasıl edindiklerine dair şeffaflık yaratmak için politikalar ve süreçler oluşturabilir, harici denetimler gerçekleştirebilir ve yaklaşımlarını ve denetim bulgularını yayınlayabilirler. Bu, hizmetlerinin etik bir şekilde sağlanmasına olan güveni artırabilir.

Web verilerinde tedarik tarafı şeffaflığı için bir çerçeve oluşturduk ve bu çerçeveyi kullanan satıcıları derecelendirdik. Bu çerçeveyi, bir web veri toplama hizmetinin konut IP adreslerini kendisi mi yoksa başka proxy'ler aracılığıyla mı edindiğine bakılmaksızın uyguladık. Amacımız, etik olmayan uygulamaların tedarik zincirinin herhangi bir noktasında ortaya çıkabileceği göz önüne alındığında, IP adreslerinin tüm tedarik zincirine şeffaflık getirmektir.

Detaylı sonuçlarımızı burada bulabilirsiniz:

Bright Data

Bright Data, yayınladıkları için Seviye 5 olarak sınıflandırılmıştır.

• Tedarik yaklaşımları ve uygulama geliştiricilerinin SDK'ları aracılığıyla onlarla nasıl çalışabileceği. ^{13 14}
• 120 tedarikçiye ait detaylar kamuoyuyla paylaşıldı. Bu tedarikçilerin ne kadar popüler olduklarını tahmin etmek için üçüncü taraf platformlardaki yorumlarını inceleyebiliriz. ¹⁵

Seçilen uygulamaların incelemesi

Bright Data, web sitesinde 120 uygulamayı paylaşıyor. Bright VPN gibi uygulamalar, şeffaflık ve kullanıcı deneyimi açısından üçüncü taraflarca onaylanmıştır. ¹⁶ Ayrıca, bunları daha ayrıntılı incelemek için bu uygulamaları da indirdik:

• Bright VPN
• EarnApp
• Sling Kong

Kişisel olarak tanımlanabilir verilerin toplanmaması yükümlülüğünü içeren onay formu: Bright VPN'den net açıklamalar içeren onay formu:

Para Kazanma Uygulaması:

Sling Kong:

• Kullanıcıya oyun sırasında şu teklif sunulur:

• Katılım seçeneği:

• Katılım sırasında ek bilgiler:

• Vazgeçmek:

Uygulamaların sağladığı değer:

• Bright VPN: Ücretsiz VPN hizmeti
• EarnApp: Ödemeler
• Sling Kong: Oyun içi sanal para birimi

Diğerleri

Çoğu sağlayıcı web kazıma konusunda etik kuralların farkındadır ve bu konuda yayınlar yapmıştır (örneğin). ¹⁷ , Zyte hariç, bu cephedeki özel taahhütlerini tespit edemedik. ¹⁸

Bunun değişmesini ve çoğu sağlayıcının kısa vadede en az Seviye 1'e geçmesini bekliyoruz.

Dış sertifikasyon

* Şirketin bu kategorideki tüm harici sertifikaları aldığını gösterir.

Tedarikçilerin, müşterilerinin verilerini korumak ve fikri mülkiyet haklarını sağlayan uygulamaları güvence altına almak için doğru sistemlere, personele ve süreçlere sahip olmaları çok önemlidir. Puanlama yöntemimizin ardındaki mantığı görmek için harici sertifikasyon ölçüm metodolojimize bakın.

GDPR ve CCPA uyumluluğu

Tüm satıcılar, veri gizliliği düzenlemelerinin her ikisine de uyduklarını kamuoyuna açıkça belirtmektedir. Bu nedenle, bu durum puanlamaya dahil edilmemiştir.

Organizasyonel olgunluk düzeylerini nasıl ölçtük?

Bu alanda tespit ettiğimiz yeteneklere dayanarak, her bir sağlayıcının kamuya açık açıklamalarını kullanarak bu sertifikaların varlığını kontrol ettik:

• Veri güvenliği sertifikası ve kişisel verilerin korunmasına yönelik sertifika: ^{19 20 21 22 23}
• IP kaynağı beyaz listeye alındı: ²⁴
• Değerlendirilen etik uygulamalar: ²⁵

ISO 27018 sertifikasına sahip olmayan bazı sağlayıcılar, ISO 27018 sertifikasına sahip bulut hizmeti sağlayıcılarını kullandıkları için sertifikalı olarak kabul edilmeleri gerektiğini iddia ettiler. Siber güvenlik danışmanımızın görüşüne göre, bu durum sertifika edinmeyi kolaylaştıracak olsa da, sertifikayı alabilmek için politikalarının ve kontrollerinin de onaylanması gerekecektir.

Sigorta kapsamı

3 web veri toplama şirketi sigorta sertifikalarını paylaştı. Sertifikaları yayınlamıyoruz, ancak belgelerin doğruluğunu sağlamak için inceleme yaptık.

• Bu iki sigorta kategorisini kapsadılar.
• Her kategorideki sigorta limiti en az milyonlarca ABD doları düzeyindedir.

Yasal Uyarılar ve Sonraki Adımlar İçin Öneriler

Bu karşılaştırmada yer alan sağlayıcıların Nimble hariç tümü AIMultiple müşterisidir. Her zaman olduğu gibi, bu araştırma sırasında etik yükümlülüklerimize bağlı kaldık.

Etik web veri toplama konusunda kapsamlı bir inceleme tamamladık ve bu kıyaslamanın kapsamından memnun olsak da, katılımcı sayısını artırmayı çok isteriz. Sigorta kapsamlarını paylaşan şu şirketlere teşekkür ederiz: Apify, Bright Data, Zyte.

NetNut'tan (Nimble) yanıt bekliyoruz. Onlardan daha fazla bilgi aldığımız anda raporu güncelleyeceğiz. 2 tedarikçi bu kıyaslama çalışmasına katılmamayı tercih etti. Bu 7 şirketten herhangi biri, gerçeklere dayalı, tüm tedarikçiler için adil ve işletmelerin daha iyi kararlar almasına yardımcı olacak değişiklikler önerirse, bu raporu her zaman güncelliyoruz.

Araştırmamıza göre bu, etik web verilerine odaklanan ilk rapordur. Bu şeffaflığın, web veri endüstrisinin karşılaştığı zorluklara yaratıcı çözümler bulmasına yardımcı olacağını umuyoruz. Bu çözümler, web veri toplayıcılarının, web otomasyon kullanıcılarının, web sitesi sahiplerinin ve IP adreslerini endüstriye sağlayan bireysel kullanıcıların çıkarlarını dengelemelidir.

Referanslar

Referans Linkleri

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Google faces questions over videos on YouTube

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

7.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

8.

A Look at the Residential Proxy Market | Intel 471

Website

9.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

10.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

11.

Subscribe to read

Financial Times

12.

https://edition.cnn.com/robots.txt

13.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

14.

homepage - Bright SDK

Bright SDK

15.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

16.

Bright VPN Compliance with guidelines - Google Sheets

17.

What is ethical scraping and how do you do it?

Apify Blog

18.

Web Scraping Data Compliance | Zyte

19.

Page not found - Bright Data

Bright Data

20.

Security | Platform | Apify Documentation

21.

https://netnut.com/wp-content/uploads/2024/01/NetNut-ISO.pdf

22.

Nimble Trust Center | Security, Compliance & Reliability

23.

Trust Center | Zyte

24.

Bright SDK Compliance with Guidelines - Google Sheets

25.

pwc-report - Bright Data

Bright Data

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder