Etik ve Uyumlu Web Verisi Karşılaştırması

Kuruluşlar web veri operasyonlarını ölçeklendirirken, uyum, veri ve risk yöneticileri giderek daha fazla ilişkili etik, itibari ve yasal riskleri değerlendiriyor.

Önde gelen 5 web veri toplama hizmetini 3 boyutta karşılaştırdık ve her hizmeti 20'den fazla potansiyel olarak etik dışı senaryoyla test ettik.

Çalışmamız, veri toplama uygulamalarınızın etik durumunu değerlendirmenize ve etik olmayan yaklaşımların potansiyel sonuçlarını anlamanıza yardımcı olur. Ayrıca etik web veri toplama için kılavuzlar sunuyor ve web veri toplama hizmetlerini etik ve uyum açısından değerlendiriyoruz:

Web veri toplama hizmetlerinin değerlendirilmesi

Web veri toplama hizmetlerini (web veri sağlayıcıları veya web veri altyapısı olarak da adlandırılır) etik web verisi kontrol listemizi kullanarak değerlendirdik. Bu puanlar olgunluk seviyelerini temsil eder, 5 en yüksek seviyedir:

* Bunlar satıcı adları için kodlardır. Bu satıcılar bu raporda yer almak istemedi ve bu sorunu çözene kadar listenin en altında listeleniyorlar.

** ✅ şirketin sigorta sertifikalarını AIMultiple ile paylaşmayı seçtiğini gösterir. ❌ şirketin sigorta sertifikalarını bizimle paylaşmamaya karar verdiğini ve bu nedenle sigorta kapsamını doğrulayamadığımızı gösterir. Sigorta kapsamı, değerlendirmek için web veri hizmetleri şirketlerinin katılımına güvendiğimiz tek kategoridir.

Sıralandı özet puana göre.

Etik web verisi için puanlama modeli

Aşağıda, bu puanların nasıl elde edildiğini özetliyoruz. Ayrıca bu puanlama boyutlarını seçme gerekçesini de görebilirsiniz.

İlk 2 kategoride 5 yeterlilik belirledik ve şirketler karşıladıkları yeterlilik sayısına göre puan aldı. Seviye 5, piyasada gözlemlenen en yüksek olgunluğu temsil eder, mükemmelliği değil, mevcut en iyi uygulamaları yansıtır.

Müşteriler tarafından etik kullanım için yetenekler

• Etkili süreçler etik kullanım için: Her sağlayıcının konut proxy hizmetlerinin etik dışı kullanımını kontrollü test senaryolarıyla önleme yeteneğini değerlendiriyoruz. Taleplerimizden herhangi biri sağlayıcı tarafından engellenirse, bu başarılmış olur.
• İyileştirilmiş süreçler etik kullanım için: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetenek, hizmet sağlayıcının etik dışı kullanım durumları için hizmetlerini kullanma girişimlerimizden birden fazlasını engellediğini gösterir.
• En iyi uygulama süreçleri etik kullanım için: “Etik kullanım için etkili süreçler”e benzer. Ancak bu yetenek, hizmet sağlayıcının etik dışı kullanım durumları için hizmetlerini kullanma girişimlerimizin çoğunu engellediğini gösterir.
• Kötüye kullanım yönetimi temeli: Kötüye kullanım yönetim politikası ve kötüye kullanımı bildirme yöntemi yayınlama
• Duyarlı kötüye kullanım yönetimi: Şirketlerin birden fazla kötüye kullanım bildirimine nasıl yanıt verdiğini ölçtük. Kötüye kullanımı bildirmek için bir yardım hattı olmasa bile, şirketin listelediği e-posta adreslerini kullanarak ekiplerine ulaştık. Bildirimize bir hafta içinde yanıt alamazsak, şirketin yanıt vermediği varsayıldı.

Etik tedarik için yetenekler

Etik tedarik, IP adreslerinin etik bir şekilde edinilmesini içerir. Pazar analizimiz, etik IP tedarikiyle ilgili aşağıdaki şeffaflık seviyelerini belirledi:

• Seviye 1: Yayınlanmış IP tedarik politikası.
• Seviye 2: Etik bir şekilde IP sağlayan en az bir kaynak (ör. bir mobil uygulama) açıklandı. Açıklanan kaynağın, Google, Apple, Amazon uygulama mağazaları ve Trustpilot dahil olmak üzere üçüncü taraf platformlarda toplamda en az 10k incelemeye sahip olması gerekir.
• Seviye 3: Seviye 3 ile aynı ancak 100k inceleme ile
• Seviye 4: Seviye 3 ile aynı ancak 1M inceleme ile
• Seviye 5: Seviye 4 ile aynı ancak 10M inceleme ile

İncelemeler, uygulamaların popülerliğinin bir göstergesidir ve bu değerlendirme için önemli bir sinyaldir. Web veri toplama hizmetlerinin, müşterilerinin IP ihtiyaçlarını karşılayabilmesi için popüler uygulamalarla çalışması gerekir.

Yeterlilik için, açıklanan uygulamaların bu en iyi uygulamaları takip etmesi gerekir. Bunu her açıklanan uygulama için kontrol etmeyeceğiz, ancak rastgele seçilen birkaçı için kontrol edeceğiz:

• Bilgilendirilmiş onay:
  • Kullanıcıların internet bağlantılarını paylaşmadan önce etkinleştirme yapması gerekir. Etkinleştirme ekranı şunları belirtmelidir:
    • Sağlayıcı
    • Hizmet
    • IP'lerinin nasıl kullanılacağı
  • Kullanıcılar şu konularda ayrıntılı bilgiye erişebilmelidir:
    • İnternet bağlantılarının nasıl kullanılacağı
    • Gizlilik politikası
• Değer: Kullanıcılar uygulamadan bir değer almalıdır (ör. ödeme, reklamları atlama yeteneği veya başka bir işlevsellik)
• Gizlilik: Sınırlı ve şeffaf kullanıcı verisi toplama.

Konut proxy ağları için, alıcılar ayrıca onayın belirli, bilgilendirilmiş, geri alınabilir ve ilgisiz uygulama izinlerinden ayrılmış olup olmadığını doğrulamalıdır. Kullanıcıların kolayca çıkıp çıkamayacağını, bant genişliği kullanımının sınırlandırılıp sınırlandırılmadığını, küçüklerin hariç tutulup tutulmadığını ve sağlayıcının konut IP'leri sağlayan uygulamaları veya SDK'ları denetleyip denetlemediğini sormalıdırlar.

Dış sertifikasyon

Şirketlerin kurumsal düzeyde güvenlik ve uyumla ilgili bu sertifikaları alıp almadığına dayanarak dış sertifikasyonu değerlendirdik.

• PII sertifikası: ISO 27018 alarak PII yönetme yeteneği gösterilmiş
• Veri güvenliği sertifikası: Şu sertifikalardan birini alarak veri güvenliği uygulamaları gösterilmiş: SOC 2 veya ISO/IEC 27001
• IP kaynağı beyaz listeye alındı: McAfee gibi dış sertifika sağlayıcıları şunları onaylar:
  • IP sağlayan belirli 3rd taraf uygulamalar
  • 3rd taraf uygulamalardan IP toplayan SDK
• Etik uygulamalar değerlendirildi: İç uyumluluk ve etik uygulamalarını değerlendirmek için bir ISAE 3000 güvence projesi tamamlanabilir.

Sigorta

Satıcılardan bize aşağıdaki sigorta belgelerini sağlamalarını istedik:

• Mesleki sorumluluk sigortası hizmetteki sorunlar durumunda satıcıların sorumlulukları için teminat sağlayan sertifika
• Siber sigorta sertifikası bilgi güvenliğiyle ilgili sorunlar durumunda satıcıların sorumlulukları için teminat sağlayan sertifika

Özet puan

Bu puan, tüm puanların toplamının 3'e bölünmesidir. Puanlar şunlardır:

• Müşteriler tarafından etik kullanım yetenekleri için 0 ila 5
• Etik tedarik yetenekleri için 0 ila 5
• Dış sertifikasyon için 0 ila 3
• Sigortalar için 0 ila 2

Önde gelen web veri toplama hizmetleri

AIMultiple, LinkedIn'deki çalışan sayısı açısından en büyük 7 web veri toplama hizmetini seçti. Bu ölçütü seçtik çünkü hem kamusaldır hem de şirketin gelirleri ve kurumsal hazırlığıyla ilişkili olmalıdır. Gelirler veya bordrodaki çalışan sayısı gibi daha iyi ölçütler bu özel şirketler için kamuya açık değildir.

Seçilen tüm şirketlerin Nisan 2025'te LinkedIn profil sayfalarına bağlı 100'den fazla çalışanı vardı. Şu anda seçilen 7 şirketten 5'i bu sayfada gösteriliyor ve kalan 2 şirket rapora dahil edilmemeyi seçti.

Odaktaki web veri toplama ürünleri

Bu şirketler, proxy'ler, veri kazıma API'leri ve veri kümeleri dahil olmak üzere bir dizi ürün sunar. Tüm ürünler etik bir perspektiften incelenebilirken, başlangıçta en yüksek esneklik seviyesini sağlayan ve diğer birçok ürüne güç veren ürüne odaklandık: Konut proxy'leri.

Web veri toplama ürünleri, proxy'lerin diğer tüm hizmetlerin üzerine inşa edildiği temel katmanı oluşturduğu bir hiyerarşi olarak düşünülebilir. Bunun nedeni, proxy'lerin makinelerin farklı hedefler üzerinden internete erişmesine izin vermesi, veri toplama için hayati önem taşıyan çeşitli ve büyük bir internet bağlantıları kümesine olanak tanımasıdır. Bu nedenle, proxy'ler en yetenekli web veri toplama ürünüdür; veri kümeleri veya veri kazıma API'leriyle mümkün olmayan işlevleri yerine getirmek için kullanılabilir.

Proxy'ler arasında, konut proxy'leri web sitelerinin proxy olarak tanımlaması en zor olan üründür. Örneğin, veri merkezi proxy'leri gibi diğer proxy'ler, konumları nedeniyle kolayca tanımlanabilir. Bu nedenle, konut proxy'leri veri kazıma API'leri gibi diğer web veri ürünlerinin çoğuna güç verir.

Doğrulayın: Web veri toplamanız uyumlu ve etik mi?

İşletmeniz büyük olasılıkla web verilerinden yararlanıyordur. Ancak sektör sınırlı bir düzenlemeyle karşı karşıyadır ve bu da etik ve uyumlu bir sağlayıcı seçmeyi önemli kılar. Bunu başarmak için, etik tedarik, etik kullanım ve dış sertifikasyon dahil olmak üzere web veri toplamanın farklı yönlerini dikkate alan bütünsel bir çerçeve hazırladık.

Web verisi yaygın bir operasyonel varlıktır

Bir kuruluş olarak, işletmeniz aşağıdakiler gibi sayısız kullanım durumu nedeniyle kısmen web verilerine güvenir:

• Perakende ve e-ticaret için dinamik fiyatlandırma
• Yatırım fonları için gerçek zamanlı alternatif veri
• Ticari bankacılıkta KYC süreci
• Yapay zeka modeli eğitimi veya ince ayar
• Yapay zeka çıkarımı veya RAG
• Pazar araştırması

Yapay zeka ile web verisi artık daha önemli

Web veri toplama web kadar eski olsa da, üretken yapay zeka modellerinin yükselişinden sonra önemi büyük ölçüde arttı. OpenAI ve Anthropic gibi bu modellerin inşacıları, önemli içerik ortaklıkları olmadan başladı ve ilk modellerini oluşturmak için esas olarak çevrimiçi verileri kullandı, bu da trilyon dolarlık yapay zeka endüstrisinin yükselişine yol açtı.

Sınırlı düzenleyici gözetim

Yapay zeka düzenlemesi spotlight altında olsa da, veri toplama endüstrisi çoğu ülkede büyük ölçüde düzenlenmemiş olarak kalmaktadır. Açık yasa dışı çevrimiçi faaliyetler iyi tanımlanmıştır. Ancak, sektör oyuncularının hizmetlerinin kullanıcılar tarafından kötüye kullanılmasını proaktif olarak önlemeleri için sınırlı düzenleyici gereklilikler vardır.

Etik veri toplama ve proxy kullanımını sağlamak için en iyi uygulamaları ve uyum standartlarını belirlemek platformların kendilerine kalmıştır. Bu nedenle, her hizmet sağlayıcının çok sayıda düzenlemeye uyması gereken bankacılık gibi yoğun olarak düzenlenmiş sektörlere kıyasla, veri toplamada satıcı seçiminiz daha önemlidir.

Tedarikçilerinizin etik duruşu, şirketinizin itibarının bir parçasıdır

Veriyi toplasanız da tüketiyor olsanız da, edinim sürecinden siz sorumlusunuz.

Kuruluşların tedarik zincirindeki yasa dışı faaliyetlerden sorumluluğu, yargı yetkisine bağlıdır. Örneğin Almanya'da kuruluşlar, tedarik zincirlerinin neden olduğu zararları belirlemek ve önlemek için KYS ve risk yönetimi faaliyetleri yürütmekle yükümlüdür. Şirketler tedarik zincirlerinin neden olduğu zararlardan sorumlu olmasalar bile, itibar riski yaşayabilirler.

Etik olmayan ve uyumsuz veri toplamanın maliyeti nedir?

İtibar riski

Bir kuruluşun, etik dışı davranışlarda bulunan veya veri güvenliğini tehlikeye atan eylemlerde bulunan bir web veri toplama hizmetinden yararlandığı kamuoyuna açıklanırsa, bu, kaybedilen iş, müşteri kaybı, yetenek kaybı ve yatırımcı güveninin kaybı gibi önemli itibar hasarına yol açabilir.

Kurumsal tedarikçilerin itibar kaybına yol açmasının gerçek hayattan örnekleri:

• Nike, tedarikçilerinin etik olmayan iş uygulamaları nedeniyle defalarca itibar hasarına uğradı.¹
• EY gibi birçok kuruluş, MOVEit yönetilen dosya transfer yazılımı ihlalinden etkilendiklerinde müşterilerinin güvenini kaybetti. ²

Yasal risk

İtibar kaybı, özellikle kamuoyunda öfkeye yol açanlar, tipik olarak şirketin müşterileri veya etik olmayan uygulamalardan zarar gören diğer paydaşlar tarafından açılan davalarla takip edilir.

Gerçek hayattan örnek: Starbucks, etik olmayan uygulamalara sahip şirketlerden tedarik yaptığı için dava edilen son markalardan biridir.³

Etik web verisi kontrol listesi

Kurumsal web verisinin etik olması için 3 şartı karşılaması gerekir:

Müşteriler tarafından etik kullanım

Kuruluşlar, Tedarikçini Tanı süreçlerinin bir parçası olarak, etik olmayan faaliyetleri mümkün kılan hizmetleri kullanmaktan kaçınır. Bu tür hizmetleri kullanmak, işletmeleri itibar zararına maruz bırakır.

Gerçek dünyadan örnek: Bir sağlayıcının platformunun etik olmayan faaliyetlerde kullanılmasına izin verdiği belgelendiğinde, çok sayıda kuruluş, uygulamalarını iyileştirene kadar sağlayıcıdan uzaklaştı.⁴

Bu web verisiyle nasıl ilişkilidir: Web verisi farklı IP adresleri aracılığıyla toplanır. Bu adresler, dijital hizmet sunumunu engellemek için DDOS saldırıları, yetkisiz halka açık olmayan veri toplama veya reklam dolandırıcılığı gibi farklı yasa dışı faaliyetlerde bulunmak için kullanılabilir. Kötü aktörlerin eylemlerini güçlendirmek için IP'lere ihtiyacı vardır ve web veri altyapısı/proxy sağlayıcıları, perakende kullanıcılara en büyük IP tedarikçileridir.

Etik tedarik

Etik amaçlarla kullanılan hizmetler, üretimleri sırasında etik olmayan ve zararlı eylemlere neden olabilir. Örneğin, Nike ve Nestle gibi markalar, yüklenicilerinin çocuk işçi kullanması nedeniyle itibar hasarına uğradı ve davalarla karşı karşıya kaldı.

Bu web verisiyle nasıl ilişkilidir:

İşletmelerin hızlı ve küresel veri toplama için çok sayıda ve çeşitli bant genişliği kaynağına erişmesi gerekir. Bu, konut proxy'lerinin kullanılmasını gerektirir: Kamuya açık verileri toplamak birçok koşulda yasal olsa da, ⁵ web siteleri bazı ziyaretçilerini engellemeyi de seçebilir. Örneğin, rakiplerinin tarayıcılarını engelleyebilirler. Bu gibi durumlarda, işletmelerin web verisi toplamak için perakende kullanıcılardan veya diğer 3rd taraflardan gelen çok sayıda bağlantıya güvenmesi gerekir.

Proxy sağlayıcıları, çeşitli kaynaklardan milyonlarca internet bağlantısı toplar ve bunları, IP adreslerini kullanarak bu bağlantılara erişen işletmelere sağlar. Bu IP'lerin bazıları konut kullanıcılarının cihazlarından kaynaklanır. Bu bağlantıları toplamak yasal veya yasa dışı olabilir:

• Yasal: Yasal olarak uyumlu uygulamalar, bilgilendirilmiş kullanıcı onayı almayı, tazminat sağlamayı ve yerel düzenlemelere uygun olarak çıkış mekanizmaları sunmayı içerir. Web veri sağlayıcısı şunları yapmalıdır:
  • Kullanıcıları bant genişliklerinin nasıl kullanılacağı konusunda bilgilendirin
  • Dijital olarak onaylarını alın
  • Karşılığında onları tazmin edin
  • İstedikleri zaman çıkış yapmalarına izin verin
• Yasa dışı: Kötü aktörler, kullanıcıların cihazlarına erişebilir ve izinsiz veya tazminatsız olarak internet bağlantılarını kullanabilir. Bu, kötü amaçlı yazılım uygulamaları, ele geçirilmiş cihazlar, maskelenmiş kurulumlar, otomatik etkinleştirme ve cihaz sahibini riske atabilecek diğer yöntemlerle gerçekleşebilir.

Yasa dışı olarak elde edilmiş proxy'leri kullanan işletmeler, farkında olmadan cihazlara yetkisiz erişim için kötü aktörlere ödeme yapabilir.

Gerçek hayattan örnekler:

• Borsada listelenen konut proxy sağlayıcılarının, kullanıcı onayı olmadan cihaz bağlantılarını kullanan SDK'larla altyapılarını paylaştığı belgelenmiştir.^{6 7}
• Yönlendiriciler ve IoT cihazları botnet operasyonları için ele geçirilmiş ve konut proxy'leri olarak satılmıştır.^{8 9}
• Bazı proxy sağlayıcıları hizmetlerini kötü aktörlerin uğradığı forumlarda tanıtır. Bu IP'lerin yasa dışı olarak elde edilmiş olma olasılığı yüksektir.¹⁰
• Google Play Store'daki VPN uygulamaları da kullanıcı onayı olmadan konut IP'leri edinmek için kullanılmıştır.¹¹

Bu operasyonlar kapatılmış olsa da, kötü aktörlerin botnet'ler ve ele geçirilmiş veya kötü amaçlı uygulamalar aracılığıyla hala izinsiz olarak konut IP'lerine erişiyor olması muhtemeldir.

Dış sertifikasyon

Kurumsal alıcıların güvenli, kurumsal düzeyde hazır çözümlere ihtiyacı vardır. Dış sertifikasyon yoluyla belgelenebilecek olgun bir web veri organizasyonu için bileşenleri belirledik:

Veri güvenliği

Tedarikçilerin sistemlerinde veri güvenliğinin olmaması, bir kuruluşun rekabet avantajını aşındırabilir veya veri kaybına ve sistem çöküşüne yol açabilir. Sistem işlevselliğinin kaybı, güveni aşındırabilir ve bir kuruluşun değer kaybetmesine neden olabilir.

Sistem izinsiz girişi

Veri toplama hizmetleri, bir kuruluşun sistemlerine temel dijital hizmetler (ör. CRM gibi bir kayıt sistemi) kadar derinlemesine entegre değildir. Bu nedenle, güvenlik kimlik bilgileri bir kayıt sistemi gibi temel bir sistemin kimlik bilgileri kadar kapsamlı bir şekilde incelenmez. Ancak, veri güvenliği veri toplama hizmetlerinin müşterileri için kritik öneme sahiptir, çünkü bu hizmetler:

• Bazen fiyatlandırma motorları gibi daha merkezi sistemlere entegre edilir.
• Bu tür sistemlere entegre olmasalar bile kurumsal sistemlere bulaşabilir. Bir veri toplama hizmeti kullanmak, o hizmetten veri almayı içerir. En güvenli veri aktarım biçimlerinden bazıları bile riskler içerir.

Sistem izinsiz girişi, saldırganların bir proxy hizmetine konut IP'leri sağlayan cihazları hedef almasına da yol açabilir. Bu, o proxy hizmetlerinin müşterileri için itibar hasarına neden olabilir.

Bir konut proxy sağlayıcısındaki gerçek hayattan güvenlik açığı örneği:

Kimwolf botnet'inin operatörleri, konut proxy sağlayıcısı IPIDEA'dan proxy hizmetleri satın aldı. Kötü amaçlı komutlar kullanarak, IPIDEA'ya IP sağlayan cihazların dahili ağlarına bulaştırdılar. Bu ağlar daha sonra tarandı ve bu yerel ağlardaki diğer savunmasız cihazlara da bulaşıldı.

Kimwolf'un bu yöntemle 2 milyondan fazla cihaza yayıldığı tahmin edilmektedir. IPIDEA'nın müşterileri tarafından toplanan veriler de bu enfekte ağlar üzerinden aktı.¹²

Veri kaybı

Veri güvenliği olmadan, kötü aktörler kuruluşlar tarafından toplanan verilere erişerek faaliyetlerini ve stratejilerini belirleyebilir ve bu da rekabet avantajı veya iş fırsatlarının kaybına yol açabilir.

Gerçek hayattan örnek:

Web verileri kamuya açık olsa da, işletmeler rekabet avantajı için web verilerini yeni şekillerde kullanabilir. Örneğin, yatırımcılar piyasa veri bütçelerinin %10'unu alternatif verilere harcar¹³ , ancak rakiplerine kıyasla avantaj elde etmelerine yardımcı olabileceğine inandıkları için stratejilerini nadiren açıklarlar. Bir veri sızıntısı, stratejilerinin açığa çıkmasına ve dolayısıyla rakipleri tarafından kopyalanmasına yol açabilir.

PII yönetimi

Web verileri, giriş arkasındaki özel verileri veya kamuya açık web sitelerinde yanlışlıkla veya kasıtlı olarak ifşa edilebilecek PII'leri içerir. Web veri toplama hizmetleri PII'yi doğru şekilde yönetmezse, bu tür veriler kötü aktörler tarafından ele geçirilebilir. Bu, web veri toplama hizmeti ve müşterileri için itibar hasarına yol açabilir.

Uygulama güvenliği

Web veri toplama hizmetlerinin IP'lerini sağlayan uygulamalar veya SDK'lar gibi ara programlar, McAfee gibi dış sertifika sağlayıcıları tarafından beyaz listeye alınabilir. Bu, kuruluşun web veri toplama hizmetinin etik tedarik uygulamalarına olan güvenini artırır.

Sigorta kapsamı

Kuruluşlar tipik olarak herhangi bir dijital sağlayıcıdan bu sigortaları talep eder:

• Mesleki sorumluluk sigortası
• Siber sigorta sertifikası

Ayrıntılı karşılaştırma: Web veri altyapı sağlayıcılarının değerlendirilmesi

Karşılaştırma: Müşteriler tarafından etik kullanım

Burada şu soruyu yanıtlamayı hedefliyoruz: Şirket, çözümünün kullanımının etik ve geçerli yasa ve düzenlemelere uygun olmasını sağlıyor mu? Bulgularımızın özeti:

* Geçerli değil: Zyte ve Apify proxy'leri tedarikçilerinden satın aldığından ve doğrudan konut kullanıcılarından toplamadıklarından, web sitesi sahipleri kötüye kullanım konusunda onlara ulaşamaz ve bu nedenle web siteleri için bir iletişim formu oluşturmaları gerekmez.

İlk olarak, politikaları inceledik:

Kabul edilebilir kullanım politikası incelemesi

Tüm satıcılar yasa dışı faaliyetleri yasaklar ve DoS saldırıları, istenmeyen toplu mesajlar, kimliğe bürünme veya spoofing gibi örnekler sunar.

Ayrıca, bazı satıcılar yasa dışı olma olasılığı yüksek faaliyetleri de yasakladıklarını vurgular. Aşağıda, her satıcı için kabul edilebilir kullanım politikalarına ve eklerine (ör. veri işleme eki) dayalı olarak yasaklanan faaliyetleri listeliyoruz.

Yasa dışı olma olasılığı yüksek ve kullanıcı etkinliğine dayalı olarak tanımlanabilen faaliyetleri yasaklayacak terimler aradık. Örneğin, ücretli anketlere katılmak için proxy kullanan kullanıcıların önemli bir kısmı, gerçek konumları hakkında anket sağlayıcılarını yanıltmak için proxy kullanıyor olabilir. Bu nedenle, bu faaliyet hem yasa dışı olma olasılığı yüksektir hem de kullanıcı etkinliğine dayalı olarak (yani bir kullanıcı ücretli bir anket web sitesine giriş yaptığında) tanımlanabilir.

Yasaklanan faaliyetleri açıkça belirlemek faydalı olsa da, bu bir gereklilik değildir ve puanlarımızı etkilemez. Şirketler, yasa dışı faaliyetlerin her olası örneğini belirtmektense, yasa dışı faaliyetlere izin vermediklerini belirtmeyi seçebilirler.

Bir faaliyetin yasak olarak belirtilmesi, bu tür faaliyetlerin inceleneceği veya engelleneceği anlamına gelmez. Puanlarımız, aşağıda özetlendiği gibi bu politikaların nasıl uygulandığına dayanır:

Etik kullanım için süreçler

Kabul edilebilir kullanım politikalarında belirtilen bazı kategoriler oldukça geniş olsa da (ör. yetkisiz veri kazıma veya erişim), diğerleri, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için uygulayabileceği önleyici eylemlere (ör. erişimi engelleme) dönüştürülebilecek kadar spesifiktir.

Bu belirli yasaklanmış kullanımlara dayanarak, proxy'lerin yasa dışı kullanımı olma olasılığı yüksek olan kapsamlı bir kullanım listesi hazırladık. Her kullanım durumu için, ilgili web alan adları ve eylemleri içeren senaryolar belirledik. Örneğin, yapay sosyal medya etkileşimi senaryosunda, mevcut bir gönderiyi beğenmek için bir proxy kullanarak bir sosyal ağa giriş yapmayı denedik.

Ardından, şirketlerin müşteriler tarafından etik olmayan kullanıma izin verip vermediğini test etmek için, AIMultiple olmayan bir e-posta adresi kullanarak her sağlayıcının hizmetinde bir hesap oluşturduk. Bu hesapla bir KYC süreci tamamlamadık ve anonim kullanıcıların her hizmetle neler başarabileceğini anlamak için hizmetleri kullanmaya devam ettik. KYC, kullanıcının temsil ettiği tüzel kişiliği doğrulamak için veri gönderdiği önemli bir adımdır. Bu, kullanıcı faaliyetini bir tüzel kişiliğe bağlar:

• Sorumlu tutulabilecek.
• Çevrimiçi eylemlerinin gerekçesi (ör. devlet web sitelerine giriş yapmak için proxy kullanmak) incelenebilir. Örneğin, kullanım durumlarını anladıktan sonra, bir araştırmacının veya devlet kurumunun bir proxy kullanarak bir devlet web sitesine giriş yapmasına izin verilebilir.

Bu kullanım durumlarının bir KYC sürecini tetiklemesini bekledik ancak çoğu satıcıda bu gerçekleşmedi. Onay işareti, KYC sürecini henüz tamamlamamış kullanıcılar için talebin engellendiğini gösterir:

Açıklık sağlamak için, veri toplama hizmetleri şirketlerinin bu web sitelerini engelleme konusunda yasal bir yükümlülüğü yoktur ve bu senaryoların bazıları yasal kullanımın bir parçası olabilir. Örneğin, bir araştırmacı kontrollü bir sosyal medya deneyi yürütmek için proxy'lerden yararlanmak isteyebilir. Ancak, bu senaryolardaki kötüye kullanım potansiyeli göz önüne alındığında, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için bunları engellemesini bekledik.

Markalar engelledikleri alan adlarını nasıl iletir?

• Bright Data, kabul edilebilir kullanım politikasında kısıtlı alan adı kategorilerini listeler.

Otomatik veri toplamayla ilgili web sitelerinin tercihlerine saygı gösterme

robots.txt nedir?

robots.txt, Robot Hariç Tutma Protokolü'nü uygulamak için bir dosya adıdır. Bu protokol, web siteleri tarafından, web sitesi sahibinin botların ziyaret etmemesini tercih ettiği bölümleri belirtmek için kullanılır. robots.txt'ye uyum isteğe bağlıdır.

robots.txt'ye uymanın artıları ve eksileri

➕ Web sitesi tercihlerine saygı duyar.

➖ Yakın zamanda güncellenmemiş olabilir ve bu nedenle güncelliğini yitirmiş olabilir.

➖ Genellikle, web sitesi sahibinin web sitesinin belirli herkese açık bölümlerine botlar tarafından erişilmemesini tercih ettiğini belirten terimler içerir.

robots.txt ayrıca botlara eşit olmayan erişim sağlayabilir. Örneğin, web sitesi sahipleri, yanıt motorlarının botlarının, arama motorlarının botlarının ziyaret ettiği belirli URL'leri ziyaret etmemesini tercih ettiklerini belirtebilir.

robots.txt yasal bir belge değildir ve yasal olarak:

• kazınmasına izin verilen (ör. kamuya açık veriler) veya
• kazınmasına izin verilmeyen (ör. web sitesi sahibinin Kullanım Koşulları'nın bu tür verilerin kazınmasını yasakladığı bir giriş arkasındaki veriler) sayfalar için bot erişiminin engellenmesini talep edebilir.

Web veri toplama hizmeti sağlayıcıları, konut proxy kullanıcılarının robots.txt'yi dikkate almamadan önce bir KYC sürecini tamamlamalarını ve yasal ve etik bir kullanım durumları olduğunu kanıtlamalarını isteyebilir.

Test için, robots.txt tarafından engellenmesi talep edilen alt klasörlerdeki sayfalara talepler gönderdik. Kullandığımız alan adları aimultiple.com ve en çok ziyaret edilen 100 web alan adı arasından 5 alan adıydı. Bu talepleri yalnızca Bright Data engelledi:

CNN örneği

CNN'in robots.txt'si /terms klasörünü engeller¹⁴ . Test için, konut proxy'leriyle o klasöre gittik ve Bright Data hariç tüm sağlayıcılardan sayfa verileriyle birlikte 200 mesajı aldık. Bright Data'nın yanıtı şu şekildedir: “Residential Failed (bad_endpoint): Requested site is not available for immediate residential (no KYC) access mode in accordance with robots.txt. To get full residential access for targeting this site, fill in the KYC form: https://brightdata.com/cp/kyc”.

Kötüye kullanım yönetimi

Satıcıların kötüye kullanım yönetimi uygulamalarını değerlendirmek için bir metodoloji belirledik ve değerlendirme kriterlerimizi karşılamak için veri topladık:

* Geçerli değil: Zyte, proxy'leri diğer proxy sağlayıcılarından satın alır ve bu nedenle Zyte'nin hizmeti kötüye kullanım için kullanıldığında, web sitesi sahipleri Zyte yerine proxy sağlayıcılarına ulaşacaktır.

Tüm satıcılar, 3rd tarafların veya müşterilerinin kendilerine ulaşması için araçlar sağlasa da, sorun çözümü için şunlara sahip olmak önemlidir:

• Kamuya açık kötüye kullanım politikası
• Kötüye kullanımı bildirmek için özel bir e-posta adresi
• Muhabirlerin şirkete ulaşmasını sağlayan alternatif bir iletişim yöntemi (ör. web formu veya mesajlaşma arayüzü). E-postalar filtrelenebileceği ve gelen kutusuna ulaşamayabileceği için bu yararlıdır.
• Mesajlara yanıt verme

Karşılaştırmadaki 3 sağlayıcı (Bright Data) kötüye kullanım bildirimi için bir e-posta sağladı. Tüm bu sağlayıcılar ayrıca bu alandaki politikalarını da belirtti.

Diğer tüm sağlayıcıların da aynısını yapmasını ve bunun kısa vadede yaygın bir sektör uygulaması haline gelmesini bekliyoruz.

Son olarak, üçüncü taraf alan adlarından (yani AIMultiple olmayan) kötüye kullanım bildirimleri e-postası göndererek ve yanıt sürelerini ölçerek kötüye kullanım yönetimi yanıt verme süresini değerlendirdik. Bir kötüye kullanım e-posta adresi bulamazsak, genel iletişim formuna gönderdik. Bunu, aşağıdaki tarihlerde gönderilen 3 parti e-posta ile test ettik:

• 2 Mayıs 2025 Cuma, şuradan:
  • Aylık ~30k trafiğe sahip bir bilet satış hizmeti
  • Aylık ~1k trafiğe sahip bir hukuk firması
• 17 Mayıs 2025, bilet satış hizmetinden.
• 24 Mayıs 2025, sınırlı çevrimiçi trafiğe sahip bir sosyal medya ajansından.

2 Mayıs 2025'te gönderilen ilk e-postalar, özel e-posta adresi sağlayan şirketlere gönderildi. Daha sonra, listemizi genişlettik ve karşılaştırması yapılan tüm web veri toplama hizmetlerinin iletişim bölümlerinde listelenen daha genel e-posta adreslerini de dahil ettik. Bir şirket e-postalarımıza yanıt verirse, onlara daha fazla e-posta göndermeyi durdurduk.

E-postalarımızda, web sitelerimizin proxy'ler aracılığıyla şüpheli bot trafiği aldığını belirttik ve proxy'lerin kaynağını belirlemede desteklerini istedik. Biri hariç tüm uyum ekiplerinden yanıt alabildik. Neredeyse tüm yanıtlar aynı gün alındı.

Kullanım şeffaflığı

Web verisi sağlayan web sitesi sahipleri ve web toplama hizmetleri, veri toplama faaliyetleri hakkında tarihsel olarak hiçbir veri alışverişine sahip olmamıştır. Tarama faaliyetlerini sınırlamak için, web sitesi sahipleri şunları yapabilirdi:

• Kötüye kullanımı bildirmek için web veri toplama hizmetleriyle iletişime geçin
• Taramayı daha zorlu hale getirmek için Cloudflare gibi bot yönetimi sağlayıcılarıyla çalışın.

Şimdi, bu taraflar arasında daha yapılandırılmış veri alışverişi için girişimler var. Bright Data, web yöneticilerinin web sitelerindeki tarama faaliyetlerini izlemeleri için Bright Data Webmaster konsolunu başlattı. Daha fazla şeffaflığın web veri toplama uygulamalarını iyileştirmesi muhtemeldir.

Webmaster konsoluyla deneyimimiz

Alan adı sahipliğimizi doğrulayarak ve alan adına bir collectors.txt dosyası ekleyerek kaydolduk.

Artık web sitemizdeki Bright Data kaynaklı bot faaliyetine erişimimiz var:

Karşılaştırma: Etik tedarik

* Bu 3rd taraf platformlardaki incelemeler dahil edildi: Amazon Appstore, App Store, Google Play Store, Trustpilot. Kolaylık sağlamak için, bu değer Bright Data için web sitelerinde yer alan tüm 120 uygulama için değil, 5 büyük uygulama için hesaplanmıştır.

İş ortağı şeffaflığı

Web veri altyapı şirketlerinin ihtiyaç duyduğu bant genişliği, internet bağlantısını paylaşma onayı karşılığında faydalar (ör. ödemeler, reklamları atlama yeteneği gibi özellikler) sağlanarak etik bir şekilde tedarik edilebilir. Ancak, perakende kullanıcıların sistemlerine yetkisiz erişim sağlamak ve bağlantılarını satmak da mümkündür.

Web veri altyapı sağlayıcıları, politikalar ve süreçler oluşturabilir, dış denetimler yürütebilir ve internet bağlantılarını nasıl edindikleri konusunda şeffaflık yaratmak için yaklaşımlarını ve denetim bulgularını yayınlayabilir. Bu, hizmetlerinin etik tedarikine olan güveni artırabilir.

Web verisinde tedarik tarafı şeffaflığı için bir çerçeve oluşturduk ve satıcıları bu çerçeveyi kullanarak derecelendirdik. Bu çerçeveyi, bir web veri toplama hizmetinin konut IP'lerini kendisi veya diğer proxy'ler aracılığıyla edinip edinmediğine bakılmaksızın uyguladık. Amacımız, etik olmayan uygulamalar tedarik zincirinin herhangi bir noktasından kaynaklanabileceğinden, tüm IP tedarik zincirine şeffaflık getirmektir.

Ayrıntılı sonuçlarımızı burada bulabilirsiniz:

Bright Data

Bright Data, aşağıdakileri yayınladığı için Seviye 5 olarak sınıflandırılmıştır:

• Tedarik yaklaşımları ve uygulama geliştiricilerin SDK'leri aracılığıyla kendileriyle nasıl çalışabilecekleri^{15 16}
• 120 tedarikçiyle ilgili ayrıntılar kamuoyuna açıklandı. Bu tedarikçilerin popülerliğini tahmin etmek için 3rd taraf platformlardaki incelemelerini kontrol edebildik. ¹⁷

Seçili uygulamaların incelenmesi

Bright Data, web sitesinde 120 uygulama paylaşmaktadır. Bright VPN gibi uygulamalar, açıklamaları ve kullanıcı deneyimi konusunda 3rd taraflarca sertifikalandırılmıştır.¹⁸ Ayrıca bu uygulamaları daha ayrıntılı görmek için indirdik:

• Bright VPN
• EarnApp
• Sling Kong

Kişisel olarak tanımlanabilir veri toplamama yükümlülüğü olan etkinleştirme formu: Aşağıdaki yerden net açıklama içeren onay formu:

Bright VPN:

Earn App:

Sling Kong:

• Kullanıcıya oyun sırasında teklif sunulur:

• Etkinleştirme:

• Etkinleştirme sırasında ek bilgi:

• Çıkış:

Uygulamalar tarafından sağlanan değer:

• Bright VPN: Ücretsiz VPN hizmeti
• EarnApp: Ödemeler
• Sling Kong: Oyun içi sanal para birimi

Diğerleri

Çoğu sağlayıcı web scraping'de etik konusunun farkında olsa ve bu konuda yayın yapmış olsa da (ör. ¹⁹ , Zyte dışında bu cephedeki belirli taahhütlerini belirlemedik.²⁰

Bunun değişmesini ve çoğu sağlayıcının kısa vadede en az Seviye 1'e geçmesini bekliyoruz.

Dış sertifikasyon

* Şirketin bu kategorideki tüm dış sertifikaları aldığını gösterir

Satıcıların, müşterilerinin verilerini korumak ve IP'lerini sağlayan uygulamaları güvence altına almak için doğru sistemlere, personele ve süreçlere sahip olması çok önemlidir. Puanlamamızın arkasındaki mantığı görmek için dış sertifikasyon ölçüm metodolojimize bakın.

GDPR ve CCPA uyumu

Tüm satıcılar, her iki veri gizliliği düzenlemesine de uyumlu olduklarını kamuoyuna açıklamaktadır. Bu nedenle, bu puanlamaya dahil edilmedi.

Kurumsal olgunlukları nasıl ölçtük

Bu alanda belirlediğimiz yeteneklere dayanarak, her sağlayıcıda bu sertifikaların varlığını kamuya açık beyanlarını kullanarak kontrol ettik:

• Veri güvenliği sertifikası ve PII sertifikası: ^{21 22 23 24}
• IP kaynağı beyaz listeye alındı: ²⁵
• Etik uygulamalar değerlendirildi: ²⁶

ISO 27018 sertifikasına sahip olmayan bazı sağlayıcılar, ISO 27018 sertifikasına sahip bulut hizmet sağlayıcılarını kullandıkları için sertifikalı sayılmaları gerektiğini iddia etti. Siber güvenlik danışmanımızın görüşü, bunun sertifika almayı kolaylaştıracak olsa da, sertifikayı almak için yine de politikalarının ve kontrollerinin sertifikalandırılması gerekeceği yönündeydi.

Sigorta kapsamı

3 web veri toplama şirketi sigortalar için sertifikalarını paylaştı. Sertifikaları yayınlamıyoruz, ancak aşağıdakileri sağlamak için belgeleri inceledik:

• Bu 2 sigorta kategorisini kapsıyorlar
• Her kategorideki sigorta limiti en az ABD doları cinsinden milyonlarca mertebesindedir.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Feragatnameler ve sonraki adımlar için öneriler

Bu karşılaştırmadaki Nimble dışındaki tüm sağlayıcılar AIMultiple müşterisidir. Her zaman olduğu gibi, bu araştırma sırasında etik taahhütlerimize uyduk.

Etik web veri toplamanın kapsamlı bir incelemesini tamamladık ve bu karşılaştırmanın kapsamından memnun olsak da, katılımını artırmayı çok isteriz. Sigorta kapsamlarını paylaştıkları için şu şirketlere teşekkür ederiz: Apify, Bright Data, Zyte.

Nimble'dan yanıt bekliyoruz. Onlardan daha fazla güncelleme alır almaz raporu güncelleyeceğiz. 2 satıcı, karşılaştırmanın bu yinelemesine katılmamayı seçti. Bu 7 şirketten herhangi biri gerçeklere dayalı, tüm satıcılar için adil ve kuruluşların daha iyi kararlar almasına yardımcı olan değişiklikler önerirse, bu raporu her zaman güncelliyoruz.

NetNut, bu raporu ilk kez 2025'te yayımladığımızda değerlendirdiğimiz şirketler arasındaydı. Bu sağlayıcıların IP'lerinin kaynaklarını incelediğimiz etik tedarik derinlemesine incelememizde mümkün olan en düşük puana (Seviye 0) sahiptiler. NetNut, FBI'ın botnet'lerle olan bağlarını tespit etmesi üzerine 2026'da kapatıldı.²⁷ Bunun, tüm satıcıların tedarikleri konusunda şeffaf olmaları için bir teşvik olmasını umuyoruz.

Araştırmamıza göre bu, etik web verisine odaklanan ilk rapordur. Bu şeffaflığın, web veri endüstrisinin zorluklarına yaratıcı çözümler bulmasına yardımcı olabileceğini umuyoruz. Bu çözümlerin, web veri toplayıcılarının, web otomasyon kullanıcılarının, web sitesi sahiplerinin ve IP'lerini sektöre sağlayan konut kullanıcılarının çıkarlarını dengelemesi gerekecektir.

Metodoloji sınırlamaları

Bu karşılaştırma, müşteri kullanım kontrolleri, IP tedarik şeffaflığı, dış sertifikalar ve sigorta paylaşımı dahil olmak üzere gözlemlenebilir olgunluk göstergelerini ölçer. Ancak, puanlama bir sağlayıcının her müşteri kullanım durumunda yasal olarak uyumlu olup olmadığını tam olarak belirlemez.

Bu nedenle, yüksek bir karşılaştırma puanı, yasallık veya etik kullanım garantisi olarak değil, satın alma durum tespiti girdisi olarak ele alınmalıdır.

Referanslar

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Etik ve Uyumlu Web Verisi Karşılaştırması}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/web-scraping-ethics}},
  note   = {AIMultiple. Erişim tarihi: 21 Haziran 2026}
}

Referans Linkleri

1.

Workers Fainted at Nike Clothing Factory Despite a Vow to Reform — ProPublica

ProPublica

2.

2023 MOVEit data breach - Wikipedia

Contributors to Wikimedia projects

3.

https://www.courthousenews.com/wp-content/uploads/2024/01/starbucks-labor-rights-violations-suit.pdf

4.

Verifying Device

The Times

5.

Court Rules in Favor of Bright Data in Meta v. Bright Data Case - Bright Data

Bright Data

6.

Popa: From Sourcing to Distribution | Synthient

Synthient

7.

‘Popa’ Botnet Linked to Publicly-Traded Israeli Firm – Krebs on Security

8.

https://media.defense.gov/2024/Sep/18/2003547016/-1/-1/0/CSA-PRC-LINKED-ACTORS-BOTNET.PDF

9.

Internet Crime Complaint Center (IC3) | Home Internet Connected Devices Facilitate Criminal Activity

10.

A Look at the Residential Proxy Market | Intel 471

Website

11.

Satori Threat Intelligence Alert: PROXYLIB and LumiApps Transform Mobile Devices into Proxy Nodes - HUMAN Security

HUMAN Security

12.

Kimwolf Botnet Lurking in Corporate, Govt. Networks – Krebs on Security

13.

Subscribe to read

Financial Times

14.

https://edition.cnn.com/robots.txt

15.

Ethically Sourcing Residential Proxies | Bright Data

Bright Data

16.

homepage - Bright SDK

Bright SDK

17.

How Bright Data Obtains Its Residential IPs - Bright Data

Bright Data

18.

Bright VPN Compliance with guidelines - Google Sheets

19.

What is ethical scraping and how do you do it?

Apify Blog

20.

Web Scraping Data Compliance | Zyte

21.

https://brightdata.com/trustcenter/data-security-overview-protection-measures

22.

Security | Platform | Apify Documentation

23.

Nimble Trust Center | Security, Compliance & Reliability

24.

Trust Center | Zyte

25.

Bright SDK Compliance with Guidelines - Google Sheets

26.

pwc-report - Bright Data

Bright Data

27.

FBI Seizes NetNut Proxy Platform, Popa Botnet – Krebs on Security

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analisttir. AIMultiple, her ay Fortune 500'ün %60'ı dahil olmak üzere (similarWeb'e göre) yüz binlerce işletmeyi bilgilendirmektedir. Cem'in çalışmaları Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. Cem, kariyeri boyunca teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımlamıştır. CEO'ya rapor verirken bir telekomünikasyon şirketinin teknoloji stratejisini ve satın alımını yönetmiştir. Ayrıca, 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alınmıştır. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun olmuş ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder