İşletmeler web verisi operasyonlarını ölçeklendirdikçe, uyum, veri ve risk yöneticileri, ilgili etik, itibar ve yasal riskleri giderek daha fazla değerlendiriyor.
5 önde gelen web verisi toplama hizmetini 3 boyut üzerinden ölçütledik ve her bir hizmeti 20'den fazla potansiyel olarak etik dışı senaryo ile test ettik.
Çalışmamız, veri toplama uygulamalarınızın etik durumunu değerlendirmenize ve etik dışı yaklaşımların olası sonuçlarını anlamanıza yardımcı olur. Ayrıca etik web verisi toplama için rehberler sunuyor ve web verisi toplama hizmetlerini bir etik ve uyum perspektifinden değerlendiriyoruz:
Web verisi toplama hizmetlerinin değerlendirmesi
Önde gelen web verisi toplama hizmetlerini (aynı zamanda web verisi sağlayıcıları veya web verisi altyapısı olarak da adlandırılır) etik web verisi kontrol listemizi kullanarak değerlendirdik. Bu puanlar, 5'in en yüksek seviye olduğu olgunluk seviyelerini temsil eder:
Sağlayıcılar | Özet | Müşteriler tarafından
etik kullanım | Etik
tedarik | Dış sertifikasyon | Paylaşılan sigorta kapsamı
** |
|---|---|---|---|---|---|
Bright Data | Seviye 5 | Seviye 5 | Seviye 5 | Veri güvenliği, PII işleme. IP kaynakları beyaz listeye alındı. Etik uygulamalar değerlendirildi. | ✅ |
Apify | Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✅ |
Zyte | Seviye 1 | Seviye 1 | Seviye 1 | Veri güvenliği | ✅ |
NetNut | Seviye 1 | Seviye 1 | Seviye 0 | Veri güvenliği | TBD |
Nimble | Seviye 1 | Seviye 1 | Seviye 0 | Veri güvenliği | ❌ |
* Bunlar satıcı adları için kodlardır. Bu satıcılar bu raporda referans gösterilmek istemediler ve bu sorun çözülene kadar listenin en altına listelendiler.
** ✅, şirketin sigorta sertifikalarını AIMultiple ile paylaşmayı seçtiğini gösterir. ❌, şirketin sigorta sertifikalarını bizimle paylaşmamayı kararlaştırdığını ve bu nedenle sigorta kapsamını doğrulayamadığımızı gösterir. Sigorta kapsamı, şirketleri değerlendirmek için web verisi hizmeti şirketlerinin katılımına güvendiğimiz tek kategoridir.
Özet puana göre sıralandı.
Etik web verisi için puanlama modeli
Aşağıda, bu puanların nasıl elde edildiğini açıklıyoruz. Ayrıca bu puanlama boyutlarını seçme gerekçesini görebilirsiniz.
İlk 2 kategoride 5 yetkinlik belirledik ve şirketler, karşıladıkları yetkinlik sayısına göre puan aldılar. Seviye 5, pazarda gözlemlenen en yüksek olgunluğu temsil eder ve mükemmelliği değil, mevcut en iyi uygulamaları yansıtır.
Müşteriler tarafından etik kullanım için yetenekler
- Etkili süreçler etik kullanım için: Her sağlayıcının, kontrollü test senaryoları aracılığıyla konut proxy hizmetlerinin etik dışı kullanımını önleme yeteneğini değerlendiriyoruz. Sağlayıcı tarafından engellenen tek bir isteğimiz varsa, bu başarılmış olur.
- İyileştirilmiş süreçler etik kullanım için: "Etik kullanım için etkili süreçler" ile benzerdir. Ancak, bu yetenek, hizmet sağlayıcısının hizmetlerini etik dışı kullanım durumları için kullanma girişimlerimizin birinden fazlasını engellediğini belirtir.
- En iyi uygulama süreçleri etik kullanım için: "Etik kullanım için etkili süreçler" ile benzerdir. Ancak, bu yetenek, hizmet sağlayıcısının hizmetlerini etik dışı kullanım durumları için kullanma girişimlerimizin çoğunu engellediğini belirtir.
- Kötüye kullanım yönetimi temeli: Kötüye kullanım yönetimi politikası ve kötüye kullanımı bildirme yöntemi yayınlamak
- Yanıt veren kötüye kullanım yönetimi: Şirketlerin birden fazla kötüye kullanım raporuna nasıl yanıt verdiğini ölçtük. Kötüye kullanımı bildirmek için bir hat olmasa bile, ekibine ulaşmak için şirketin listelediği e-postaları kullandık. Raporumuza bir hafta içinde yanıt almadıysak, şirketin yanıt vermediği varsayılır.
Etik tedarik için yetenekler
Etik tedarik, IP adreslerini etik bir şekilde edinmeyi içerir. Pazar analizimiz, etik IP tedariki ile ilgili aşağıdaki şeffaflık seviyelerini belirledi:
- Seviye 1: Yayımlanmış IP kaynaklandırma politikası.
- Seviye 2: Etik bir şekilde IP sağlayan en az bir kaynak (örneğin bir mobil uygulama) ifşa edildi. İfşa edilen kaynak, Google, Apple, Amazon uygulama mağazaları ve Trustpilot dahil olmak üzere üçüncü taraf platformlarda toplamda en az 10k incelemeye sahip olmalıdır.
- Seviye 3: Seviye 3 ile aynı ancak 100k inceleme ile
- Seviye 4: Seviye 3 ile aynı ancak 1M inceleme ile
- Seviye 5: Seviye 4 ile aynı ancak 10M inceleme ile
İncelemeler, uygulamaların popülerliğinin bir göstergesidir ve bu değerlendirmeye için önemli bir sinyaldir. Web verisi toplama hizmetleri, müşterilerinin IP ihtiyaçlarını karşılayabilmek için popüler uygulamalarla çalışmalıdır.
Yeterlilik için, ifşa edilen uygulamaların bu en iyi uygulamaları izlemesi gerekir. Bunu her ifşa edilen uygulama için kontrol etmeyeceğiz, ancak rastgele seçilen birkaçı için kontrol edeceğiz:
- Bilgilendirilmiş onam:
- Kullanıcıların internet bağlantısını paylaşmadan önce onay vermesi gerekir. Onay ekranı şunları özetlemelidir:
- Sağlayıcı
- Hizmet
- IP'lerinin nasıl kullanılacağı
- Kullanıcıların şu konularda detaylı bilgiye erişebilmesi gerekir:
- İnternet bağlantılarının nasıl kullanılacağı
- Gizlilik politikası
- Kullanıcıların internet bağlantısını paylaşmadan önce onay vermesi gerekir. Onay ekranı şunları özetlemelidir:
- Değer: Kullanıcılar uygulamadan bir değer almalıdır (örneğin ödeme, reklamları atlayabilme veya başka bir işlevsellik)
- Gizlilik: Sınırlı ve şeffaf kullanıcı veri toplama.
Konut proxy ağları için, alıcıların onamın spesifik, bilgilendirilmiş, geri alınabilir ve ilgili olmayan uygulama izinlerinden ayrı olup olmadığını da doğrulaması gerekir. Kullanıcıların kolayca çıkış yapıp yapamayacağını, bant genişliği kullanımının sınırlı olup olmadığını, reşit olmayanların hariç tutulup tutulmadığını ve sağlayıcının konut IP'leri sağlayan uygulamaları veya SDK'ları denetleyip denetlemediğini sormalıdırlar.
Dış sertifikasyon
Dış sertifikasyonu, şirketlerin kurumsal düzeyde güvenlik ve uyumla ilgili bu sertifikaları edinip edinmediğine göre değerlendirdik.
- PII sertifikasyonu: ISO 27018'i edinerek PII'yi yönetme yeteneğini göstermek
- Veri güvenliği sertifikasyonu: SOC 2 veya ISO/IEC 27001 gibi bu sertifikalardan birini edinerek veri güvenliği uygulamalarını göstermek
- IP kaynağı beyaz listeye alındı: McAfee gibi dış sertifikasyon sağlayıcıları şunları sertifikalandırır:
- IP sağlayan belirli 3. taraf uygulamalar
- IP'leri 3. taraf uygulamalardan toplayan SDK
- Etik uygulamalar değerlendirildi: İç uyum ve etik uygulamaları değerlendirmek için bir ISAE 3000 güvence projesi tamamlanabilir.
Sigorta
Satıcılardan bu sigorta belgelerini bize sağlamalarını istedik:
- Hizmetteki sorunlar durumunda satıcıların sorumlulukları için kapsama sahip mesleki sorumluluk sigortası sertifikası
- Bilgi güvenliği ile ilgili sorunlar durumunda satıcıların sorumlulukları için kapsama sahip siber sigorta sertifikası.
Özet puan
Bu puan, tüm puanların toplamının 3'e bölünmesiyle elde edilir. Puanlar şunlardır:
- Müşteriler tarafından etik kullanım için yetenekler için 0 ila 5
- Etik tedarik için yetenekler için 0 ila 5
- Dış sertifikasyon için 0 ila 3
- Sigortalar için 0 ila 2
Önde gelen web verisi toplama hizmetleri
AIMultiple, LinkedIn'deki çalışan sayısı açısından en büyük 7 web verisi toplama hizmetini seçti. Bu metrik, hem halka açık olması hem de şirketin gelirleri ve kurumsal hazır oluşu ile ilişkili olması nedeniyle seçildi. Gelirler veya bordrodaki çalışan sayısı gibi daha iyi metrikler, bu özel şirketler için halka açık değildir.
Seçilen şirketlerin tümünün Nisan 2025'te LinkedIn profil sayfalarına bağlı 100'den fazla çalışanı var. Şu anda seçilen 7 şirketin 5'i bu sayfada görüntüleniyor ve kalan 2 şirket rapora dahil edilmemeyi seçti.
Odakta olan web verisi toplama ürünleri
Bu şirketler proxy'ler, veri kazıma API'leri ve veri setleri dahil olmak üzere çeşitli ürünler sunar. Tüm ürünler etik bir perspektiften incelenebilirken, başlangıçta en yüksek esneklik seviyesini sağlayan ve diğer çoğu ürünü güçlendiren ürüne odaklandık: Konut proxy'leri.
Web verisi toplama ürünleri, proxy'lerin tüm diğer hizmetlerin inşa edildiği temel katmanı oluşturduğu bir hiyerarşi olarak düşünülebilir. Bunun nedeni, proxy'lerin makinelerin farklı varış noktaları üzerinden internete erişmesine izin vermesi ve veri toplama için kritik olan çeşitli ve büyük bir internet bağlantısı kümesine izin vermesidir. Bu nedenle, proxy'ler en yetenekli web verisi toplama ürünüdür; veri setleri veya veri kazıma API'leri ile mümkün olmayan işlevleri gerçekleştirmek için kullanılabilir.
Proxy'ler arasında, web siteleri tarafından proxy olarak tanımlanması en zor ürün konut proxy'leridir. Örneğin, veri merkezi proxy'leri gibi diğer proxy'ler, konutları göz önüne alındığında kolayca tanımlanabilir. Bu nedenle, konut proxy'leri veri kazıma API'leri gibi diğer çoğu web verisi ürününü güçlendirir.
Doğrulayın: Web verisi toplamanız uyumlu ve etik mi?
İşletmeniz büyük olasılıkla web verisinden yararlanıyor. Ancak, sektör sınırlı düzenlemelerle karşı karşıya olduğundan, etik ve uyumlu bir sağlayıcı seçmek önemlidir. Bunu başarmak için, etik kaynaklandırma, etik kullanım ve dış sertifikasyon dahil olmak üzere web verisi toplamanın farklı yönlerini dikkate alan bütüncül bir çerçeve hazırladık.
Web verisi yaygın bir operasyonel varlıktır
Bir işletme olarak, işletmeniz aşağıdaki çok sayıda kullanım durumu nedeniyle kısmen web verisine güvenir:
- Perakende ve e-ticaret için dinamik fiyatlandırma
- Yatırım fonları için gerçek zamanlı alternatif veri
- Ticari bankacılıkta KYC süreci
- AI model eğitimi veya ince ayar
- AI çıkarımı veya RAG
- Pazar araştırması
AI ile web verisi şimdi daha önemli
Web verisi toplama web kadar eski olsa da, önemi üretken AI modellerinin yükselişinden sonra dramatik şekilde arttı. OpenAI ve Anthropic gibi bu modellerin yapımcıları, önemli içerik ortaklıkları olmadan başladı ve başlangıçta modellerini oluşturmak için çoğunlukla çevrimiçi verileri kullandı; bu da trilyon dolarlık AI endüstrisinin yükselişine yol açtı.
Sınırlı düzenleyici denetim
AI düzenlemesi spot ışığı altında olsa da, veri toplama endüstrisi çoğu ülkede çoğunlukla düzenlenmemiş durumda. Açık yasa dışı çevrimiçi aktiviteler iyi tanımlanmıştır. Ancak, sektör oyuncularının kullanıcılar tarafından hizmetlerinin kötüye kullanılmasını proaktif olarak önlemek için sınırlı düzenleyici gereklilikleri vardır.
Etik veri toplama ve proxy kullanımını sağlamak için en iyi uygulamaları ve uyum standartlarını belirlemek platformların kendisine kalmıştır. Bu nedenle, veri toplamada sağlayıcınızın seçimi, her hizmet sağlayıcının sayısız düzenlemeye uyması gereken bankacılık gibi sıkı düzenlenmiş endüstrilere kıyasla daha önemlidir.
Tedarikçilerinizin etik duruşu şirketinizin itibarının bir parçasıdır
Veriyi toplasanız da tüketseniz de, edinim sürecinden sorumlusunuz.
İşletmelerin tedarik zincirlerindeki yasa dışı faaliyetlere karşı sorumlulukları yargı yetkisine bağlıdır. Örneğin, Almanya'da işletmeler, tedarik zincirleri tarafından oluşturulan zararları belirlemek ve önlemek için KYS ve risk yönetimi faaliyetlerini yürütmekten sorumludur. Şirketler tedarik zincirleri tarafından oluşturulan zararlardan sorumlu olmasalar bile, itibar riski yaşayabilirler.
Etik dışı ve uyumsuz veri toplamanın maliyeti nedir?
İtibar riski
Bir işletmenin etik dışı davranışlarda bulunan veya veri güvenliğini tehlikeye atan bir web verisi toplama hizmetinden yararlandığı kamuya duyulursa, bu kayıp iş, müşteri kaybı, yetenek kaybı ve yatırımcı güveninin kaybı gibi önemli itibar zararlarına yol açabilir.
İtibar kaybına yol açan işletme tedarikçilerinin gerçek yaşam örnekleri:
- Nike, tedarikçilerinin etik dışı iş uygulamaları nedeniyle sayısız kez itibar zararı gördü.1
- EY gibi birçok işletme, MOVEit yönetilen dosya aktarım yazılımı ihlalinden etkilendiklerinde müşterilerinin güvenini kaybetti. 2
Yasal risk
İtibar kaybı, özellikle kamu öfkesine yol açan, genellikle şirketin müşterileri veya etik dışı uygulamalardan zarar gören diğer paydaşlar tarafından açılan davalarla takip edilir.
Gerçek yaşam örneği: Starbucks, etik dışı uygulamalara sahip şirketlerden tedarik etmekle suçlanan son markalardan biridir.3
Etik web verisi kontrol listesi
Kurumsal web verisinin etik olması için 3 gereksinimi karşılaması gerekir:
Müşteriler tarafından etik kullanım
Bilinen Tedarikçiniz süreçlerinin bir parçası olarak, işletmeler etik dışı faaliyetlere olanak tanıyan hizmetleri kullanmaktan kaçınır. Böyle hizmetleri kullanmak işletmeleri itibar zararına maruz bırakır.
Gerçek dünya örneği: Bir sağlayıcının platformunun etik dışı faaliyetlerde kullanıldığı belgelendiğinde, sayısız işletme, sağlayıcının uygulamalarını iyileştirene kadar ondan uzaklaştı.4
Bunun web verisi ile nasıl ilişkili olduğu: Web verisi farklı IP adresleri aracılığıyla toplanır. Bu adresler, dijital hizmet teslimatını engellemek için DDOS saldırıları, yetkisiz halka açık olmayan veri toplama veya reklam dolandırıcılığı gibi farklı yasa dışı faaliyetlerde bulunmak için kullanılabilir. Kötü niyetliler, eylemlerini güçlendirmek için IP'lere ihtiyaç duyar ve web verisi altyapısı/proxy sağlayıcıları, perakende kullanıcılara IP sağlayan en büyük tedarikçilerdir.
Etik tedarik
Etik amaçlar için kullanılan hizmetler, üretimleri sırasında etik dışı ve zararlı eylemlere neden olabilir. Örneğin, Nike ve Nestle gibi markalar, taşeronlarının çocuk işçi kullanması nedeniyle itibar zararı gördü ve davalarla karşılaştı.
Bunun web verisi ile nasıl ilişkili olduğu:
İşletmeler, hızlı ve küresel veri toplama için çok sayıda ve çeşitli bant genişliği kaynaklarına erişmesi gerekir. Bu, konut proxy'lerinin kullanılmasını gerektirir: Halka açık verilerin toplanması birçok koşulda yasal olsa da, 5 web siteleri bazı ziyaretçilerini de engelleyebilir. Örneğin, rakiplerinin tarayıcılarını engelleyebilirler. Böyle durumlarda, işletmeler web verisini toplamak için perakende kullanıcılardan veya diğer 3. taraflardan çok sayıda bağlantıya güvenmelidir.
Proxy sağlayıcıları, çeşitli kaynaklardan milyonlarca internet bağlantısı toplar ve bunları IP adreslerini kullanarak bu bağlantılara erişen işletmelere sağlar. Bu IP'lerin bazıları konut kullanıcılarının cihazlarından kaynaklanır. Bu bağlantıları toplamak yasal veya yasa dışı olabilir:
- Yasal: Yasal uyumlu uygulamalar, yerel düzenlemelere uygun olarak bilgilendirilmiş kullanıcı onamı elde etmeyi, tazminat sağlamayı ve çıkış mekanizmaları sunmayı içerir. Web verisi sağlayıcısı şunları yapmalıdır:
- Kullanıcıları bant genişliklerinin nasıl kullanılacağı hakkında bilgilendirmek
- Onaylarını dijital olarak almak
- Buna karşılık onları tazmin etmek
- İstedikleri zaman çıkış yapmalarına izin vermek
- Yasa dışı: Kötü niyetliler, kullanıcıların cihazlarına erişebilir ve izin veya tazminatsız olarak internet bağlantılarını kullanabilir. Bu, kötü amaçlı yazılım uygulamaları, tehlikeye girmiş cihazlar, maskeli kurulumlar, otomatik onay ve cihaz sahibini riske atabilecek diğer yöntemler aracılığıyla gerçekleşebilir.
Yasa dışı yollarla elde edilen proxy'leri kullanan işletmeler, istemsiz olarak cihazlara yetkisiz erişim için kötü niyetlilere ödeme yapabilir.
Gerçek yaşam örnekleri:
- Yönlendiriciler ve IoT cihazları botnet operasyonları için tehlikeye girmiş ve konut proxy'leri olarak satılmıştır.6 7
- Bazı proxy sağlayıcıları, hizmetlerini kötü niyetlilerin sık ziyaret ettiği forumlarda tanıtıyor. Bu IP'lerin yasa dışı yollarla elde edilmiş olması muhtemeldir.8
- Google Play Store'daki VPN uygulamaları, kullanıcı onamı olmadan konut IP'leri edinmek için de kullanılmıştır.9
Bu operasyonlar kapatılmış olsa da, kötü niyetlilerin botnetler ve tehlikeye girmiş veya kötü amaçlı uygulamalar aracılığıyla hala onamsız olarak konut IP'lerine erişiyor olması muhtemeldir.
Dış sertifikasyon
Kurumsal alıcılar, güvenli, kurumsal hazır çözümlere ihtiyaç duyar. Dış sertifikasyonla belgelenen olgun bir web verisi organizasyonu için gerekli bileşenleri belirledik:
Veri güvenliği
Tedarikçilerin sistemlerinde veri güvenliğinin eksikliği, bir işletmenin rekabet avantajını aşındırabilir veya veri kaybına ve sistem kesintisine yol açabilir. Sistem işlevselliğinin kaybı güveni aşındırabilir ve bir işletmenin değerinin düşmesine neden olabilir.
Sistem ihlali
Veri toplama hizmetleri, bir kayıt sistemi gibi temel dijital hizmetler (örneğin bir CRM) kadar bir işletmenin sistemlerine derinlemesine entegre değildir. Bu nedenle, güvenlik kimlik belgeleri, bir kayıt sistemi gibi temel bir sistemin kimlik belgeleri kadar kapsamlı olarak gözden geçirilmez. Ancak, veri güvenliği, bu hizmetler şu nedenlerle veri toplama hizmetlerinin müşterileri için kritiktir:
- Bazen fiyatlandırma motorları gibi daha merkezi sistemlere entegre edilirler.
- Böyle sistemlere entegre olmadıklarında bile işletme sistemlerini enfekte edebilirler. Bir veri toplama hizmetini kullanmak, o hizmetten veri almak anlamına gelir. En güvenli veri aktarım biçimlerinin bile riskleri içerir.
Sistem ihlali, saldırganların konut IP'leri sağlayan cihazları bir proxy hizmetine hedeflemesine de yol açabilir. Bu, o proxy hizmetinin müşterilerine itibar zararı verebilir.
Bir konut proxy sağlayıcısında gerçek yaşam güvenlik açığı örneği:
Kimwolf botneti operatörleri, IPIDEA'dan konut proxy hizmetleri satın aldı. Kötü amaçlı komutlar kullanarak, IP'leri IPIDEA'ya sağlayan cihazların iç ağlarını enfekte ettiler. Bu ağlar daha sonra tarandı ve bu yerel ağlardaki diğer tehlikeye girmiş cihazlar da enfekte edildi.
Kimwolf'un bu yöntemle 2 milyondan fazla cihaza yayıldığı tahmin ediliyor. IPIDEA'nın müşterileri tarafından toplanan veriler de bu enfekte ağlardan aktı.10
Veri kaybı
Veri güvenliği olmadan, kötü niyetliler, işletmelerin faaliyetlerini ve stratejilerini belirlemek için işletmeler tarafından toplanan verilere erişebilir ve bu da rekabet avantajı veya iş fırsatlarının kaybına yol açabilir.
Gerçek yaşam örneği:
Web verisi halka açık olsa da, işletmeler rekabet avantajı için web verisini yeni şekillerde kullanabilir. Örneğin, yatırımcılar pazar veri bütçelerinin %10'unu alternatif veriye harcar11 , ancak stratejilerini nadiren ifşa ederler çünkü rakiplerine kıyasla avantaj kazanmalarına yardımcı olabileceğine inanırlar. Bir veri sızıntısı, stratejilerinin ifşa edilmesine ve bu nedenle rakipleri tarafından kopyalanmasına yol açabilir.
PII yönetimi
Web verisi, giriş arkasında veya halka açık web sitelerinde yanlışlıkla veya kasıtlı olarak ifşa edilen PII dahil özel veriler içerir. Web verisi toplama hizmetleri PII'yi doğru yönetemezse, bu tür veriler kötü niyetliler tarafından edinilebilir. Bu, web verisi toplama hizmeti ve müşterileri için itibar zararına yol açabilir.
Uygulama güvenliği
Web verisi toplama hizmetlerinin IP'lerini sağlayan uygulamalar veya ara programlar (SDK'lar gibi), McAfee gibi dış sertifikasyon sağlayıcıları tarafından beyaz listeye alınabilir. Bu, işletmenin web verisi toplama hizmetinin etik tedarik uygulamalarına olan güvenini artırır.
Sigorta kapsamı
İşletmeler, genellikle herhangi bir dijital sağlayıcıdan bu sigortaları gerektirir:
- Mesleki sorumluluk sigortası
- Siber sigorta sertifikası
Tercih edilen kaynak olarak ekleDetaylı ölçüt: Web verisi altyapısı sağlayıcılarının değerlendirmesi
Ölçüt: Müşteriler tarafından etik kullanım
Burada şu soruyu yanıtlamayı amaçlıyoruz: Şirket, çözümünün kullanımının etik ve geçerli yasalar ve düzenlemelerle uyumlu olduğundan emin oluyor mu? Bulgularımızın özeti:
* Geçerli değil: Zyte ve Apify proxy'leri tedarikçilerinden satın alır ve doğrudan konut kullanıcılardan toplamazlar, bu nedenle kötüye kullanım konusunda web sitesi sahipleri tarafından ulaşılabilirler ve bu nedenle web siteleri için bir iletişim formu oluşturmaya ihtiyaç duymazlar.
Öncelikle, politikaları gözden geçirdik:
Kabul edilebilir kullanım politikası incelemesi
Tüm satıcılar yasa dışı faaliyetleri yasaklar ve DoS saldırıları, istenmeyen toplu mesajlar, kimlik taklidi veya sahtecilik gibi örnekler sunar.
Ayrıca, bazı satıcılar yasa dışı olma olasılığı yüksek faaliyetleri de yasakladıklarını vurgular. Aşağıda, her satıcı için kabul edilebilir kullanım politikaları ve ekleri (örneğin veri işleme eki) temelinde yasaklanan faaliyetleri listeliyoruz.
Yasa dışı olma olasılığı yüksek faaliyetleri yasaklayacak ve kullanıcı aktivitesine göre tanımlanabilecek terimler aradık. Örneğin, proxy'leri ücretli anketleri almak için kullanan kullanıcıların önemli bir kısmı, gerçek konumları hakkında anket sağlayıcılarını yanıltmak için proxy'leri kullanıyor olabilir. Bu nedenle, bu faaliyet hem yasa dışı olma olasılığı yüksektir hem de kullanıcı aktivitesine göre tanımlanabilir (yani bir kullanıcı ücretli bir anket sitesine giriş yaptığında).
Yasaklanan faaliyetleri açıkça tanımlamak faydalı olsa da, bu bir gereklilik değildir ve puanlarımızı etkilemez. Şirketler, her olası yasa dışı faaliyet örneğinden bahsetmek yerine, yasa dışı faaliyetlere izin vermediklerini belirtmeyi seçebilirler.
Bir faaliyetin yasaklanmış olarak belirtilmesi, bu tür faaliyetlerin gözden geçirileceği veya engelleneceği anlamına gelmez. Puanlarımız, aşağıda belirtildiği gibi bu politikaların nasıl uygulandığına dayanır:
Etik kullanım için süreçler
Kabul edilebilir kullanım politikalarında belirtilen bazı kategoriler oldukça geniştir (örneğin yetkisiz veri kazıma veya erişim), diğerleri ise veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için uygulayabileceği önleyici eylemlere dönüştürülecek kadar spesifiktir (örneğin erişimi engelleme).
Bu spesifik yasaklanan kullanımlara dayanarak, proxy'lerin yasa dışı kullanımları olma olasılığı yüksek kapsamlı bir kullanım listesi hazırladık. Her kullanım durumu için, ilgili web alan adlarını ve eylemleri içeren senaryolar belirledik. Örneğin, yapay sosyal medya katılımı senaryosunda, mevcut bir gönderiyi beğenmek için bir proxy kullanarak bir sosyal ağa giriş yapmaya çalıştık.
Daha sonra, şirketlerin müşteriler tarafından etik dışı kullanıma izin verip vermediğini test etmek için, her sağlayıcının hizmetinde AIMultiple olmayan bir e-posta adresi kullanarak bir hesap oluşturduk. Bu hesapla bir KYC sürecini tamamlamadık ve anonim kullanıcıların her hizmetle ne başarabileceğini anlamak için hizmetleri kullanmaya devam ettik. KYC, kullanıcının temsil ettiği yasal tüzel kişiyi doğrulamak için veri gönderdiği kritik bir adımdır. Bu, kullanıcı aktivitesini bir yasal tüzel kişiye bağlar:
- Sorumluluğu üstlenilebilir.
- Çevrimiçi eylemlerinin gerekçesi (örneğin, hükümet web sitelerine giriş yapmak için proxy kullanma) incelenebilir. Örneğin, kullanım durumlarını anladıktan sonra, bir araştırmacı veya hükümet ajansı bir proxy kullanarak bir hükümet web sitesine giriş yapmaya izin verilebilir.
Bu kullanım durumlarının bir KYC sürecini tetiklemesini bekledik ancak çoğu satıcıda bu gerçekleşmedi. Bir onay işareti, KYC sürecini henüz tamamlamamış kullanıcılar için isteğin engellendiğini gösterir:
Açıklık için, veri toplama hizmeti şirketlerinin bu web sitelerini engellemek için yasal bir yükümlülüğü yoktur ve bu senaryoların bazıları yasal kullanımların bir parçası olabilir. Örneğin, bir araştırmacı kontrollü bir sosyal medya deneyi yürütmek için proxy'lerden yararlanmak isteyebilir. Ancak, bu senaryolardaki kötüye kullanım potansiyeli göz önüne alındığında, veri toplama hizmetlerinin KYC sürecini tamamlamamış kullanıcılar için bunları engellemesini bekledik.
Markaların engelledikleri alan adlarını nasıl ilettiği
- Bright Data, kabul edilebilir kullanım politikasında kısıtlı alan adı kategorilerini listeler.
Web sitelerinin otomatik veri toplama ile ilgili tercihlerine saygı duyma
robots.txt nedir?
robots.txt, Robots Hariç Tutma Protokolünü uygulamak için bir dosya adıdır. Bu protokol, web sitesi sahiplerinin botların ziyaret etmesini tercih etmediği web sitesi bölümlerini belirtmek için web siteleri tarafından kullanılır. robots.txt'ye uyum gönüllüdür.
robots.txt'ye uymanın artıları ve eksileri
➕ Web sitesi tercihlerine saygı duyar.
➖ Son güncellenmemiş olabilir ve bu nedenle güncel olmayabilir.
➖ Genellikle, web sitesi sahibinin web sitesinin belirli halka açık bölümlerinin botlar tarafından erişilmesini tercih etmediğini belirten terimler içerir.
Robots.txt, botlara eşitsiz erişim de sağlayabilir. Örneğin, web sitesi sahipleri, arama motorlarının botlarının ziyaret ettiği belirli URL'leri ziyaret etmeyi tercih etmediklerini belirtebilir.
Robots.txt yasal bir belge değildir ve yasal olarak şunlar için bot erişimini engellemek isteyebilir:
- kazınmasına izin verilen (örneğin halka açık veri) veya
- kazınmasına izin verilmeyen (örneğin, web sitesi sahibinin ToC'sinin böyle verilerin kazınmasını yasakladığı giriş arkasındaki veri).
Web verisi toplama hizmeti sağlayıcıları, konut proxy kullanıcılarından bir KYC sürecini tamamlamalarını ve bu kullanıcılar robots.txt'yi göz ardı edebilmeden önce yasal ve etik bir kullanım durumlarına sahip olduklarını kanıtlamalarını isteyebilir.
Test için, robots.txt tarafından engellenmesi istenen alt klasörlerdeki sayfalara istekler gönderdik. Kullandığımız alan adları aimultiple.com ve en çok ziyaret edilen 100 web alan adı arasından 5 web alan adıydı. Sadece Bright Data bu istekleri engelledi:
CNN örneği
CNN'in robots.txt'si /terms12 klasörünü engeller. Test için, konut proxy'leri ile o klasöre gittik ve Bright Data hariç tüm sağlayıcılardan sayfanın verisiyle 200 mesaj aldık. Bright Data'nın yanıtı şudur: "Konut Başarısız (bad_endpoint): robots.txt'ye uygun olarak, istenen site anında konut (KYC yok) erişim modu için mevcut değildir. Bu siteyi hedeflemek için tam konut erişimi almak için KYC formunu doldurun: https://brightdata.com/cp/kyc".
Kötüye kullanım yönetimi
Satıcıların kötüye kullanım yönetimi uygulamalarını değerlendirmek için bir metodoloji özetledik ve değerlendirme kriterlerimizi karşılamak için veri topladık:
* Geçerli değil: Zyte, proxy'leri diğer proxy sağlayıcılarından satın alır ve bu nedenle Zyte'ın hizmeti kötüye kullanım için kullanıldığında, web sitesi sahipleri Zyte yerine proxy sağlayıcılarına ulaşır.
Tüm satıcılar 3. tarafların veya müşterilerinin onlara ulaşması için araçlar sağlasa da, bunların olması sorun çözümünde önemlidir:
- Halka açık kötüye kullanım politikası
- Kötüye kullanımı bildirmek için özel bir e-posta adresi
- Bildiricilerin şirkete ulaşmasına izin veren alternatif bir iletişim yöntemi (örneğin web formu veya mesajlaşma arayüzü). E-postalar filtrelenip gelen kutusuna ulaşamaması nedeniyle bu yardımcıdır.
- Mesajlara yanıt verme
Ölçütteki 3 sağlayıcı (Bright Data) kötüye kullanımı bildirmek için bir e-posta sağladı. Bu sağlayıcıların hepsi bu alandaki politikalarını da açıkladı.
Bu diğer sağlayıcıların da aynısını yapmasını ve bunun kısa vadede yaygın bir sektör uygulaması haline gelmesini bekliyoruz.
Son olarak, kötüye kullanım raporlarını üçüncü taraf alan adlarından (yani AIMultiple olmayan) e-posta göndererek kötüye kullanım yönetimi yanıt vermesini değerlendirdik ve yanıt sürelerini ölçtük. Bir kötüye kullanım e-posta adresi bulamazsak, bunu genel iletişim formuna gönderdik. Bunu şu tarihlerde gönderilen 3 e-posta grubu üzerinden test ettik:
- 2 Mayıs 2025 Cuma günü:
- Aylık ~30k trafiği olan bir bilet satış hizmetinden
- Aylık ~1k trafiği olan bir hukuk firmasından
- 17 Mayıs 2025'te bilet satış hizmetinden.
- 24 Mayıs 2025'te sınırlı çevrimiçi trafiği olan bir sosyal medya ajansından.
2 Mayıs 2025'te gönderilen ilk e-postalar, özel e-posta sağlayan şirketlere gönderildi. Daha sonra listemizi genişlettik ve ölçütlenen tüm web verisi toplama hizmetlerinin iletişim bölümlerinde listelenen daha genel e-posta adreslerini dahil ettik. Bir şirket e-postalarımıza yanıt verdiyse, onlara daha fazla e-posta göndermeyi durdurduk.
E-postalarımızda, web sitelerimizin proxy'ler aracılığıyla şüpheli bot trafiği aldığını belirttik ve proxy kaynaklarını belirlemelerinde destek istedik. Birini hariç tutarak tüm uyum ekiplerinden bize yanıt alabildik. Neredeyse tüm yanıtlar aynı gün alındı.
Kullanım şeffaflığı
Web verisi sağlayan web sitesi sahipleri ve web toplama hizmetleri, tarihsel olarak veri toplama faaliyetleri hakkında veri değişimi yapmamıştır. Tarama faaliyetlerini sınırlamak için web sitesi sahipleri şunları yapabilir:
- Kötüye kullanımı bildirmek için web verisi toplama hizmetleriyle iletişime geçmek
- Taramayı daha zor hale getirmek için Cloudflare gibi bot yönetim sağlayıcılarıyla çalışmak.
Şimdi, bu taraflar arasında daha yapılandırılmış veri değişimi için girişimler var. Bright Data, web yöneticilerinin web sitelerindeki tarama faaliyetlerini izlemesi için Bright Data Webmaster konsolunu başlattı. Daha fazla şeffaflık, web verisi toplama uygulamalarını iyileştirecektir.
Webmaster konsolu ile deneyimimiz
Alan adı sahipliğini doğrulayarak ve alana bir collectors.txt dosyası ekleyerek kayıt olduk.
Artık web sitemizde Bright Data'dan gelen bot aktivitesine erişimimiz var:
Ölçüt: Etik tedarik
* Bu 3. taraf platformlardaki incelemeler dahil edildi: Amazon Appstore, App Store, Google Play Store, Trustpilot. Kolaylık için, bu değer Bright Data için 5 büyük uygulama için hesaplandı, web sitelerinde yer alan tüm 120 uygulama için değil.
Ortak şeffaflığı
Web verisi altyapısı şirketleri tarafından gereken bant genişliği, internet bağlantısını paylaşma onamı karşılığında faydalar (örneğin ödemeler, reklamları atlayabilme gibi özellikler) sağlayarak etik bir şekilde tedarik edilebilir. Ancak, perakende kullanıcıların sistemlerine yetkisiz erişim sağlamak ve bağlantılarını satmak da mümkündür.
Web verisi altyapısı sağlayıcıları, internet bağlantılarını nasıl edindikleri etrafında şeffaflık yaratmak için politikalar ve süreçler oluşturabilir, dış denetimler yürütebilir ve yaklaşımını ve denetim bulgularını yayınlayabilir. Bu, hizmetlerinin etik tedarikine güveni artırabilir.
Web verisinde tedarik tarafı şeffaflığı için bir çerçeve oluşturduk ve satıcıları bu çerçeve kullanarak derecelendirdik. Bir web verisi toplama hizmeti konut IP'lerini kendisi mi yoksa diğer proxy'ler aracılığıyla mı edindiğine bakılmaksızın bu çerçeveyi uyguladık. Amacımız, etik dışı uygulamaların tedarik zincirinin herhangi bir noktasında kaynaklanabileceğinden IP'lerin tüm tedarik zincirine şeffaflık getirmektir.
Detaylı sonuçlarımızı burada bulabilirsiniz:
Bright Data
Bright Data, yayınladıkları için Seviye 5 olarak sınıflandırılmıştır
- Kaynaklandırma yaklaşımı ve uygulama geliştiricilerin SDK'ları aracılığıyla nasıl çalışabilecekleri13 14
- 120 tedarikçi hakkında detaylar halka açık olarak paylaşıldı. Bu tedarikçilerin 3. taraf platformlardaki incelemelerini kontrol ederek ne kadar popüler olduklarını tahmin edebildik. 15
Seçilen uygulamaların incelemesi
Bright Data, web sitelerinde 120 uygulama paylaşıyor. Bright VPN gibi uygulamalar, ifşaları ve UX açısından 3. taraflar tarafından sertifikalandırılmıştır.16 Ayrıca bu uygulamaları daha detaylı görmek için indirdik:
- Bright VPN
- EarnApp
- Sling Kong
Kişisel olarak tanımlanabilir veri toplamama yükümlülüğü olan onay formu: Açıklayıcı bir onay formu
Bright VPN:
Earn App:
Sling Kong:
- Kullanıcıya oyun sırasında teklif sunulur:
- Onay:
- Onay sırasında ek bilgi:
- Çıkış:
Uygulamalar tarafından sağlanan değer:
- Bright VPN: Ücretsiz VPN hizmeti
- EarnApp: Ödemeler
- Sling Kong: Oyun içi sanal para birimi
Diğerleri
Çoğu sağlayıcı web kazıma etiğinin farkındadır ve bu konuda yayınlamıştır (örneğin 17 , ancak Zyte hariç bu alandaki spesifik taahhütlerini belirlemedik.18
Bunun değişmesini ve çoğu sağlayıcının kısa vadede en az Seviye 1'e geçmesini bekliyoruz.
Dış sertifikasyon
* Şirketin bu kategorideki tüm dış sertifikasyonlara ulaştığını gösterir
Satıcıların müşterilerinin verilerini korumak ve IP'lerini sağlayan uygulamaları güvence altına almak için doğru sistemlere, personele ve süreçlere sahip olması çok önemlidir. Puanlama arkasındaki mantığı görmek için dış sertifikasyon ölçüm metodolojimize bakın.
GDPR ve CCPA uyumu
Tüm satıcılar her iki veri gizliliği düzenlemesine de uyumlu olduklarını kamuya açık olarak iddia ediyor. Bu nedenle, bu puanlamaya dahil edilmedi.
Kurumsal olgunlukları nasıl ölçtük
Bu alanda belirlediğimiz yeteneklere dayanarak, her sağlayıcıda bu sertifikaların varlığını kamuya açık beyanlarını kullanarak kontrol ettik:
- Veri güvenliği sertifikasyonu ve PII sertifikasyonu: 19 20 21 22 23
- IP kaynağı beyaz listeye alındı: 24
- Etik uygulamalar değerlendirildi: 25
ISO 27018 sertifikalarına sahip olmayan bazı sağlayıcılar, ISO 27018 sertifikalarına sahip bulut hizmet sağlayıcılarını kullandıkları için sertifikalı olarak kabul edilmeleri gerektiğini iddia ettiler. Siber güvenlik danışmanımızın görüşü, bunun sertifika edinimini kolaylaştıracağı olsa da, sertifikayı edinmek için politikalarını ve kontrollerini sertifikalandırmaları gerektiğiydi.
Sigorta kapsamı
3 web verisi toplama şirketi sigorta sertifikalarını paylaştı. Sertifikaları yayınlamıyoruz ancak belgeleri şu şekilde inceledik:
- bu 2 sigorta kategorisini kapsıyorlar
- Her kategorideki sigorta limiti ABD Doları cinsinden en az milyonlarca seviyesinde.
Sorumluluk reddi ve sonraki adımlar için öneriler
Bu ölçütteki tüm sağlayıcılar Nimble hariç AIMultiple'ın müşterileridir. Her zaman olduğu gibi, bu araştırma sırasında etik taahhütlerimize uyduk.
Etik web verisi toplama konusunda kapsamlı bir inceleme tamamladık ve bu ölçütün kapsamından memnunuz, ancak katılımını artırmak isteriz. Sigorta kapsamını paylaştıkları için bu şirketlere teşekkür ederiz: Apify, Bright Data, Zyte.
NetNut, Nimble'dan yanıtları bekliyoruz. Onlardan daha fazla güncelleme aldığımızda raporu güncelleyeceğiz. 2 satıcı, bu ölçüt yinelemesine katılmamayı seçti. Bu 7 şirketten herhangi biri, tüm satıcılara karşı adil olan ve işletmelerin daha iyi kararlar vermesine yardımcı olan gerçeklere dayalı değişiklikler önerirse, bu raporu her zaman güncelliyoruz.
Araştırmamıza göre bu, etik web verisine odaklanan ilk rapordur. Bu şeffaflığın, web verisi endüstrisinin zorluklarına yaratıcı çözümler bulmasına yardımcı olmasını umuyoruz. Bu çözümlerin, web verisi toplayıcılarının, web otomasyonu kullanıcılarının, web sitesi sahiplerinin ve IP'lerini endüstriye sağlayan konut kullanıcılarının çıkarlarını dengelemesi gerekecektir.
Metodoloji sınırlamaları
Bu ölçüt, müşteri kullanım kontrolleri, IP tedarik şeffaflığı, dış sertifikasyonlar ve sigorta paylaşımı dahil olmak üzere gözlemlenebilir olgunluk göstergelerini ölçer. Ancak, puanlama bir sağlayıcının her müşteri kullanım durumunda yasal olarak uyumlu olup olmadığını tam olarak belirlemez.
Dolayısıyla, yüksek bir ölçüt puanı, yasal veya etik kullanım garantisi olarak değil, satın alma öncesinde yapılan incelemeye girdi olarak ele alınmalıdır.
Kaynaklar
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Etik ve Uyumlu Web Verisi Ölçütü}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/web-scraping-ethics}},
note = {AIMultiple. Erişim tarihi: 21 Haziran 2026}
}Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.