Web Veri Kazıma Karşılaştırmaları

AIM Web Data Scraping Index Methodology

Endeks, yayımladığımız her web verisi karşılaştırmasının ham sonuçlarını yeniden kullanır. Bir karşılaştırmanın sayılması için web verisi sağlayıcılarını test etmesi ve her isteğin sonucunu kaydetmesi gerekir. Bir sağlayıcının endeks puanı, katıldığı karşılaştırmalardaki başarı oranlarının ortalamasıdır. Her karşılaştırma eşit ağırlık taşır; yani 1.400 istekli bir çalışma, 260.000 istekli bir çalışma kadar sayılır. Başarı, yanıtın hedef sayfayı istediğimiz içerikle döndürmesi demektir. Bunu bot sayfalarına ve boş kabuklara karşı kontrol ederiz; bu nedenle doğrulama sayfası içeren bir 200 yanıtı başarısızlık sayılır. Bir sağlayıcı bir karşılaştırmada hiç test edilmediyse sıfır yerine tire gösteririz.

Hedefler, birkaç trafik sıralamasının ortalamasını alarak alan adlarını sıralayan Tranco listesinden gelir. Test öncesinde ölü, yetişkin, kumar ve zararlı sunucuları çıkarırız. Alan adları şu kategorilere ayrılır: e-ticaret, sosyal medya, arama motorları, video ve yayın, seyahat, değerlendirmeler, yemek teslimatı, uygulama mağazaları, emlak, iş ilanları, haber ve yayıncılık, geliştirici ve SaaS, finans ve kamu ve eğitim. Alan adı kapsamı ve yapılandırılmış JSON desteği ilk 100 alan adında kontrol edilir. Maliyet, gönderilen 1.000 istek başına değil, başarılı 1.000 sayfa başınadır. Sağlayıcının o hacimde sunduğu en ucuz planı alır ve ölçtüğümüz başarı oranına böleriz. Tamamlanma süresi, bir isteğin baştan sona ne kadar sürdüğüdür. Üst veri alanları, sağlayıcı JSON ile yanıt verdiğinde döndürdüğü ayrıştırılmış alanlardır. AI ready, temiz markdown olarak geri gelen yanıtların oranıdır. Bot engelleme sonuçları iki çalışmamızdan gelir: 10.000 alan adındaki unblocker karşılaştırması ve ilk 100 alan adındaki e-ticaret karşılaştırması; her alan adı onu koruyan sağlayıcıyla etiketlenmiştir. Bıyıklar %95 güven aralıklarıdır.