1.000 Apple App Store sayfasına karşı 6 web kazıma sağlayıcısını karşılaştırdık; toplamda 6.000 istek gerçekleştirdik ve her sağlayıcının başarı oranını, tamamlanma süresini ve döndürdüğü meta veri alanı sayısını ölçtük.

Apple App Store veri çekme performans testi

Tüm sağlayıcılar %100 başarı oranına ulaştığı için, karşılaştırmamızı döndürülen meta veri alanlarının sayısı ve uçtan uca yanıt süreleri üzerinde yoğunlaştırdık. Karşılaştırma süreciyle ilgili ayrıntılar için karşılaştırma metodolojisi bölümünü okuyabilirsiniz.

App Store'dan çekebileceğiniz veri alanları

Yalnızca Bright Data ve SerpApi yapılandırılmış veri döndürdü; Oxylabs, Nimble, Zyte ve Decodo'dan gelen yanıtlar CSS seçiciler aracılığıyla ayrıştırıldı (başlık, derecelendirme ve geliştirici çıkarıldı). Aşağıdaki tabloda, yapılandırılmış veri sağlayıcılarından birinde bulunan ancak diğerinde bulunmayan alanlar listelenmiştir.

Her iki sağlayıcı da başlık, geliştirici, derecelendirme, fiyat, yaş derecelendirmesi, uygulama içi satın alımlar, ekran görüntüleri, yorumlar, derecelendirme sayısı, gizlilik bilgileri ve sürüm bilgileri dahil olmak üzere aynı temel alanları döndürdü.

Apple App Store sağlayıcıları ve kıyaslama sonuçları

Bright Data, Apple App Store için iki adet veri çekme API'si sunmaktadır:

• Apple App Store, URL ile Topla (apps.apple.com): Uygulama ürün sayfalarını tarar ve başlık, derecelendirme, fiyat, ekran görüntüleri, para kazanma özellikleri ve sürüm geçmişi gibi ayrıntılı meta verileri döndürür.
• Apple App Store Yorumları, URL ile Topla (apps.apple.com, 608 alan): Belirtilen uygulama URL'sinden kullanıcı yorumlarını toplar.

Bright Data ayrıca Veri Kümesi Pazaryeri'nde kullanıma hazır iki veri kümesi sunmaktadır:

• Apple App Store veri seti : Uygulama popülerliği, kullanıcı geri bildirimleri ve para kazanma özellikleri hakkında önceden toplanmış meta veriler. Piyasa trend analizi ve uygulama performans değerlendirmesi için kullanışlıdır.
• Apple App Store Yorumları veri seti : önceden toplanmış kullanıcı yorumları. Duygu analizi, rakip karşılaştırması ve kullanıcı etkileşimi içgörüleri için kullanışlıdır.

Apple App Store kıyaslama testinde, Bright Data, %100 başarı oranıyla, test edilen tüm sağlayıcılar arasında en yüksek sayıda yapılandırılmış JSON meta veri alanı döndürdü.

Oxylabs özel bir Apple App Store veri çekme API'si sunmadığı için App Store'a Web Veri Çekme API'si aracılığıyla erişilebilir.

• Web Kazıyıcı API (Evrensel kaynak) : Apple App Store sayfaları da dahil olmak üzere herhangi bir URL'yi işleyen genel bir uç nokta. Oluşturulan HTML'yi döndürür; bu HTML daha sonra özel mantıkla ayrıştırılmalıdır.

Yanıt HTML olduğundan, başlık, derecelendirme ve geliştirici için meta veri alanları CSS seçicileri kullanılarak çıkarıldı. Uçtan uca gecikme, test edilen diğer sağlayıcılara kıyasla orta seviyedeydi.

Decodo, Apple App Store Veri Çekme API'sini kataloğunda yakında kullanıma sunacak şekilde listelemiş olup, bu API'nin uygulama sıralamaları, yorumları, derecelendirmeleri, fiyatlandırması ve diğer meta verileri uygulama performans takibi ve pazar analizi için çıkarmayı planladığı belirtilmektedir. Kullanıma sunulana kadar, Apple App Store URL'leri Web Veri Çekme API'leri aracılığıyla çekilmektedir.

• Web Kazıyıcı API v2 : Herhangi bir URL'yi gönderdiğinizde ve Decodo bunu başsız bir tarayıcıdan geçirdiğinde, genel amaçlı bir kazıma uç noktasıdır. Yanıt, tamamen işlenmiş HTML olarak geri döner ve alan çıkarma (başlık, derecelendirme veya geliştirici gibi) istemci tarafına bırakılır.

Decodo'un uçtan uca yanıt süresi, Oxylabs ile benzer şekilde orta seviye bir aralıkta yer aldı.

SerpApi, Apple App Store için üç özel API sağlar:

• Apple App Store Ürün Sayfası API'si (engine=apple_product): product_id tarafından belirlenen uygulama ürün sayfalarını tarar ve başlık, geliştirici, derecelendirme, derecelendirme sayısı, fiyat, ekran görüntüleri, sürüm geçmişi, uygulama içi satın alımlar, gizlilik bilgileri ve benzer uygulamalar dahil olmak üzere ayrıntılı meta verileri döndürür.
• Apple App Store Yorumları API'si (engine=apple_reviews): Belirli bir uygulama için kullanıcı yorumlarını toplar; sıralama, sayfalama ve ülkeye göre filtreleme desteği sunar.
• Apple App Store Arama API'si (engine=apple_app_store): App Store'da anahtar kelime aramaları yapar ve uygulama listelerini döndürür; keşif, sıralama araştırması ve kategoriye göz atma için kullanışlıdır.

SerpApi önceden oluşturulmuş Apple App Store veri kümeleri sağlamaz; tüm veriler bu canlı uç noktalar aracılığıyla talep üzerine alınır.

SerpApi için Apple App Store Ürün Sayfası API'sini kullandık. Yanıt, istemci tarafında herhangi bir ayrıştırma gerektirmeyen, tamamen yapılandırılmış bir JSON'dur ve uygulama başına 27 meta veri alanı döndürür. Uçtan uca gecikme, test edilen tüm sağlayıcılar arasında en düşük seviyedeydi ve genellikle istek başına bir saniyenin altındaydı.

Nimble adlı kullanıcının Apple App Store'a özel bir ürünü bulunmamaktadır, ancak App Store'dan şu yöntemle veri çekilebilir:

• Veri Çıkarma API'si : render: true ile herhangi bir URL ve bir tarayıcı sürücüsü (biz vx10 kullandık) gönderin. Yanıt, sayfanın render sonrası HTML'sini içerir ve alan çıkarma işlemi istemciye bırakılır.

Apple App Store sayfalarını Nimble ile Extract API'yi gizli işleme kullanarak kazıdık.

Zyte, Apple App Store'dan veri çekmek için, birleşik Zyte API'si aracılığıyla iki farklı yaklaşım sunmaktadır:

• Zyte API'si, browserHtml ile birlikte : herhangi bir URL'yi gönderdiğiniz ve Zyte'nin bunu gerçek bir başsız tarayıcıdan geçirip JavaScript'i çalıştırdığı ve tamamen oluşturulmuş HTML'yi döndürdüğü tek bir uç nokta.
• Zyte API'si httpResponseBody ile birlikte : tarayıcıda görüntülenme olmadan aynı uç nokta, ham HTTP gövdesini döndürüyor.

Apple App Store veri kazıma kıyaslama metodolojisi

1.000 adet Apple App Store ürün sayfası URL'sini 6 farklı web kazıma sağlayıcısına karşı çalıştırdık ve toplamda 6.000 istek oluşturduk. Teste dahil edilen sağlayıcıların tümünün minimum 100 çalışanı olan şirket büyüklüğüne sahip olması gerekiyordu. Aynı URL seti her sağlayıcıya gönderildi ve üç boyut ölçüldü: başarı oranı, uçtan uca tamamlama süresi ve her sağlayıcının sunabileceği meta veri alanı sayısı.

Yanıt türleri

Altı sağlayıcıdan ikisi (Bright Data ve SerpApi) tamamen yapılandırılmış JSON döndürdü. Geri kalan dördü ise sayfayı işlenmiş HTML olarak döndürdü; biz de bunu üç temel alanı hedefleyen CSS seçicilerle ayrıştırdık: başlık, derecelendirme ve geliştirici.

Doğrulama

Her talebin başarılı sayılabilmesi için üç kontrol noktasından geçmesi gerekiyordu:

• Gönderim : HTTP durum kodunun 200-399 aralığında olması veya hatasız bir 404 olması gerekiyordu.
• Yürütme : Asenkron işler yürüten sağlayıcılar için anlık görüntünün hatasız ve zaman aşımı olmadan tamamlanması gerekiyordu.
• Veri kontrolü : Yanıtın gerçekten uygulama verilerini içermesi gerekiyordu. JSON tarafında, title, rating, developer veya number_of_reviews'den en az birinin doldurulmuş olması gerekiyordu. HTML tarafında ise, CSS seçicilerinden en az birinin sayfadaki içerikle eşleşmesi gerekiyordu.

Tamamlama süresi

Süre, isteğin gönderilmesinden nihai yanıtın alınmasına kadar geçen süre olarak, gerçek zaman dilimi üzerinden ölçüldü. Asenkron sağlayıcılar için bu, doğal olarak her türlü kuyruk ve yoklama yükünü de içerir.

URL seçimi

1.000 URL, Apple App Store'un çeşitli kategorilerinden, oyunlar, sosyal medya, verimlilik, finans, fitness ve fotoğraf & video gibi geniş bir yelpazedeki popülerlik seviyelerine sahip uygulamalardan derlenmiştir. URL'ler anahtar kelime aramalarıyla toplanmıştır.

Test koşulları

Karşılaştırmanın adil olması için, her sağlayıcı aynı kısıtlamalar altında çalıştı:

• Sıralı yürütme, her seferinde bir istek, paralellik yok.
• Ardışık istekler arasında 2 saniyelik bekleme süresi
• HTTP 429 hatası 30 saniye boyunca beklemede kaldı, en fazla 3 kez yeniden deneme imkanı var.
• Gönderim için 300 saniyelik zaman aşımı.
• Yürütme işleminde 600 saniyelik zaman aşımı
• Sağlayıcı başına URL başına bir çalıştırma

SSS'ler

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analisti olarak çalışmaktadır. Daha önce çeşitli sektörlerde veri analizi alanında deneyim kazanmış olup, karmaşık veri kümelerini eyleme dönüştürülebilir içgörülere dönüştürme konusunda çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder