En İyi 4 Play Veri Kazıma Sağlayıcısı Karşılaştırması
Play Store ürün sayfalarının URL'leri üzerinden toplam 4.000 istek göndererek dört web kazıma sağlayıcısını karşılaştırdık. Her istek için, sağlayıcının verileri ne kadar güvenilir bir şekilde döndürdüğünü, gönderimden nihai yanıta kadar geçen süreyi ve yanıtın kaç meta veri alanı içerdiğini ölçtük.
Google Veri kazıma kıyaslama testi oynayın
Sonuçlara yalnızca başarı oranı %90'ın üzerinde olan sağlayıcılar dahil edilmiştir.
Kıyaslama süreciyle ilgili daha fazla ayrıntı için kıyaslama metodolojisi bölümüne bakınız.
Google Play'den hangi verileri kazıyabilirsiniz?
Yalnızca Bright Data ve SerpApi yapılandırılmış çıktı döndürdü. Döndürdükleri alanlar büyük ölçüde aynıydı, ancak badges ve editors_choice (yalnızca SerpApi'de) ve currency, minimum_requirements ve id (yalnızca Bright Data'te) istisna teşkil ediyordu.
Google Oyun kazıma sağlayıcıları
Bright Data için Google Play için iki adet veri çekme API'si mevcuttur:
- Google Play Store, URL ile Topla (
play.google.com): uygulama ürün sayfalarını hedef alır ve başlık, geliştirici, derecelendirme, yükleme sayıları, içerik derecelendirmesi, para kazanma özellikleri, yenilikler notları, ekran görüntüleri ve sürüm bilgileri dahil olmak üzere ayrıntılı meta verileri çeker. - Google Play Store Yorumları, URL ile Topla (
play.google.com): Geçirilen herhangi bir uygulama URL'si için yorum geçmişini çeker.
Google Play için iki hazır veri seti de Bright Data'ün Veri Seti Pazaryerinde mevcuttur:
- Google Play Store veri seti : Derecelendirmeler, açıklamalar, güncelleme geçmişi ve geliştirici bilgileri gibi uygulama meta verilerinin önceden oluşturulmuş bir koleksiyonu. Yaygın kullanım alanları performans analizi, pazar araştırması ve davranışsal içgörülerdir.
- Google Play Store Yorumları veri seti : Katalogdaki uygulamalarla bağlantılı önceden toplanmış yorumlar. Genellikle duygu analizi çalışmaları, yorum izleme ve rakip geri bildirimlerini takip etmek için kullanılır.
Karşılaştırma testi için, Google Play Store URL'lerini Bright Data'ün Google Play Store, URL ile Topla API'si üzerinden çalıştırdık. Yanıt, testteki diğer sağlayıcılardan daha fazla olmak üzere, uygulama başına 26 meta veri alanı içeren yapılandırılmış JSON olarak geri döndü.
Google Play için, SerpApi mağazanın farklı bölümlerini hedefleyen çeşitli uç noktalar sunmaktadır:
- Google Play Store API (
engine=google_play): Google Play Store'un tamamında anahtar kelime aramaları yapar ve sıralanmış uygulama listelerini döndürür. - Google Play Games API : Arama sonuçlarını özellikle Oyunlar kategorisine göre filtreler.
- Google Play Filmler API'si : Google Play'deki film mağazasını tarar.
- Google Play Books API : Google Play'deki kitap mağazasını tarar.
- Google Play Ürün API'si (
engine=google_play_product): Bir uygulamanınproduct_id'ü verildiğinde, bu uç nokta tüm ürün sayfasını tarar ve başlık, geliştirici, derecelendirme, indirmeler, içerik derecelendirmesi, uygulama içi satın alımlar, yenilikler, ekran görüntüleri, derecelendirme dağılımı, yorumlar ve benzer uygulamaları kapsayan ayrıştırılmış JSON döndürür.
SerpApi kataloğunda önceden toplanmış Google Play veri seti bulunmamaktadır. Her istek canlı uç noktaya ulaşır ve yeni veriler döndürür.
Play Ürün API'sini kullanarak Play uygulama sayfalarından veri topladık. Yanıt, ayrıştırılmış JSON olarak geldiğinden, istemci tarafında HTML ayrıştırmasına gerek yoktur. Uçtan uca yanıt süreleri, karşılaştırma testindeki en kısa sürelerdi ve sıklıkla bir saniyenin altında tamamlandı.
Nimble, Google Play için özel bir API sunmamaktadır. Google Play ürün sayfalarını kazımak için, istekleri genel Extract API'leri aracılığıyla gönderdik.
Bu uç nokta, render: true bayrağı ve gizli bir tarayıcı sürücüsü (biz vx10 kullandık) ile birlikte herhangi bir URL'yi kabul eder ve sayfayı işlenmiş HTML olarak döndürür.
Zyte, Google Play için tek uç noktalı bir yaklaşım benimser. Aynı Zyte API'si her isteğe hizmet eder ve davranış, yük üzerindeki bir bayrakla kontrol edilir. browserHtml: true ayarı, başsız bir tarayıcı başlatır, sayfanın JavaScript'ini çalıştırır ve tamamen oluşturulmuş HTML'yi döndürür; bu, Google Play ürün sayfaları için gerçekten çalışan tek moddur.
Alternatif yöntem olan httpResponseBody: true, tarayıcıda görüntülemeyi atlar ve ham HTTP gövdesini döndürür, ancak bu modda sayfa içeriğinin çoğu eksiktir.
Google Play için, _browserHtml: true ile Zyte API'si üzerinden istekler gönderdik.
Sağlayıcılar Google Play'deki kullanıcı yorumlarını nasıl ele alıyor?
Bright Data, özellikle yoğun yorum içeren kullanım durumları için yapılandırılmış, ürün sayfası veri setinin yanı sıra ayrı bir Google Play Yorumları veri seti sunmaktadır.
SerpApi'nin Google Play Ürün API'si, her ürün sayfası yanıtıyla birlikte son yorumları satır içi olarak döndürür ve all_reviews=true parametresiyle tüm yorum geçmişinde sayfalama yapmayı destekler.
Nimble ve Zyte numaralı ürünlerin incelemeye özel bir ürünü bulunmamaktadır. İncelemeler , CSS seçicileri kullanılarak oluşturulan HTML sayfasından yine de ayrıştırılabilir, ancak ürün sayfası yalnızca az sayıda öne çıkan incelemeyi gösterir. Bu şekilde tam inceleme listesini çekmek, "Tüm incelemeleri gör" bölümünün ayrı olarak yüklenmesini gerektirir ve bu da ek kazıma adımları ekler.
Google Oyun kazıma kıyaslama metodolojisi
Toplam 6.000 istek için 1.000 gerçek Play Store ürün sayfası URL'si üzerinde altı web kazıma sağlayıcısını karşılaştırdık.
Bir talebin başarılı sayılabilmesi için sırayla üç koşulu yerine getirmesi gerekiyordu:
- Sağlayıcının 200 ile 399 aralığında bir HTTP durum koduyla veya hatasız bir 404 yanıtıyla karşılık vermesi gerekiyordu.
- İşlem, zaman aşımına uğramadan veya hata vermeden tamamlanmalıydı.
- Yanıtın gerçekten de çıkarılabilir veri içermesi gerekiyordu. JSON çıktıları için bu,
title,rating,developerveyanumber_of_reviews'ten en az birinin doldurulmuş olması anlamına geliyordu. HTML çıktıları için ise, kıyaslamadan önce topladığımız ve listelediğimiz CSS seçicilerinden en az birinin eşleşmesi gerekiyordu.
İşlemin tamamlanma süresi, isteğin gönderildiği andan nihai yanıtın geldiği ana kadar geçen süre olarak, gerçek zaman dilimi üzerinden ölçülmüştür. Asenkron sağlayıcılar için bu, doğal olarak kuyrukta bekleme ve yoklama gecikmelerini ortadan kaldırır.
1.000 URL, oyunlar, sosyal medya, verimlilik, finans, fitness ve fotoğraf & video gibi kategorilerde anahtar kelime aramaları yapılarak ve ardından product_id ile yinelenenler ayıklanarak derlendi. Sonuç, geniş bir popülerlik düzeyi ve uygulama türü yelpazesini kapsıyor.
Tüm sağlayıcılar aynı kısıtlamalar altında çalıştı: paralellik olmadan tek seferde bir istek, ardışık istekler arasında 2 saniyelik boşluk, HTTP 429 için 30 saniyelik geri çekilme (en fazla 3 yeniden deneme), 300 saniyelik gönderim zaman aşımı, 600 saniyelik yürütme zaman aşımı ve sağlayıcı başına URL başına tek çalıştırma.
SSS'ler
Play Store, Android uygulamaları için en büyük dağıtım kanalıdır ve ürün sayfaları, faydalı pazar sinyallerinin geniş bir yelpazesini ortaya koymaktadır: kategoriler içindeki uygulama sıralamaları, fiyatlandırma, uygulama içi satın alma kademeleri, tam indirme aralıkları, sürüm sıklığı, yenilikler, içerik derecelendirmesi ve "bu geliştiriciden daha fazlası" bölümleri. Şirketler bu verileri, rakiplerin yayın zamanlamasını takip etmek, uygulamalar genelinde para kazanma değişikliklerini izlemek, ASO anahtar kelime araştırma süreçleri oluşturmak, inceleme akışlarını NLP modellerine beslemek ve bölgeler genelinde indirme büyümesini karşılaştırmak için kullanır. Anlamlı bir ölçekte manuel veri toplama gerçekçi değildir.
Herkese açık Google Play sayfalarına kimlik doğrulaması olmadan erişilebilir ve kamuya açık web verilerinin kazınması birçok yargı bölgesinde yasal kabul edilir, ancak kurallar farklılık gösterir. Google'un Hizmet Şartları otomatik erişimi kısıtlar, bu nedenle pratik hususlar önemlidir: sunucu hız sınırlarına saygı gösterin, herhangi bir giriş veya ödeme duvarını atlamayın, kamuya açık olarak görüntülenenlerin ötesinde yorumcular hakkında kişisel veri toplamayın ve verilerin yeniden dağıtılıp dağıtılmayacağını veya satılıp satılmayacağını kontrol edin. Ticari kullanım durumları için, kendi yargı bölgenize özgü yasal tavsiye almak en güvenli yoldur.
Evet, geliştiriciler kullanıcı yorumlarına yanıt verdiğinde, bu yanıtlar herkese açık yorum verilerinin bir parçası olur. Yorumları döndüren sağlayıcılar (Bright Data'ün Yorumlar veri seti, SerpApi ile all_reviews=true), varsa orijinal yorumun yanına geliştiricinin yanıt metnini de ekler.
Evet. Play Store, kategori bazında en çok izlenen uygulamaların (en iyi ücretsiz, en iyi ücretli, en çok gelir getiren) sayfalarını gösterir. Çoğu veri kazıma sağlayıcısı bu sayfaları doğrudan alabilir ve Play Store API'sinde bu sayfaları yapılandırılmış JSON olarak almak için özel bir parametre bulunur. Bu, bir kategori içinde zaman içinde hangi uygulamaların sıralamada yükselip düştüğünü izlemek için kullanışlıdır.
Evet. version ve updated_on alanları, Google Play ürün sayfalarında görünür ve yapılandırılmış sağlayıcılar tarafından döndürülür. Sayfayı periyodik olarak kazımak ve değerleri karşılaştırmak, Google'un resmi kanallarına güvenmeden yeni sürümleri tespit etmenin yaygın bir yoludur.
Kısmen. Genel veri kazıma yaklaşımı herhangi bir Play Store sayfasında çalışır, ancak alan yapısı mağaza türüne göre farklılık gösterir. Kitaplar ve filmlerin uygulamalardan farklı meta verileri (yazar, çalışma zamanı, yayıncı) vardır. SerpApi her mağaza için ayrı motorlara sahiptir (google_play_movies, google_play_books, google_play_games). Bright Data'ün uygulama veri seti uygulamalara özgüdür ve diğer mağaza türleri için farklı bir veri setine ihtiyaç duyar.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.