Uzaktan Tarayıcılar: Yapay Zeka Ajanları için Web Altyapısının Karşılaştırılması
Yapay zekâ ajanları, veri kazıma önleme önlemleriyle engellenmeden web görevlerini otomatikleştirmek için uzaktan tarayıcılara güvenir. Bu tarayıcı altyapısının performansı, bir ajanın başarısı için kritik öneme sahiptir.
Başarı oranı, hız ve özellikler açısından 8 sağlayıcıyı karşılaştırdık. Bunu yapmak için, her hizmet için 4 farklı senaryoyu 5 kez çalıştırarak 160 otomatik görev gerçekleştirdik ve gerçek dünya performanslarını ölçtük. Ayrıca 250 paralel yapay zeka ajanıyla bir yük testi de yaptık.
En iyi uzaktan tarayıcı performans test sonuçları
İşte kıyaslama testimiz sırasında gösterdikleri yetenek ve performansa göre en iyi uzaktan erişim tarayıcıları:
Sağlayıcı | Bileşik puan | Başarı oranı tarayıcı otomasyonu | Hız | Özellikler | Ölçeklenebilirlik puanı |
|---|---|---|---|---|---|
%97 | %95 | %100 | %95 | %81 | |
BrowserAI | %87 | %85 | %90 | %86 | %86 |
Çapa tarayıcısı | %82 | %70 | %86 | %91 | – |
Çelik.dev | %72 | %70 | %99 | %45 | – |
Browserbase | %65 | %50 | %94 | %50 | – |
Hipertarayıcı | %62 | %60 | %84 | %41 | – |
%57 | %55 | %78 | %36 | %51 | |
Airtop | %44 | %40 | %42 | %50 | – |
Bileşik puan, başarı oranı, hız ve özellik puanlarının ortalamasıdır. Tek görevli senaryolarda bir sağlayıcının temel performansını yansıtır.
Ölçeklenebilirlik puanı, bir sağlayıcının yüksek eşzamanlılık yük testi sırasındaki başarı oranını temsil eder. Bu ölçüt, yüksek hacimli paralel görevlere maruz kaldığında altyapının istikrarını ve güvenilirliğini açıkça değerlendirir. Bu yoğun yük testi her satıcı için gerçekleştirilemediğinden, ölçeklenebilirlik puanı ayrı bir ölçüt olarak sunulmaktadır.
Puanlama sistemimizin her bir bileşeni aşağıda açıklanmıştır:
Başarı oranı
Karşılaştırma sonuçlarının değerlendirilmesi, önde gelen sağlayıcılar arasında yetenekler açısından farklılıklar olduğunu ortaya koymaktadır:
- Bright Data %95'lik bir başarı oranına ulaşmıştır.
- BrowserAI, Steel.dev ve Anchor Browser'ın başarı oranları sırasıyla %85, %70 ve %70'tir.
- Browserbase ve Airtop'un başarı oranları daha düşüktür (sırasıyla %50 ve %40).
Bu başarı oranlarını nasıl hesapladığımızı anlamak için lütfen uzaktan tarayıcı metodolojimize bakın.
Hız
- Bright Data'nın hız puanı %100'dür.
- BrowserAI, en kısa tarayıcı başlatma süresine sahiptir (ortalama 1 saniye).
- Airtop en uzun internet kullanım süresine sahip (ortalama 160 saniye).
Hız puanı , uzaktan tarayıcı hizmetinin verimliliğini ölçer ve tanımlanmış bir zaman birimi başına tamamlanan başarılı görev sayısını gösterir. Genel verimliliği ve işlem kapasitesini yansıtır.
Doğru sonuçlar için tarama süresi (ort.), uzaktan tarayıcının web sayfalarıyla aktif etkileşimi sırasında, başarıyla tamamlanan bireysel görevler için geçen ortalama süreyi ölçer. Bu süre, sayfa navigasyonu, JavaScript oluşturma ve doğrudan öğe etkileşimleri (örneğin, tıklamalar, yazma) için harcanan zamanı içerir.
- Bu ölçüm, ajan tarafındaki kasıtlı gecikmeleri veya Büyük Dil Modelleri (LLM'ler) gibi harici bileşenlerin işlem sürelerini dışlar.
Tarayıcı başlatma süresi (ort.), bir oturum oluşturma veya oturuma bağlanma isteği yapıldıktan sonra uzak tarayıcı oturumunun hazır hale gelmesi için geçen ortalama süreyi ölçer.
Doğru sonuçlar için toplam süre (ort.), tamamlanan bireysel görevler için ortalama uçtan uca süreyi temsil eder.
- Bu ölçüm, tarayıcı başlatma süresini, tüm aktif tarama/etkileşim sürelerini, aracı tarafındaki işlemleri veya kasıtlı gecikmeleri ve görevin yürütme akışının bir parçası olan harici hizmetlerle (örneğin, LLM'ler) iletişim gecikmelerini içerir.
Bu puanların nasıl hesaplandığını ve en iyi performans gösteren tarayıcıları birbirinden ayıran özellikleri anlamak için lütfen doğru sonuçlar için toplam süre metodolojimize bakın.
Ölçeklenebilirlik
Uzaktan tarayıcı ölçeklenebilirlik kıyaslama metodolojisine göre gerçekleştirilen yük testimizde, altyapı performansını stres altında ölçmek için 250 eş zamanlı ajan kullanıldı. Test, aşağıdaki önemli farklılıkları ortaya koydu:
- BrowserAI, %86,4'lük başarı oranıyla en yüksek başarıyı elde etti ve işlemi 220 saniyede tamamladı.
- Bright Data %81,2'lik bir başarı oranı ve toplam 254 saniyelik bir yürütme süresi kaydetti.
- ZenRows, %51,2'lik başarı oranı ve 195 saniyelik toplam yürütme süresiyle tamamlandı.
Performans farklılıklarının ardındaki nedenler
Yaptığımız karşılaştırmalı test sonuçları, önde gelen uzaktan erişim tarayıcı sağlayıcıları arasında güvenilirlik, hız ve ölçeklenebilirlik açısından farklılıklar olduğunu göstermektedir. Bu farklılıklar esas olarak altyapı tasarımı, oturum yönetimi ve otomasyon odaklı özelliklerin geliştirilmesindeki farklılıklardan kaynaklanmaktadır.
1. Altyapı ve kaynak tahsis stratejileri
Daha gelişmiş, dağıtık altyapıya sahip sağlayıcılar genellikle daha yüksek başarı ve hız puanları elde ederler.
- Bright Data, %95'lik başarı oranı ve mükemmel %100'lük hız puanıyla öne çıkıyor; bu da güçlü yük dengeleme, hızlı tarayıcı örneği sağlama ve istikrarlı oturum izolasyonunu gösteriyor.
- BrowserAI , başarı oranında Bright Data'nın biraz gerisinde olsa da, en hızlı başlatma süresini (1 saniye) göstererek, örnek başlatma işleminin son derece optimize edildiğini ortaya koyuyor.
Buna karşılık, Airtop ve Browserbase gibi daha düşük performanslı sağlayıcılar, daha yavaş tedarik kuyruklarına veya daha az optimize edilmiş yürütme ortamlarına güvenebilirler; bu da başarı oranlarının daha düşük (%40-50) ve tarama veya toplam yürütme sürelerinin önemli ölçüde daha yüksek olmasına katkıda bulunur.
2. Tarayıcı motoru optimizasyonları ve otomasyona hazır olma durumu
Başarı oranları, her sağlayıcının form doldurma, DOM oluşturma, gezinme ve JavaScript ağırlıklı iş akışları gibi otomatik etkileşim modellerini ne kadar iyi desteklediğine bağlı olarak önemli ölçüde farklılık gösterir.
- Bright Data, BrowserAI ve Steel.dev, gezinme, ayrıştırma ve etkileşim içeren görevleri sürekli olarak başarıyla tamamlıyor çünkü tarayıcıları otomasyon iş yükleri için optimize edilmiş görünüyor (örneğin, yönlendirmeleri, açılır pencereleri, JS oluşturmayı ele alma).
- Özellikler ve başarı oranı açısından daha düşük puan alan ZenRows ve Hyperbrowser , tam otomasyon kapsamına sahip olmayabilir veya karmaşık web sitelerinde zorluklarla karşılaşabilir.
Otomasyona özgü istikrar, özellikle çok adımlı etkileşimler gerektiren görevlerde (e-ticaret alışverişleri, potansiyel müşteri çıkarma) sonuçlardaki dağılımın temel nedenlerinden biri gibi görünüyor.
3. Gecikme süresi ve tarama verimliliği
Doğru sonuçlara ulaşmak için geçen tarama sürelerindeki farklılıklar, her bir uzaktan tarayıcının sayfaları ne kadar verimli işlediğinde ortaya çıkan farklılıkları vurgulamaktadır:
- Bright Data ve BrowserAI, sayfaları yaklaşık 2 saniyede yükleyip bunlarla etkileşime giriyor; bu da etkili önbellekleme, verimli ağ yönlendirmesi ve hızlı JS yürütme ortamlarının bir göstergesi.
- Ortalama 13,6 saniyelik tarama süresiyle Airtop , muhtemelen daha yüksek ağ gecikmesi, daha yavaş JS yürütmesi veya konteyner/VM düzeyinde kaynak tahsisinde darboğazlar nedeniyle önemli ölçüde daha yavaş işlem yaptığını gösteriyor.
Bu faktörler hem hız puanını hem de görev tamamlama tutarlılığını doğrudan etkiler.
4. Özelliklerin eksiksizliği ve görev kapsamı
Bazı sağlayıcılar, proxy rotasyonu , CAPTCHA işleme ve engelleme önleme mekanizmaları gibi daha zengin özellik setleri sunarak karmaşık senaryolarda (örneğin, Görev 2'deki Google araması + LinkedIn taraması) daha yüksek güvenilirlik sağlarlar.
- Bright Data (%95 özellik kapsamı) ve Anchor Browser (%91), karmaşık otomasyon akışlarını destekleyen güçlü bir yetenek kapsamı sergiliyor .
- Steel.dev (%45) ve Hyperbrowser (%41) daha sınırlı yetenekler sunmaktadır; bu da çok adımlı görevlerdeki daha düşük başarı ve hız puanlarını açıklayabilir.
Özellik olgunluğu, kıyaslama ölçütü genelindeki bileşik puanla doğrudan ilişkilidir.
5. Yüksek eşzamanlılık altında ölçeklenebilirlik
250 eş zamanlı ajan kullanarak gerçekleştirdiğimiz yük testi, altyapıların baskı altında ne kadar iyi ölçeklenebildiği konusunda çarpıcı farklılıklar ortaya koyuyor:
- BrowserAI, hızlı toplam yürütme süreleriyle en yüksek ölçeklenebilirlik başarı oranına (%86,4) ulaşarak optimize edilmiş orkestrasyon ve etkili otomatik ölçeklendirme sağlıyor.
- Bright Data, %81,2'lik ölçeklenebilirlik oranıyla oldukça iyi bir performans sergiliyor, ancak yürütme süreleri biraz daha uzun.
Bu ölçeklenebilirlik varyasyonu, kurumsal veya yüksek işlem hacmi gerektiren iş yükleri için kritik öneme sahiptir.
Uzaktan tarayıcı kıyaslama metodolojisi
Karşılaştırma yöntemimiz, her bir uzak tarayıcının gerçek dünya performansını iki temel boyutta değerlendirmek üzere tasarlanmıştır: tek görev yürütme ve yük altında ölçeklenebilirlik .
Gelişmiş bir LLM tarafından desteklenen aracıları kullanarak, yaygın otomasyon senaryolarını taklit eden bir dizi gerçekçi, çok adımlı görevi yerine getirdik.
Adil ve tutarlı bir kıyaslama sağlamak için, Playwright otomasyon kütüphanesi aracılığıyla programatik kontrol sunan hizmetlere odaklandık. Bu, tüm sağlayıcıları test etmek için aynı kod tabanını kullanmamızı sağladı.
Tek Görev Performans Değerlendirmesi
Bu kıyaslama testinin bu bölümü, her bir sağlayıcının ayrı ayrı, bağımsız otomasyon görevlerini yerine getirirkenki güvenilirliğini ve hızını değerlendirir.
Başarı oranını nasıl ölçtük
Başarı oranı, tarayıcı altyapısının güvenilirliğini ölçer. Bir görev, ancak ajanın baştan sona nihai, doğrulanabilir hedefine ulaşması durumunda "başarılı" olarak işaretlenmiştir. Bu puan, tarayıcının karmaşık web sitelerini işleme, engellemelerden kaçınma ve ajan için istikrarlı bir ortam sağlama yeteneğini yansıtır.
Aşağıdaki dört temel görevi gerçekleştirdik:
- Görev 1 – e-ticaret (Yapay Zeka Alıcısı):
- Senaryo: Bir yapay zekâ ajanı, bir bütçe ve hediye fikirleri alır. En iyi hediyeyi belirlemek ve satın almak için bir e-ticaret sitesini tarar.
- Amaç: Başarılı bir şekilde arama yapmak, sitede gezinmek, formları doldurmak ve son satın alma onay adımına ulaşmak.
- Görev 2 – Potansiyel müşteri oluşturma (Yapay Zeka Destekli Satış Geliştirme):
- Senaryo: Bir yapay zeka ajanı bir şirket adı alır. Eşleşen kişileri bulmak için, ajan LinkedIn gibi kaynaklardan herkese açık olarak indekslenmiş profiller için hedefli bir Google araması gerçekleştirir. Ardından, potansiyel müşteri adaylarının adlarını ve profil URL'lerini çıkarmak için arama sonuçları sayfasını tarar.
- Amaç: Arama sonuçlarından en az bir geçerli potansiyel müşteri belirlemek ve erişimlerini doğrulamak için LinkedIn profil sayfalarına gitmek.
- Görev 3 – seyahat planlaması (seyahat asistanı):
- Senaryo: Bir yapay zeka ajanı, otel bulmak için Booking.com'a gidiyor. Varış yerini (Miami, South Beach) giriyor, giriş ve çıkış tarihlerini (16-17 Haziran 2025) seçiyor ve arama yapıyor. Sonuç sayfasında, ajan listelenen otelleri tanımlamalı ve ayrıştırmalı, belirtilen fiyat aralığında (100 – 200 $) olan otelleri bulmak için filtrelemelidir.
- Amaç: Tüm kriterlere (konum, fiyat ve tarih) uyan en az iki oteli başarıyla tespit edip listelemek.
- Görev 4 – Web Formları (Form Doldurucu):
- Senaryo: Bir yapay zeka ajanı, kurumsal bir web sitesine (aimultiple.com) gider ve öncelikle çerez onayı açılır pencerelerini ele almalıdır. Ardından, bülten abonelik formunu bulur, test amaçlı bir e-posta adresi (test@example.com) girer ve kaydı tamamlamak için 'Abone Ol' düğmesine tıklar.
- Amaç: Formu başarıyla göndermek ve onay aşamasına ulaşmak.
Doğru sonuçlar için toplam süreyi nasıl ölçtük?
Bu ölçüt, hizmetin genel hızını ve verimliliğini ölçer, ancak yalnızca başarılı çalıştırmalar için hesaplanır. Bu, sağlayıcıların başarısız denemelerde harcanan zaman için cezalandırılmadan, bir görevi ne kadar hızlı ve doğru bir şekilde tamamlayabildiklerine göre değerlendirilmesini sağlar.
Test başlatıldığı anda saat işlemeye başlar ve ajan nihai hedefini başarıyla tamamladığında durur. Bu uçtan uca süre, aşağıdakileri içeren kapsamlı bir rakamdır:
- Tarayıcı Başlangıç Süresi: Uzak tarayıcıya bağlanmak ve komutlar için oturumu hazır hale getirmek için gereken ilk süre.
- Sayfa Gezinme ve Oluşturma: Tüm page.goto() çağrılarının yürütülmesi ve karmaşık JavaScript de dahil olmak üzere sayfaların tamamen yüklenmesi ve oluşturulması için harcanan süre.
- Ajanın "Düşünme" Süresi: Bir sonraki eyleme karar vermek için Büyük Dil Modeli'ne (LLM) yapılan tüm çağrılar arasındaki gecikme süresi.
- Araç Yürütme Süresi: .click(), .fill() gibi her tarayıcı etkileşiminin ve veri çıkarmak için özel komut dosyalarının çalıştırılmasının toplam süresi.
Daha iyi (daha hızlı) bir skora ne yol açar?
Grafikte daha düşük bir süre, daha verimli bir tarayıcı altyapısını gösterir. Sağlayıcılar, bu alanlarda üstün performans göstererek daha iyi bir puan elde ederler:
- Hızlı oturum başlatma: Düşük gecikmeli bağlantılar ve hızlı tarayıcı başlatma süreleri sunarak ilk bekleme süresini en aza indirir.
- Etkin sayfa oluşturma: JavaScript ağırlıklı sayfaları ve dinamik içeriği hızla işleyerek, aracının öğelerle daha çabuk etkileşime girmesini sağlar.
- Kararlı ve duyarlı altyapı: Çok adımlı görevler sırasında takılma veya çökmeler olmadan performansı koruyarak, tarayıcı etkileşimlerinin (.click(), .fill()) gecikme olmadan yürütülmesini sağlar.
Örnek bir hesaplama
Bunu daha iyi anlamak için, varsayımsal bir "Sağlayıcı X"in 10 görev çalıştırıldıktan sonra grafiğimizde nasıl görüneceğine bir bakın:
- Başarı oranı hesaplaması:
- X sağlayıcısı 7 görevi başarıyla tamamladı , 3 görevi ise başaramadı .
- Başarı oranı %70'tir . Bu, x eksenindeki konumunu belirler.
- Ortalama süre hesaplaması:
- 7 başarılı görevin tamamlanma süreleri sırasıyla 90 saniye, 95 saniye, 100 saniye, 105 saniye, 110 saniye, 115 saniye ve 120 saniyedir.
- Başarısız olan 3 görevin süreleri tamamen göz ardı edilmiştir .
- Ortalama süre yalnızca başarılı denemelerden hesaplanır:
(90 + 95 + 100 + 105 + 110 + 115 + 120) / 7 = 105 saniye - Bu 105s değeri, y eksenindeki konumunu belirler.
Bu nedenle, Sağlayıcı X, performans grafiğinde (70%, 105s) koordinatlarına yerleştirilecektir. Bu metodoloji, grafiğin her bir hizmetin hem güvenilirliğini hem de gerçek hızını doğru bir şekilde yansıtmasını sağlar.
Sağlayıcıya özgü yapılandırmalar
Her bir hizmetin amaçlanan kullanım durumlarını yansıtan adil ve tutarlı bir kıyaslama sağlamak için, testler sırasında belirli abonelik planları ve yapılandırmaları kullanılmıştır:
- Steel.dev: Geliştirici planı.
- Hyperbrowser: Ölçeklendirme planı.
- Çapa Tarayıcısı: Tüm görevler için aşağıdaki belirli parametreler etkinleştirildi:
- dedicated_sticky_ip: True
- ekstra_gizlilik: {“aktif”: True}
Bu yapılandırmalar, performans sonuçlarına bağlam sağlamak amacıyla belirtilmiştir; çünkü farklı planlar veya ayarlar farklı sonuçlar doğurabilir.
Ölçeklenebilirlik performans değerlendirmesi (yük testi)
Bu kıyaslama testi, eş zamanlı yük altında uzaktan tarayıcı altyapısının performansını ölçer. Birincil ölçüt, 250 aracının paralel olarak çalıştırılması durumunda tamamlanan görev sayısından hesaplanan başarı oranıdır.
Test mimarisi ve yürütülmesi
Kullanılan test mimarisi, 250 işçi sürecinden oluşan bir havuzu oluşturmak ve yönetmek için multiprocessing kütüphanesini kullanan bir Python düzenleyici betiği içeriyordu. Her süreç bağımsız olarak çalışarak, gerçek dünyadaki büyük ölçekli bir dağıtımı simüle etmek için yüksek eşzamanlılık ortamı oluşturdu.
- Görev dağıtımı: Her bir temsilciye önceden tanımlanmış bir listeden benzersiz bir ürün arama sorgusu atandı. Bu yaklaşım, sunucu tarafı önbelleklemeden kaynaklanabilecek potansiyel performans artışını önler ve daha çeşitli bir kullanım modelini simüle eder.
- Veri toplama: Orkestratör, yürütme sonrası analiz için her bir çalışan süreçten günlükleri ve yapıtları (HTML içeriği, ekran görüntüleri) bir araya getirdi.
Temsilci iş akışı
250 ajanın her biri Amazon.com'da bir dizi otomatik adım gerçekleştirdi. Bir görev, ancak tüm iş akışı tamamlandığında başarılı olarak kaydedildi. Sıralama şu şekildeydi:
- Bağlantı: Aracı, sürücü URL'si aracılığıyla sağlayıcının uzak tarayıcısına bir bağlantı kurdu.
- İlk gezinme: Web sitesinin ana sayfasına yönlendirildi ve devam etmek için gerekli olan bot karşıtı doğrulama işlemlerini tamamladı.
- Arama alanı tanımlama: Ajan, sayfanın ekran görüntüsünü yakaladı ve ana arama giriş alanı için CSS seçicisini elde etmek üzere bunu görme yeteneğine sahip bir LLM'ye gönderdi.
- Sorgu yürütme: Aracı, belirlenen seçiciyi kullanarak kendisine atanan sorguyu girdi ve aramayı gönderdi. Ardından, ürün listeleme öğesinin varlığını doğrulayarak arama sonuçları sayfasının yüklendiğini teyit etti.
- Sonuç bağlantısı çıkarma: Sonuç sayfasında, aracı, ürün bağlantıları için bir CSS seçici elde etmek üzere LLM-vision sürecini tekrarladı. Ardından, reklamlar veya yönlendirmeler hariç tutularak, çıkarılan URL'ler filtrelenerek doğrudan ürün sayfası bağlantıları izole edildi.
- Son gezinme: Temsilci, geçerli ürün URL'lerinden birine yönlendirildi. Bu son sayfanın başarılı bir şekilde yüklenmesi, görevin tamamlandığını gösterdi.
Toplam zamanın tanımı
Yük testi sonuçlarında bildirilen "Toplam Süre", 250 eş zamanlı görevin tamamının tamamlanması için gereken uçtan uca süreyi temsil eder. Bu, orkestratör betiğimizdeki engelleme havuzu.map fonksiyonu tarafından yönetilen toplam iş yükü tamamlama süresinin bir ölçüsüdür.
Bu hesaplama, hem başarılı hem de başarısız görevlerin yürütme sürelerini içerir. Hesaplama şu şekilde yapılır:
- Çoklu işlem havuzu 250 işçi görevini dağıtmaya başlamadan hemen önce bir zaman damgası (start_time) kaydedilir.
- Ardından, düzenleyici, 250 paralel sürecin tamamının kendi iş akışlarını tamamlamasını ve sonuçtan bağımsız olarak (başarı veya başarısızlık) bir sonuç döndürmesini bekler.
- En uzun süren görev tamamlandıktan sonra nihai zaman damgası alınır.
Özellikler
Önde gelen sağlayıcıların sunduğu özellikler aşağıda özetlenmiştir. Özellik puanı, metodolojimize göre her bir özellik için hesaplanır ve ardından tüm özellikler üzerinden ortalama alınır. Birden fazla değer alabilen özelliklerde (örneğin programlama dili desteği), en yüksek sayıda değer sağlayan ürün (örneğin en fazla sayıda programlama dilini destekleyen ürün) tam 1 puan alırken, diğerleri orantılı olarak puanlanır.
Aşağıdaki bölümlerde bu hizmetlerin yetenekleri ayrıntılı olarak açıklanmaktadır:
Teknik yetenekler ve hata yönetimi
Teknik yetenekler, geliştiricilere kendi özel kod modüllerini oluşturmak ve sürdürmek zorunda kalmadan çeşitli web siteleriyle çalışma esnekliği sağlar:
CAPTCHA çözme: Bu özellik, resim tabanlı, hCaptcha, reCAPTCHA ve Cloudflare doğrulamaları da dahil olmak üzere çok çeşitli CAPTCHA türlerini otomatik olarak algılar ve çözer. Hizmet ayrıca, hız sınırlamalı CAPTCHA istemlerini de ele alır ve gelişen CAPTCHA mekanizmalarına uyum sağlayarak korumalı web sitelerine tutarlı erişim sağlar.
Hata yönetimi: Bu özellik, güvenilir gezinme için kritik öneme sahip standart HTTP durum kodları için hizmetin varsayılan davranışını değerlendirir:
- 404 (Bulunamadı) Farkındalığı : Sistemin 'Bulunamadı' hatalarını tespit etme ve raporlama yeteneği, temsilcilerin eksik sayfaları uygun şekilde ele almasını sağlar. Var olmayan bir URL'ye giderek ve temsilcinin hizmetten 404 hatasının net bir göstergesini alıp almadığını (örneğin, 200 OK durumuyla sunulan genel bir hata sayfası gibi) gizleyerek test ettik.
- 301/302 (Yönlendirme) Yönetimi : Aracının doğru son URL'ye ulaşmasını sağlamak için yönlendirmelerin otomatik olarak izlenmesi. Yönlendirme yaptığı bilinen bir URL'ye erişerek ve aracının manuel müdahale olmadan son hedef URL'ye yönlendirildiğini doğrulayarak test ettik.
JavaScript etkileşimi : Bu özellik, yoğun JavaScript kullanan web sitelerini ele alır ve kullanıcı etkileşimlerini taklit etmeyi destekler.
- JavaScript Çalıştırma : Dinamik olarak yüklenen içeriğe erişmek için JavaScript'i tamamen işler.
- Tarayıcı Eylem Otomasyonu : Öğelere tıklama, alanlara metin yazma, sayfaları kaydırma (sonsuz kaydırma dahil), belirli öğelerin görünmesini veya belirli bir süre boyunca bekleme ve açılır pencereleri veya modal pencereleri işleme gibi programatik etkileşimleri destekler.
- Öğe Seçimi : CSS seçicileri ve XPath dahil olmak üzere öğeleri seçmek için yöntemler sağlar.
Giriş: Bu özellik, kullanıcı adlarını, şifreleri ve diğer kimlik bilgilerini giriş formlarına girme ve bu formların gönderimini simüle etme (örneğin, giriş düğmelerine tıklayarak) yeteneğini ifade eder. Bu genellikle temel tarayıcı otomasyon motorunun web öğeleriyle etkileşim kurma yeteneğine dayanır.
Programlama dili
Programlama dili kapsamı, geliştiricilerin mevcut kodlarını uzak tarayıcı platformlarına taşımalarına olanak tanır.
Bu özellik, hizmetin sunduğu programlama dili uyumluluğunun kapsamını değerlendirir. Desteklenen dil sayısının yüksek olması, geliştirme ekipleri için esneklik anlamına gelir ve tercih ettikleri veya mevcut teknoloji yığınını kullanarak uzaktan tarayıcı özelliklerini entegre etmelerine olanak tanır.
Oturum yönetimi
Aynı web sitesinde çok adımlı etkileşimler (örneğin, uçak bileti satın alma) içeren daha uzun etkileşimler için oturum yönetimi gereklidir:
Bu özellik, bir tarama oturumu içindeki birden fazla etkileşimde hizmetin durumu yönetme ve sürdürme yeteneğini değerlendirir.
- Oturum Kalıcılığı : Birden fazla istek veya işlemde tutarlı bir oturum kimliğinin korunmasını destekleyerek çok adımlı iş akışlarına olanak tanır.
- Çerez Yönetimi : Oturum açık kalma durumunu veya belirli site tercihlerini korumak için çerezleri otomatik olarak yönetme (saklama, gönderme, silme) veya kullanıcıların özel çerezler eklemesine/yönetmesine olanak tanıyan özellikler.
- Durum Koruma : Tek bir görev içindeki bir dizi işlem boyunca tarayıcının durumunu (örneğin, doldurulmuş formlar, kaydırılmış konumlar) koruyabilme yeteneği.
Coğrafi kapsam
Coğrafi kapsam, kullanıcıların küresel web sitelerine erişebilmesi için ülke düzeyinde kapsama alanının yanı sıra, belirli ASN veya posta kodu tabanlı hedefleme gibi ayrıntılı kapsama alanını da içerir.
Şehir Düzeyinde Hedefleme : Web istekleri için kaynak olarak belirli bir şehri belirleme olanağı. Bu, belirli bir kentsel alandaki kullanıcıların ne göreceğini yansıtacak şekilde, son derece yerelleştirilmiş veri alma ve test etme olanağı sağlar.
ZIP Kodu Hedefleme : İstekleri belirli ZIP kodlarına veya posta kodlarına göre hedefleme özelliği. Bu özellik özellikle e-ticaret (yerel ürün bulunabilirliğini, fiyatlandırmayı, kargo seçeneklerini kontrol etme) ve yerel farklılıklar gösteren hizmetler için önemlidir.
ASN (Özerk Sistem Numarası) Hedefleme : İstekleri, ASN'leri ile tanımlanan belirli İnternet Servis Sağlayıcıları (İSS'ler) veya ağ blokları üzerinden yönlendirme seçeneği. Bu gelişmiş hedefleme, belirli ağ segmentlerinden gelen trafiği taklit etmek veya çok özel engelleme kaldırma stratejileri için yararlı olabilir.
Entegrasyonlar
Playwright Uyumluluğu : Playwright kullanarak uzaktan tarayıcı oturumlarına bağlanma ve bunları kontrol etme yeteneğini değerlendirir.
Puppeteer Uyumluluğu : Puppeteer ile entegrasyonu değerlendirir; genellikle uzak tarayıcı örneklerine bağlanmak için Puppeteer-core kullanılır.
Selenium Uyumluluğu : Selenium WebDriver aracılığıyla uzaktan tarayıcı oturumlarının kontrol edilmesine yönelik desteği ölçer.
MCP (Model Bağlam Protokolü) Desteği : Hizmetin Model Bağlam Protokolü ile entegrasyon sunup sunmadığını gösterir. MCP, araçlar (örneğin tarayıcılar) ve yapay zeka modelleri (LLM'ler) arasında yapılandırılmış veri alışverişini kolaylaştırmak, yapay zeka ajanlarının web içeriğini daha iyi anlamasını ve daha etkili bir şekilde kullanmasını sağlamak için tasarlanmıştır.
Arama motorları
Bu özellik, uzaktan tarayıcı hizmetinin Google, Bing, DuckDuckGo ve Baidu gibi büyük arama motoru sonuç sayfalarından (SERP) yapılandırılmış verileri doğrudan çıkarmak için özel özellikler veya optimize edilmiş destek sunup sunmadığını değerlendirir.
Güvenlik
Veri güvenliği, özellikle güvenli sistemler üzerinde işlem yapacak olan ajanlar için kritik öneme sahiptir. Bu uzaktan erişim tarayıcılarının geliştiricilerinin web sitelerine dayanarak veri güvenliği sertifikalarına sahip olup olmadıklarını değerlendirdik.
Yapay zeka ajan türleri için uzaktan tarayıcı gereksinimleri
Uzaktan tarayıcılar için gereksinimler, onları kullanan yapay zeka ajanının türüne ve kullanım amacına bağlı olarak değişir. Yapay zeka ajanları genel olarak çalışma modlarına göre kategorize edilebilir ve bu da uzaktan tarayıcı altyapısına yönelik belirli talepleri belirler:
- Arka uç yapay zeka ajanları : Bu ajanlar genellikle otonom olarak veya minimum doğrudan insan gözetimiyle çalışır ve genellikle sistem olayları veya planlanmış görevler tarafından tetiklenir. Uzun süreli işlemler sırasında kararlılık, ölçeklenebilirlik ve sağlam hata yönetimi için optimize edilmiş uzaktan erişim tarayıcılarına ihtiyaç duyarlar.
- Gerçek zamanlı yapay zeka ajanları : Bu ajanlar, aktif olarak yanıt bekleyen son kullanıcılarla doğrudan etkileşim kurar. Bunlar için, uzaktan erişim sağlayan tarayıcıların düşük gecikme süresi, yüksek yanıt hızı ve tutarlı performansa öncelik vermesi gerekir.
Arka uç ajanları
Tipik kullanım örnekleri ve aracıları:
- Başvuru takibi ve yönetimi
- AI SDR
- Toplantı planlaması
- Fiyat izleme
- Web otomasyonu
Orkestratör-işçi ajanları
Bu ajanlar, görevleri paralel veya ardışık olarak çalışan birden fazla uzmanlaşmış ajana devreden bir koordinatör kullanırlar.
Kritik gereksinimler:
- Ajanlar arasında oturum sürekliliği: Farklı ajanlar kendi bölümlerini yürütürken bağlamı koruyun.
- Çoklu sekme koordinasyonu: Birden fazla aracının aynı anda farklı kaynaklara göz atması
- Araç yürütme güvenilirliği: Her ajan, tutarlı bir şekilde çalışması gereken farklı araçlar kullanır.
Bright Data (%95 başarı, %95 özellik kapsamı) ve BrowserAI (%85 başarı, %86 özellik) çoklu ajan koordinasyonunu güvenilir bir şekilde yönetir.
İzleme ajanları
Bu ajanlar, düzenli aralıklarla birden fazla hedef üzerinde planlı kontroller gerçekleştirir.
Kritik gereksinimler:
- Coğrafi hedefleme: Konuma özgü veriler için şehir ve posta kodu düzeyinde hassasiyet.
- Yüksek hacimli güvenilirlik: Büyük ölçekli izleme, arıza maliyetlerini artırır.
- CAPTCHA işleme: Otomatik çözümleme ile gözetimsiz çalışma
Bright Data, posta kodu ve ASN hedeflemesinde %95 başarı oranı sunarken, BrowserAI benzer özelliklerle %85 başarı oranı sağlıyor. Ayrıntılı coğrafi hedefleme özelliği olmayan sağlayıcılar, konuma özgü varyasyonları gözden kaçırıyor.
Gerçek zamanlı temsilciler
Tipik kullanım örnekleri ve aracıları:
- Araştırma: OpenAI Derinlemesine Araştırma
- Finansal analist
Yönlendirme aracıları
Bu ajanlar girdileri sınıflandırır ve bunları uygun uzmanlaşmış işleyicilere yönlendirir.
Kritik gereksinimler:
- Hızlı sınıflandırma ve aktarım: Yönlendirme yükünü en aza indirin.
- Anında uzman başlatma: Yönlendirme kararlarından sonra başlatmada gecikme yok.
- Aktarımlar arası bağlamın korunması: Oturum durumunu yönlendirilmiş aracılara aktarın.
BrowserAI'nin 1 saniyelik başlatma süresi, çok adımlı yönlendirmede gecikmeyi azaltır. Bright Data, %100 hız puanıyla 2 saniyelik başlatma süresi sunar. Airtop'un 4 saniyelik başlatma süresi ve eksik durum koruması, toplam yanıt süresini artırır.
Araştırma görevlileri
Bu ajanlar, birden fazla kaynaktan bilgi toplar ve bulguları sentezler.
Kritik gereksinimler:
- Çoklu sekme bağlamı: Eş zamanlı kaynaklar arasında durumu koruyun.
- Arama motoru kapsamı: Çeşitli arama platformlarına erişim
- İçerik çıkarma kalitesi: LLM işleme için temiz yapılandırılmış veri
Bright Data ve BrowserAI, Google, Bing, DuckDuckGo ve Baidu'yu sırasıyla %95 ve %86 özellik kapsamıyla destekliyor. Steel.dev ise yalnızca Google ve Bing'i %45 özellik kapsamıyla destekliyor. Anchor Browser %91 özellik sunarken, başarı oranı %70.
Ek gereksinimler
- Hızlı yanıtlar
- Gerçek zamanlı kullanım için altyapı istikrarı (yani, paralel kullanımda yanıt süreleri bozulmamalıdır).
Zorluklar ve hafifletme önlemleri
Tüm uzak tarayıcılar için tamamen aynı testi çalıştırmayı hedeflesek de, bazı zorluklar mevcut:
- LLM'ler olasılıksaldır ; bu nedenle, ajanlarımız farklı ajan tarayıcılarından farklı web sitelerine gitmelerini ister. Önlemler: Biz
- Sıcaklık değişimlerini en aza indirmek için korkuluklardan ve düşük sıcaklık ayarından yararlanın.
- Mümkün olduğunca spesifik sorular sorun.
- Tüm test edilen çözümlerin benzer istekler aldığından emin olmak için her bir aracı birden fazla kez (örneğin, 5 kez) çalıştırdık.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.