Crunchbase Scraper (Python): Eğitim & Benchmark
Crunchbase, Cloudflare’in kurumsal düzeydeki anti-bot sistemi tarafından korunmaktadır; bu sistem çoğu otomatik kazıyıcıyı engeller. Selenium gibi gelişmiş araçlar bile sık sık 403 hataları veya sonsuz “Bir saniye…” sayfaları döndürür.
Python ile Crunchbase kazımayı öğrenin: ortamınızı kurun, kısıtlamaları aşmak için bir web kilidini açıcı kullanın ve Crunchbase arama sonuçları ile şirket sayfalarından veri çıkarın.
Crunchbase kazıyıcı API benchmark sonucu
Şema, Crunchbase kazıyıcı API'lerinin günlük başarı oranını göstermektedir:
Bu metriklerin nasıl toplandığına dair detaylar için tam Crunchbase kazıma benchmark yöntemini inceleyin.
Python ile Crunchbase nasıl kazınır
Bu Python kazıma eğitiminde, şirket adları, açıklamalar, web siteleri, merkezler, çalışan sayıları, fonlama turları ve büyüme metrikleri dahil olmak üzere Crunchbase verilerini nasıl toplayacağınızı göstereceğiz.
Kısıtlamaları aşmak ve kararlı erişimi korumak için Bright Data Web Unlocker kullandık ve anti-bot zorluklarını aştık.
Adım 1: Yapılandırma
Web kazıma için gerekli Python kütüphanelerini yükleyerek ve Crunchbase API proxy'mizi yapılandırarak başlayın.
Şirket slug'ları, Crunchbase'deki benzersiz URL tanımlayıcılarıdır (örneğin, sayfa URL'si crunchbase.com/organization/anthropic ise, slug anthropic'tir).
Adım 2: Web kilidini açıcı üzerinden istek yapma
Crunchbase'e doğrudan istek göndermek yerine, anti-bot sistemlerini aşmak ve tutarlı sonuçlar elde etmek için web kilidini açıcı API'sini kullanıyoruz. Bu yöntem, temiz HTML yanıtları döndürürken otomatik olarak CAPTCHA'ları yönettiği ve JavaScript oluşturma gecikmelerini ele aldığı için ölçekli kazıma için Crunchbase'de idealdir.
Adım 3: HTML içeriğini ayrıştırma
Crunchbase tarafından döndürülen HTML'i BeautifulSoup kullanarak ayrıştırıyoruz, yapılandırılmış veri çıkarma için metni çıkarıyoruz. Bu adım, herhangi bir Python Crunchbase kazıyıcısı için esastır çünkü şirket adı, açıklama ve web sitesi URL'si gibi öğeleri bulmamıza olanak tanır.
Adım 4: Şirket adını çıkarma
Burada, Crunchbase sayfasındaki <title> etiketinden şirket adını çıkarıyoruz. İsim ilk tireden önce görünür ve onu yakalayıp temizlemek için regex kullanıyoruz. Bu, Crunchbase kazıyıcımızın yalnızca geçerli şirket adlarını, sistem başlıklarını veya yer tutucuları topladığından emin olmamızı sağlar.
Adım 5: Şirket açıklamasını çıkarma
Meta açıklama etiketi bize standartlaştırılmış bir şirket özeti verir. Bir şirket veri kazıyıcısı veya bir zenginleştirme veri seti oluşturmak için tutarlı iş açıklamalarının mükemmel bir kaynağıdır.
Adım 6: Şirket web sitesi URL'sini çıkarma
Bu blok, Crunchbase'den şirketin resmi web sitesi URL'sini çıkarır. Crunchbase alan adlarını görünür bağlantı metni olarak gösterdiğinden, Crunchbase iç bağlantılarını filtreler ve geçerli şirket web sitelerini tanımlarız.
Adım 7: Merkez konumunu çıkarma
Bilinen konum URL desenleriyle eşleşen Crunchbase bağlantılarını hedefleyerek merkez şehirini veya ülkesini buluyoruz. Bunu çıkarmak, Crunchbase verinizin bölgesel analiz veya pazar segmentasyonu için kullanışlı konum meta verilerini içerdiğinden emin olur.
Adım 8: Çalışan sayısını çıkarma
Crunchbase veri kazıyıcısı, Crunchbase'deki yapılandırılmış etiketleri kullanarak çalışan sayısını çıkarmaya çalışır. Bağlantı formatında mevcut değilse, metin span'larında (örneğin, "1001–5000 çalışan") arama yaparak yedekler. Bu, analitik ve segmentasyon için güvenilir şirket boyutu verileri sağlar.
Adım 9: Fonlama bilgilerini çıkarma
Crunchbase kazıma eğitiminin bu kısmı, fonlama turu bilgilerini (örneğin, Seri A, Tohum, Seri F) ve toplam toplanan sermaye değerlerini çıkarır.
Yapılandırılmış fonlama alanlarını hedefleyerek, bu yöntem Python Crunchbase kazıyıcınızın trend ve büyüme analizi için doğru startup yatırım verilerini toplamasını sağlar.
Adım 10: Büyüme ve ısı skorlarını çıkarma
Crunchbase'in mevcut dokümantasyonu, bu sinyalleri büyüme içgörülerini, fonlama tahminlerini ve diğer ileriye dönük göstergeleri içeren daha geniş bir tahmin katmanının bir parçası olarak konumlandırır. Bu, sayfa metninin artık lisanslı Crunchbase iş akışları aracılığıyla mevcut olan tam bağlamı yakalamayabileceği anlamına gelir.
Şirket momentumunu ölçmek için büyüme ve ısı skorlarını çıkarıyoruz. Crunchbase bu değerler için her zaman tutarlı bir HTML yapısı sağlamadığından, Crunchbase kazıyıcısı bunları doğrudan metinden tespit etmek için regex kullanır.
Lisanslı erişiminiz varsa, resmi Crunchbase ürün yüzeyleri veya API paketleri, HTML ayrıştırmadan bu sinyaller için daha kararlı bir kaynak olabilir.
Adım 11: Sonuçları oluşturma ve çıktıyı kaydetme
Son olarak, ad, açıklama, fonlama, boyut ve skorlar dahil olmak üzere tüm Crunchbase şirket verilerini bir sözlükte yapılandırır, istekler arasında küçük bir gecikme ekleriz (güvenli kazıma için) ve çıktıyı crunchbase_data.json olarak kaydederiz.
Bu, Crunchbase veri çıkarma pipeline'ınızın analize, panellere veya veri pipeline'larına entegrasyona hazır temiz, yapılandırılmış sonuçlar ürettiğinden emin olur.
Örnek çıktı
Bu çıktı, Python Crunchbase kazıyıcısının verileri nasıl yapılandırdığını ve dışa aktardığını gösterir.
Her girdi, bir şirketin adını, açıklamasını, fonlamasını, konumunu, çalışan boyutunu ve performans skorlarını içerir; bunların hepsi analitik araçlara veya veritabanlarına kolay entegrasyon için JSON olarak biçimlendirilir.
Neden Crunchbase kazıma zorlayıcıdır
Crunchbase için çalışan güvenilir bir yaklaşım bulmadan önce birden fazla yöntem denedik. Her geleneksel yöntem, Cloudflare'in gelişmiş anti-bot sistemi nedeniyle başarısız oldu. Crunchbase'in koruması basit IP kontrollerine güvenmez. Cloudflare, derin tarayıcı parmak izi oluşturur ve düzinelerce göstergiyi analiz eder:
- TLS el sıkışma desenleri
- JavaScript yürütme davranışı
- Tarayıcı API bütünlüğü
- Canvas ve WebGL parmak izleri
- Fare hareketi zamanlaması ve pencere odağı
Proxy kullansanız bile, Cloudflare hala istemci parmak izinizi tanımlayabilir. Düzenli kazıma proxy'leri yalnızca IP'nizi gizler; gerçek tarayıcı davranışını taklit etmezler.
Basit HTTP istekleri çalışmadı
Crunchbase URL'lerine doğrudan GET istekleri göndermek için Python'un requests kütüphanesi ile başladık. Her deneme 403 Forbidden döndürdü. Crunchbase sunucuları bot imzasını anında tespit etti ve hiçbir içeriği sunmayı reddetti.
Tarayıcı başlıkları eklemek yine de başarısız oldu
Sonraki, yasal tarayıcı davranışını taklit etmek için User-Agent dizeleri, Kabul başlıkları ve diğer tarayıcı benzeri meta veriler eklemeyi denedik. Birden fazla profil ve kombinasyon test ettik, ancak her istek engellendi. Cloudflare'in sistemi hepsini anında yakaladı.
Chrome ile Selenium Cloudflare'de takıldı
Gerçek bir Chrome tarayıcısını otomatikleştirmenin sorunu çözeceğini düşünerek Selenium'a yükselttik. Bunun yerine, her seferinde Cloudflare'in "Bir saniye…" zorluk sayfasına takıldık. Yükleme dönmesi sonsuza kadar çalıştı ve ara sıra geçsek bile, programatik olarak çözülemeyen CAPTCHA ile karşılaştık.
Tespit edilmeyen ChromeDriver kararsızdı
Selenium'u daha insan benzeri görünmesi için yamayan Undetected-ChromeDriver'ı test ettik. Kısa süre çalışsa da, tarayıcı uyumluluğu sorunları ve aralıklı Cloudflare zorluklarıyla karşılaştık. Bazı sayfalar başarıyla yüklendi, ancak sonrular hiçbir açık desen olmadan engellendi, üretim kullanımı için çok fazla kararsızdı.
Çalışan çözüm: Web kilidini açıcılar
Birkaç yöntemi test ettikten sonra, tutarlı, ölçeklenebilir Crunchbase kazıma için bunun tek güvenilir çözüm olduğunu bulduk. Web Kilidini Açıcılar, tam parmak izi oluşturma, JavaScript yürütme ve CAPTCHA çözme ile bulutta gerçek tarayıcılar çalıştırarak bu sorunu çözer. Bunlar:
- Konut IP'lerini otomatik olarak döndürür
- Tarayıcı parmak izlerini rastgeleleştirir
- Tam tarayıcı oluşturma (JavaScript, cookie'ler, dinamik içerik) yürütür
- Gerçek zamanlı CAPTCHA ve Cloudflare zorluklarını çözer
Sadece ağ konumunuzu değiştiren proxy'lerin aksine, web kilidini açıcılar, Cloudflare'in beklediği gerçek bir insan kullanıcının davranışını yeniden oluşturur.
Tercih edilen kaynak olarak ekleCrunchbase kazıma benchmark yöntemi
Crunchbase şirket sayfası kazıma performansını benchmark edin; tutarlı koşullar altında istek başarısını, yanıt süresini ve güvenilirliği ölçün.
- Hedef URL'ler: 100 Crunchbase şirket sayfası (crunchbase.com/organization…)
- İstek aralığı: her 15 dakikada bir
- Zaman aşımı sınırı: 60 saniye
- Değerlendirme sıklığı: günlük
Her istek, çalıştırma arasında doğrudan karşılaştırma yapmaya olanak tanıyan aynı yapılandırmayı kullanır.
Başarı kriterleri:
Bir istek şu durumlarda başarılı olarak sayılır:
- HTTP durum kodu 200 ile 399 arasındaysa ve
- Yanıt, önceden tanımlanmış CSS seçicileri veya içerik bayt kontrolleri tarafından tespit edilen geçerli Crunchbase şirket verisi içeriyorsa.
Boş veya hatalı yanıtlar başarısız olarak işaretlenir.
Hata sınıflandırması:
- Zaman aşımları: >60s, başarısız olarak işaretlendi
- Ağ hataları: detaylarla kaydedildi
- Kod çözme hataları: ayrıştırma hatası
- Boş veya hatalı yanıtlar: eksik içerik
Günlük veri toplama:
Günün sonunda, sonuçlar nihai sonucu hesaplamak için birleştirilir. Bu metrikler, Crunchbase kazımanın güvenilirliğini ve performansını niceler:
- Günlük başarı oranı
- Ortalama yanıt süresi
- Hata dağılımı
SSS'ler
Crunchbase sayfalarından halka açık verileri kazıma, genellikle sorumlu bir şekilde ve kişisel veya araştırma amaçları için yapılıyorsa yasadır. Ancak, otomatik veri kazıma, özellikle büyük ölçekli veya ticari kullanım için Crunchbase'in Hizmet Şartlarını ihlal edebilir. Herhangi bir veri kazıma projesi yapmadan önce resmi API'lerini kontrol edin.1
Şirket adı, gelir aralığı, şirket profili, organizasyon tipi, şirket tipi ve iletişim e-postası dahil olmak üzere halka açık şirket veri noktalarını çıkarabilirsiniz. Kişisel e-postalar veya LinkedIn bağlantıları gibi kişisel veya özel bilgileri toplamaktan kaçının.
Crunchbase API'sini şu durumlarda kullanabilirsiniz:
* Büyük ölçekte veri toplamanız gerektiğinde
* Sık güncellemelere (günlük veya saatlik) ihtiyacınız olduğunda.
* Crunchbase verilerini ticari olarak entegre etmeyi veya içgörüleri yeniden satmayı planladığınızda.
Rekabet analizi, startup araştırması, satış lead üretimi veya iş zekası için yapılandırılmış şirket verileri esastır. Bir Crunchbase kazıyıcı kullanmak, büyük veri hacimlerini toplama ve işleme sürecini otomatikleştirmeye yardımcı olabilir.
Evet, Crunchbase API şirkete, fonlamaya ve insanlara dair verilere yapılandırılmış erişim sağlar. Ancak, önemli sınırlamaları vardır:
* Daha yüksek hacimli veya tam veri erişimi için ücretli bir veri lisansı veya abonelik gerektirir
* Dakika başına veya gün başına istekler, kullandığınız plana bağlı olarak kısıtlanır
* Büyüme skoru veya ısı skoru gibi veri alanları ücretsiz planda mevcut olmayabilir.
Bu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{karatas2026,
author = {Karatas, Gulbahar},
title = {{Crunchbase Scraper (Python): Eğitim & Benchmark}},
year = {2026},
month = mar,
howpublished = {\url{https://aimultiple.com/crunchbase-scraper}},
note = {AIMultiple. Erişim tarihi: 13 Mart 2026}
}Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.