Crunchbase-Scraper (Python): Anleitung & Benchmark

Crunchbase wird vom unternehmenskritischen Anti-Bot-System von Cloudflare geschützt, das die meisten automatisierten Scraper blockiert. Selbst fortschrittliche Tools wie Selenium liefern oft 403-Fehler oder endlose „Nur einen Moment…“-Seiten.

Erfahren Sie, wie Sie Crunchbase mit Python scrapen: Einrichten Ihrer Umgebung, Verwenden eines Web-Unlockers, um Einschränkungen zu umgehen, und Extrahieren von Daten aus Crunchbase-Suchergebnissen und Unternehmensseiten.

Benchmark-Ergebnis des Crunchbase-Scraper-API

Das Diagramm zeigt die tägliche Erfolgsrate der Crunchbase-Scraper-APIs:

Weitere Informationen zur Erfassung dieser Metriken finden Sie in der vollständigen Methodik des Crunchbase-Scraping-Benchmarks Methodik.

So scrapen Sie Crunchbase mit Python

In diesem Python-Scraping-Tutorial zeigen wir, wie Sie Crunchbase-Daten sammeln, einschließlich Unternehmensnamen, Beschreibungen, Websites, Hauptsitze, Mitarbeiterzahlen, Finanzierungsrunden und Wachstumsmetriken.

Wir haben Bright Data Web Unlocker verwendet, um Anti-Bot-Herausforderungen zu umgehen und stabilen Zugriff aufrechtzuerhalten.

Schritt 1: Konfiguration

Beginnen Sie mit der Installation der erforderlichen Python-Bibliotheken für das Web-Scraping und der Konfiguration unseres Crunchbase-API-Proxys.

Company-Slugs sind die eindeutigen URL-Identifikatoren auf Crunchbase (z. B. ist bei der Seiten-URL crunchbase.com/organization/anthropic der Slug „anthropic“).

Schritt 2: Anfragen über Web-Unlocker stellen

Statt direkte Anfragen an Crunchbase zu senden, verwenden wir die Web-Unlocker-API, um Anti-Bot-Systeme zu umgehen und konsistente Ergebnisse sicherzustellen. Diese Methode eignet sich ideal für das umfangreiche Scraping von Crunchbase, da sie saubere HTML-Antworten liefert und gleichzeitig automatisch CAPTCHAs und JavaScript-Rendering-Verzögerungen verarbeitet.

Schritt 3: HTML-Inhalt analysieren

Wir analysieren das von Crunchbase zurückgegebene HTML mithilfe von BeautifulSoup und extrahieren den Text zur strukturierten Datenaufbereitung. Dieser Schritt ist für jeden Python-Crunchbase-Scraper unerlässlich, da er es uns ermöglicht, Elemente wie den Unternehmensnamen, die Beschreibung und die Website-URL zu lokalisieren.

Schritt 4: Den Unternehmensnamen extrahieren

Hier extrahieren wir den Unternehmensnamen aus dem <title>-Tag auf der Crunchbase-Seite. Der Name erscheint vor dem ersten Bindestrich, und wir verwenden Regex, um ihn zu erfassen und zu bereinigen. Dadurch wird sichergestellt, dass unser Crunchbase-Scraper nur gültige Unternehmensnamen sammelt und keine Systemtitel oder Platzhalter.

Schritt 5: Unternehmensbeschreibung extrahieren

Der Meta-Beschreibungstag liefert uns eine standardisierte Unternehmenszusammenfassung. Er ist eine hervorragende Quelle für konsistente Geschäftsbeschreibungen beim Aufbau eines Unternehmensdaten-Scrapers oder eines Enrichment-Datensatzes.

Schritt 6: Die Website-URL des Unternehmens extrahieren

Dieser Block extrahiert die offizielle Website-URL des Unternehmens von Crunchbase. Da Crunchbase Domänen als sichtbaren Linktext anzeigt, filtern wir interne Crunchbase-Links heraus und identifizieren gültige Unternehmenswebsites.

Schritt 7: Hauptsitzstandort extrahieren

Wir ermitteln die Stadt oder das Land des Hauptsitzes, indem wir Crunchbase-Links auswählen, die bekannten Standort-URL-Mustern entsprechen. Die Extraktion dieses Elements stellt sicher, dass Ihre Crunchbase-Daten Standortmetadaten enthalten, die für regionale Analysen oder Marktsegmentierungen nützlich sind.

Schritt 8: Mitarbeiteranzahl extrahieren

Der Crunchbase-Datenscraper versucht, die Mitarbeiterzahl mithilfe der strukturierten Tags auf Crunchbase zu extrahieren. Ist diese nicht im Linkformat verfügbar, greift er auf die Suche nach Textbereichen zurück (z. B. „1001–5000 Mitarbeiter“). Dadurch werden zuverlässige Unternehmensgrößendaten für Analysen und Segmentierungen sichergestellt.

Schritt 9: Finanzierungsinformationen extrahieren

Dieser Teil des Crunchbase-Scraping-Tutorials extrahiert Informationen zu Finanzierungsrunden (z. B. Series A, Seed, Series F) und Gesamtbeträgen der aufgebrachten Kapitalwerte.

Indem strukturierte Finanzierungsfelder angesprochen werden, ermöglicht diese Methode Ihrem Python-Crunchbase-Scraper, präzise Daten zu Startup-Investitionen für Trend- und Wachstumsanalysen zu sammeln.

Schritt 10: Wachstums- und Heat-Scores extrahieren

Die aktuelle Dokumentation von Crunchbase positioniert diese Signale auch als Teil einer breiteren prädiktiven Ebene, zu der Wachstumseinsichten, Finanzierungsprognosen und andere zukunftsgerichtete Indikatoren gehören können. Das bedeutet, dass das Scraping von Seitentexten möglicherweise den vollen Kontext, der jetzt über lizenzierte Crunchbase-Workflows verfügbar ist, nicht mehr erfasst.

Wir extrahieren Wachstums- und Heat-Scores, um die Dynamik eines Unternehmens zu messen. Da Crunchbase nicht immer eine konsistente HTML-Struktur für diese Werte bereitstellt, verwendet der Crunchbase-Scraper Regex, um sie direkt aus dem Text zu erkennen.

Wenn Sie über einen Lizenzzugang verfügen, könnten offizielle Crunchbase-Produktoberflächen oder API-Pakete eine stabilere Quelle für diese Signale sein als die HTML-Analyse.

Schritt 11: Ergebnisse zusammenstellen und Ausgabe speichern

Schließlich strukturieren wir alle Crunchbase-Unternehmensdaten, einschließlich Name, Beschreibung, Finanzierung, Größe und Scores, in ein Wörterbuch, fügen eine kurze Verzögerung zwischen den Anfragen ein (für sicheres Scraping) und speichern die Ausgabe als crunchbase_data.json.

Dadurch wird sichergestellt, dass Ihre Crunchbase-Datenaufbereitungspipeline saubere, strukturierte Ergebnisse liefert, die für Analysen, Dashboards oder die Integration in Datenpipelines bereit sind.

Beispielausgabe

Diese Ausgabe zeigt, wie der Python-Crunchbase-Scraper Daten strukturiert und exportiert.
Jeder Eintrag enthält den Namen, die Beschreibung, die Finanzierung, den Standort, die Mitarbeitergröße und die Leistungsscores eines Unternehmens, alle im JSON-Format für eine einfache Integration in Analysetools oder Datenbanken.

Warum Scraping von Crunchbase schwierig ist

Wir haben mehrere Methoden ausprobiert, bevor wir einen zuverlässigen Ansatz für Crunchbase gefunden haben. Jede herkömmliche Methode scheiterte an dem fortschrittlichen Anti-Bot-System von Cloudflare. Der Schutz von Crunchbase basiert nicht auf einfachen IP-Prüfungen. Cloudflare führt eine umfassende Browser-Fingerprinting-Analyse durch und prüft Dutzende von Indikatoren:

• TLS-Handshake-Muster
• JavaScript-Ausführungsverhalten
• Vollständigkeit der Browser-API
• Canvas- und WebGL-Fingerabdrücke
• Mausbewegungs-Timing und Fensterfokus

Auch wenn Sie Proxies verwenden, kann Cloudflare weiterhin Ihren Client-Fingerprint identifizieren. Reguläre Scraping-Proxies verbergen nur Ihre IP; sie emulieren kein echtes Browserverhalten.

Einfache HTTP-Anfragen funktionierten nicht

Wir begannen mit der Python-Bibliothek „requests“, um einfache GET-Anfragen an Crunchbase-URLs zu senden. Jeder Versuch lieferte 403 Forbidden. Die Server von Crunchbase erkannten sofort die Bot-Signatur und lehnten jede Inhaltsbereitstellung ab.

Hinzufügen von Browser-Headern schlug immer noch fehl

Danach versuchten wir, User-Agent-Strings, Accept-Header und andere browserähnliche Metadaten hinzuzufügen, um legitimes Browserverhalten nachzuahmen. Wir testeten mehrere Profile und Kombinationen, doch jede Anfrage wurde blockiert. Cloudflare erkannte sie alle sofort.

Selenium mit Chrome blieb bei Cloudflare hängen

Wir stiegen auf Selenium um, in der Annahme, dass die Automatisierung eines echten Chrome-Browsers das Problem lösen würde. Stattdessen landeten wir jedes Mal auf der „Nur einen Moment…“-Challenge-Seite von Cloudflare. Der Ladekreisel lief endlos, und selbst wenn wir gelegentlich durchkamen, standen wir vor einer CAPTCHA, die nicht programmgesteuert gelöst werden konnte.

Undetected ChromeDriver war instabil

Danach testeten wir Undetected-ChromeDriver, der Selenium so anpasst, dass es menschenähnlicher wirkt. Obwohl es kurzzeitig funktionierte, traten Kompatibilitätsprobleme mit dem Browser und gelegentliche Cloudflare-Herausforderungen auf. Einige Seiten wurden erfolgreich geladen, doch die nächsten wurden ohne erkennbares Muster blockiert – viel zu unzuverlässig für den Produktivbetrieb.

Die funktionierende Lösung: Web-Unlocker

Nachdem wir mehrere Methoden getestet hatten, stellten wir fest, dass dies die einzige zuverlässige Lösung für konsistentes und skalierbares Scraping von Crunchbase ist. Web-Unlocker lösen dieses Problem, indem sie echte Browser in der Cloud ausführen, vollständig mit Fingerprinting, JavaScript-Ausführung und CAPTCHA-Lösung. Sie:

• Rotieren automatisch Wohn-IPs
• Randomisieren Browser-Fingerprints
• Führen vollständiges Browser-Rendering aus (JavaScript, Cookies, dynamische Inhalte)
• Lösen CAPTCHA und Cloudflare-Herausforderungen in Echtzeit

Im Gegensatz zu Proxies, die nur Ihren Netzwerkstandort ändern, replizieren Web-Unlocker das Verhalten eines echten menschlichen Nutzers, das Cloudflare erwartet.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Methodik des Crunchbase-Scraping-Benchmarks

Leistungsbewertung des Scrapings von Crunchbase-Unternehmensseiten, gemessen an Anfrageerfolg, Antwortzeit und Zuverlässigkeit unter konsistenten Bedingungen.

• Ziel-URLs: 100 Crunchbase-Unternehmensseiten (crunchbase.com/organization…)
• Anfrageintervall: alle 15 Minuten
• Timeout-Grenze: 60 Sekunden
• Bewertungshäufigkeit: täglich

Jede Anfrage verwendet dieselbe Konfiguration, um direkte Vergleiche zwischen den Durchläufen zu ermöglichen.

Erfolgskriterien:

Eine Anfrage gilt als erfolgreich, wenn:

• Der HTTP-Statuscode zwischen 200 und 399 liegt und
• Die Antwort gültige Crunchbase-Unternehmensdaten enthält, die durch vordefinierte CSS-Selektoren oder Byte-Prüfungen des Inhalts erkannt werden.

Leere oder fehlerhafte Antworten werden als Fehler markiert.

Fehlerklassifizierung:

• Timeouts: >60 s, als fehlgeschlagen markiert
• Netzwerkfehler: mit Details protokolliert
• Dekodierungsfehler: Parsing-Fehler
• Leere oder fehlerhafte Antworten: fehlender Inhalt

Tägliche Datenerfassung:

Am Ende des Tages werden die Ergebnisse aggregiert, um das Endergebnis zu berechnen. Diese Metriken quantifizieren die Zuverlässigkeit und Leistung des Crunchbase-Scrapings.:

• Tägliche Erfolgsrate
• Durchschnittliche Antwortzeit
• Fehlerverteilung

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{karatas2026,
  author = {Karatas, Gulbahar},
  title  = {{Crunchbase-Scraper (Python): Anleitung & Benchmark}},
  year   = {2026},
  month  = mar,
  howpublished    = {\url{https://aimultiple.com/crunchbase-scraper}},
  note   = {AIMultiple. Abgerufen am 13. März 2026}
}

Referenzlinks

1.

Welcome to Crunchbase Data

Gulbahar Karatas

Branchenanalyst

Folgen auf

Gülbahar ist eine KI-Branchenanalystin bei AIMultiple mit Schwerpunkt auf Webdatenerfassung, Anwendungen von Webdaten und Anwendungssicherheit.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten