KI VC Benchmark: 11 KI-Agenten bei echten Venture-Capital-Aufgaben

In Zusammenarbeit mit Frühphasen-VCs haben wir zwei Analysten-Workflows in Benchmarks mit menschlich verifizierter Ground Truth umgewandelt und 11 KI-Agenten daran gemessen. Hier sind die Aufgaben, Ergebnisse und die Bewertungsmethode:

Venture-Capital-Benchmark-Ergebnisse

Jedes der 11 Modelle führte jede Aufgabe einmal aus. Die Punktzahlen gehen bis 100. Kimi K3 lieferte keinen bewertbaren Deal-Sourcing-Durchlauf und wird mit 0 geführt.

Beide Aufgaben erfordern Zugriff auf aktuelle Daten und Reasoning-Fähigkeiten:

• Deal-Sourcing: VCs haben spezifische Kriterien, und unsere Partner wollten frühphasige KI-Unternehmen identifizieren, die von Gründern aus einem bestimmten Land gegründet wurden
• Wettbewerber-Identifikation während der Due Diligence

Ergebnisse des Diaspora-Deal-Sourcing

Der Großteil des Feldes erreichte die Hälfte der Punkte und landete in einem breiten Mittelfeld, mit einer großen Lücke zwischen dem Spitzenreiter und dem Schlusslicht. Die Bewertungsmatrix erklärt diese Verteilung. Eine Zeile erhält Punkte, wenn jedes Kriterium mit Belegen untermauert ist, sodass ein Agent in dem Tempo punktet, in dem er Herkunft des Gründers, Gründungsjahr und Finanzierung verifizieren kann – nicht in dem Tempo, in dem er plausible Namen auflisten kann. Die qualifizierenden Unternehmen wurden innerhalb der letzten 18 Monate gegründet, was sie außerhalb der Reichweite von Trainingsdaten platziert, sodass die Streuung eher Suchtiefe und Verifizierungsdisziplin widerspiegelt als auswendig gelerntes Wissen. Selbst der führende Agent ließ einen erheblichen Teil der Punkte liegen, was bedeutet, dass ein vollständiger Recall eines aktuellen, evidenzbasierten Gold-Sets für aktuelle Agenten unter Zeitbudget noch unerreichbar bleibt.

Ergebnisse des Wettbewerber-Mappings

Die Verteilung teilt sich in drei Stufen, die jeweils einem Bewertungsmechanismus zugeordnet sind. Das Spitzenpaar deckte mehrere Wettbewerbskategorien des Zielunternehmens ab und erfasste einen Teil der engsten Peergroup. Das Mittelfeld ist das, was die Bewertungsmatrix produziert, wenn ein Agent die bekannten Analysten- und Review-Namen sauber abbildet und die kleinen, kürzlich gegründeten Peers, die dem Ziel am nächsten stehen, verpasst: solide Ausführung, doppelt bestraft durch verlorene Recall-Punkte und pauschale Fehlstrafe. Das fast bei null liegende Schlusslicht ist am aufschlussreichsten, denn eine so niedrige Punktzahl erfordert keine leere Datei. Strafen für verpasste Peers und für zurückgegebene Nicht-Wettbewerber können alles zunichtemachen, was eine ordentliche CSV einbringt, sodass eine selbstbewusste, gut formatierte Karte der falschen Unternehmen am Ende genauso viel wert ist wie gar keine Karte.

Warum die Ergebnisse der beiden Aufgaben auseinandergehen

Deal-Sourcing belohnt die mechanische Verifizierung von fünf festgelegten Kriterien; Wettbewerber-Mapping verlangt ein Urteil darüber, wo der Markt einer Nischen-Forschungsfirma endet, ohne eine abzuarbeitende Kriterienliste. Dieses Urteilsvermögen trennte das Feld weit stärker als Formatierung oder Geschwindigkeit, und es ist der Grund, warum der Spitzenreiter zwischen den Spalten wechselte, während mehrere Agenten die Positionen stark tauschten. Stärke in einem Research-Workflow sagt wenig über den nächsten aus, daher sollten Teams, die einen Agenten auswählen, ihn an dem Workflow testen, den sie automatisieren wollen, anstatt sich auf eine einzelne Rangliste zu verlassen.

Methodik des Venture-Capital-Benchmarks

Jede Aufgabe wird als von uns verfasste Spezifikationsdatei bereitgestellt, die Analystenrolle, die Ausgabedatei, den Tool-Zugriff und das Zeitbudget festlegt, bevor ein Durchlauf beginnt. Die Tabelle fasst diese Spezifikationen zusammen:

Das Zeitlimit begrenzt jeden Durchlauf: Ein Agent muss innerhalb dieses Fensters recherchieren, verifizieren und seine CSV liefern, wobei Deal-Sourcing das größere Budget erhält, weil es Dutzende von Kandidatenunternehmen gegen fünf Kriterien verifiziert, während Wettbewerber-Mapping ein einzelnes Ziel untersucht.

Beide versetzen den Agenten in eine Rolle, die ein Junior-Analyst bei einem Venture-Capital-Fonds innehat, und beide erfordern eine CSV mit atomaren Zellen, aufgelösten Quell-URLs und ohne Kommentar. Alle Fakten werden zu einem eingefrorenen Stichtag beurteilt, und Gold-Sets werden vierteljährlich neu verifiziert, da Finanzierungsdaten sich verändern.

Aufgabe 1: Diaspora-Deal-Sourcing

Der Agent handelt als Deal-Sourcing-Analyst bei einem Frühphasen-Fonds mit Fokus auf Diaspora-Gründer. Er muss KI-Unternehmen zurückgeben, die zum Stichtag alle folgenden Investmentkriterien erfüllen:

• Finanzierung unter 5 Mio. $. Insgesamt offengelegtes eingeworbenes Kapital, keine Bewertungs- oder Umsatzzahl. Wenn die Finanzierung nicht offengelegt ist, qualifiziert sich das Unternehmen, wenn positive Belege zeigen, dass der Betrag unter der Schwelle liegt. Andernfalls muss es ausgeschlossen werden.
• Gegründet 2025 oder 2026. Alles frühere scheidet aus.
• Gründerherkunft mit öffentlichen Belegen. Mindestens ein Gründer wurde in einem bestimmten Land geboren, an einer Institution in diesem Land ausgebildet oder mit einer bestimmten Nationalität geboren.
• Hauptsitz im Ausland. Das Unternehmen selbst befindet sich außerhalb der Türkei.
• KI-fokussiert. Sowohl Infrastruktur- als auch Anwendungsebenen-Unternehmen qualifizieren sich.

Jede Zeile verknüpft jede Angabe mit einer Quell-URL, die der Agent geöffnet hat. Eine erfundene oder nicht erreichbare URL macht die von ihr gestützte Zeile ungültig.

Wie bewertet wird

Die Bewertung erfolgt anhand einer verborgenen Ground Truth: einem Gold-Set verifizierter, qualifizierender Unternehmen, das Modell nie sieht. Vier Dimensionen kommen zur Anwendung:

• Recall gegen ein verifiziertes Gold-Set qualifizierender Unternehmen.
• Precision gegen ein Trap-Set von Beinahe-Treffern, die jeweils genau ein Kriterium verfehlen. Namentlich genannte Disqualifizierer tragen feste Strafen.
• Datenrichtigkeit bei einer festen Zufallsstichprobe von Zeilen, gezogen mit einem aufgezeichneten Seed, sodass ein Bewertungsdurchlauf reproduzierbar ist: Hauptsitz, Gründungsjahr, Finanzierung innerhalb der Toleranz und Quellen, die danebenstehende Behauptung stützen.
• Formatkonformität: Spaltenreihenfolge, atomare Zellen, numerische Finanzierung, gültige CSV.

Eine Liste mit plausiblen, aber unverifizierten Unternehmen aufzufüllen, verliert mehr an Precision, als es an Recall gewinnt. Das Design belohnt weniger, vollständig verifizierte Zeilen.

Aufgabe 2: Wettbewerber-Mapping

Der Agent führt eine kommerzielle Due Diligence zu einem Zielunternehmen für einen potenziellen Investor durch. Für den bewerteten Durchlauf haben wir die Agenten auf unser eigenes Unternehmen angesetzt: Das Ziel ist AIMultiple selbst, was uns erlaubte, die Ground Truth anhand von Wissen aus erster Hand darüber zu verifizieren, wer mit uns konkurriert. Die Aufgabe: die direkten Wettbewerber des Ziels identifizieren, jeden mit öffentlichen Daten belegen und sie als CSV-Dokument zurückgeben.

Die Umfangsregeln definieren, was als Wettbewerber zählt:

• Substituierbarkeit. Ein Unternehmen qualifiziert sich, wenn es ein substituierbares Produkt oder eine substituierbare Dienstleistung für überlappende Kunden anbietet, in jeder Kategorie, in der das Ziel konkurriert.
• Vollständige Kategorieabdeckung. Das Ziel ist in mehreren Kategorien tätig. Der Agent muss Wettbewerber in jeder davon abdecken, nicht nur in der offensichtlichsten.
• Ausschlüsse. Unternehmen, über die das Ziel schreibt, mit denen es partnerschaftlich verbunden ist oder die es auflistet, aber mit denen es nicht konkurriert. Angrenzende Akteure in einer benachbarten Kategorie. Das Ziel selbst.

Eine gründliche Karte für ein Ziel dieser Breite umfasst 8 bis 15 Wettbewerber. Jede Zeile enthält die LinkedIn-Seite des Wettbewerbers, die gesamte offengelegte Finanzierung (oder „Undisclosed“), das Land des Hauptsitzes, das Gründungsjahr und die LinkedIn-Mitarbeiterzahl, mit einer Quell-URL neben jeder Kennzahl. Zwei Reasoning-Spalten stehen neben den Kennzahlen: ein Differenzierungsmerkmal gegenüber dem Ziel und eine Begründung für die Aufnahme, die jeweils spezifisch und nicht generisch sein müssen. Eine Finanzierungszahl muss durch eine Finanzierungsquelle gestützt werden.

Wie bewertet wird

Die Bewertung erfolgt anhand einer verborgenen Ground Truth, organisiert nach Wettbewerberkategorie. Fünf Dimensionen kommen zur Anwendung:

• Precision. Jeder zurückgegebene Nicht-Wettbewerber reduziert die Punktzahl. Namentlich genannte Disqualifizierer, wie SEO-Tools und die KI-Modellanbieter, die das Ziel lediglich benchmarkt, tragen feste Strafen. Ein weicher Anti-Padding-Schutz reduziert überschüssiges Gewicht, wenn eine einzelne Kategorie den Großteil des gefundenen Sets ausmacht. Wettbewerber haben zwei Gewichtungsstufen. Eine kleine Gruppe von Must-Not-Miss-Peers, die Firmen, die der Kernarbeit des Ziels am nächsten stehen, wiegen das Dreifache eines Standardeintrags. Ein echter Wettbewerber, der nicht in der Ground Truth enthalten ist, erhält nach Expertenprüfung dennoch Anerkennung, sodass ein unvollständiges Gold-Set einen korrekten Fund nicht bestraft.
• Abgestufte Fehlstrafen. Unabhängig vom Recall-Gewicht zieht jeder Must-Not-Miss-Peer, den der Agent nicht zurückgibt, eine pauschale Strafe ab, deren Höhe sich nach der Nähe richtet. Das Verpassen der nächsten Peers des Ziels wird als Kernversagen der Due Diligence behandelt, nicht als gewöhnliche Recall-Lücke.
• Finanzierungsrichtigkeit. Stichprobenartig geprüfte Zeilen innerhalb der Toleranz, wobei „Undisclosed“ und „N/A“ (öffentlich) als korrekte Antworten akzeptiert werden, wo sie zutreffen.
• Kennzahlenbelege und Reasoning. Erforderliche Kennzahlen vorhanden, atomar, belegt und innerhalb der Toleranz genau. Die Differenzierungs- und Begründungszellen werden auf Spezifität gegenüber Floskeln bewertet.

Warum die Kriterien sich dem Pattern Matching widersetzen

Beide Aufgaben sind darauf ausgelegt, die Abkürzungen zu blockieren, die Agenten unter Zeitdruck nehmen:

• Raten scheitert. Wo eine Zahl nicht öffentlich ist, ist die bewertete Antwort eine belegte Lücke, keine Schätzung. Eine erfundene Zahl kostet doppelt Punkte, einmal bei der Richtigkeit und einmal bei der Precision, sodass das Eingestehen des Unbekannten das Auffüllen übertrifft.
• Die Antworten liegen jenseits der ersten Suchergebnisseite. Beide Gold-Sets stützen sich auf junge oder dünn dokumentierte Unternehmen, die Trainingsdaten noch nicht erfasst haben, sodass die Punktzahlen von live gestaffelter Suche abhängen, nicht von Recall.
• Belege schlagen Inferenz. Ein plausibles Signal, ein vertraut klingender Name oder eine hochrangige Seite, stellt keine Tatsache fest; ein zitierfähiger Datensatz schon. Beide Bewertungsmatrizen bewerten die Quelle neben der Behauptung, nicht die Behauptung allein.
• Vollständigkeit und Precision ziehen in entgegengesetzte Richtungen. Auffüllen mit unverifizierten Namen kostet mehr, als es einbringt, während eine übermäßig vorsichtige Kurzliste Recall verliert. Die Bewertung drängt Agenten zu dem Gleichgewicht, das ein Fonds von einem Analysten erwartet: jeder Fund verifiziert, kein echter Fund übersprungen.

Aufbau der Aufgaben

Jeder Benchmark begann als echter Workflow in unseren Geschäftsentwicklungs- und Forschungsabläufen. Wir haben ursprüngliche Analystenspezifikationen in Aufgabendateien mit einer festen Struktur umgewandelt: Rolle, Zulassungsregeln, exakte Ausgabespalten, Tool-Zugriff und ein Zeitlimit. Bewertungsmatrizen leben in separaten Dateien mit Punkten pro Kriterium: Format und Arithmetik durchlaufen automatisierte Prüfungen, und Ermessensentscheidungen gehen an einen menschlichen Prüfer.

Drei Designregeln galten für beide Aufgaben:

• Jede Zahl benötigt eine Quelle, die der Agent geöffnet hat. Bloße Homepages und Suchergebnisseiten zählen nicht.
• „Undisclosed“ schlägt erfunden. „Undisclosed“ für eine private Pre-Seed-Runde zu schreiben, gibt Punkte; eine Zahl zu erfinden, kostet doppelt Punkte, einmal für Richtigkeit und einmal für Precision.
• Atomare Ausgabe. Ein Wert pro Zelle, exakte Spaltenreihenfolge. Strukturverstöße kosten Punkte, bevor der Inhalt beurteilt wird.

Leak-Kontrolle

Frühe Durchläufe lehrten uns die wichtigste Lektion in der Methodik. Als die Bewertungsmatrix-Datei vom Arbeitsverzeichnis des Modells aus erreichbar war, las das Modell sie und kopierte die Ground Truth. Die Punktzahlen stiegen aus Gründen, die nichts mit Research-Fähigkeit zu tun hatten.

Jede Bewertungsmatrix trägt nun eine Harness-Isolations-Anforderung: Das Modell erhält die Prompt-Datei und nichts anderes, und der Evaluator wendet die Bewertungsmatrix danach an. Jeder Durchlauf, bei dem die Bewertungsmatrix erreichbar war, wird als ungültig behandelt. Benchmark-Ersteller, die diese Kontrolle überspringen, werden überschätzen, wozu ihre Agenten fähig sind.

Was die Bewertungsmatrizen messen

Die Bewertungsmatrizen teilen eine Bewertungsphilosophie über beide Aufgaben hinweg:

• Recall gegen verifizierte Ground Truth. Jedes qualifizierende Unternehmen oder jeder Wettbewerber im Gold-Set wurde von einem menschlichen Researcher anhand öffentlicher Aufzeichnungen bestätigt, bevor ein Modell bewertet wurde.
• Precision mit namentlich genannten Fallen. Beide Ground-Truth-Sets enthalten Beinahe-Treffer, die genau ein Kriterium verfehlen und namentlich genannte Disqualifizierer mit festen Strafen sind, sodass Pattern Matching ohne Verifizierung erwischt wird.
• Negative Punkte für Fabrikation. Eine halluzinierte Finanzierungszahl oder eine tote Quell-URL zieht Punkte ab, anstatt null zu ergeben. Ehrliche Lücken schlagen selbstbewusste Fehler.
• Drift-Management. Finanzierung, Bewertungen und Mitarbeiterzahlen ändern sich. Jede Bewertungsmatrix trägt ein Stichtagsdatum, markiert driftanfällige Daten und erfordert eine Neuverifizierung vor jedem Bewertungsdurchlauf.
• Gemischte Prüfung. Recall-, Precision- und Formatprüfungen laufen automatisch. Nachweise zur Gründerherkunft und Aufnahmebegründungen gehen an einen menschlichen Prüfer.

Niedrige Punktzahlen entstehen dadurch, dass die Aufgabe wirklich schwer gemacht wird, nicht dadurch, dass gute Antworten durch Obergrenzen zermalmt werden. Recall, Precision, Richtigkeit und Ehrlichkeit ziehen jeweils an einem anderen Fehlermodus, sodass ein Modell schwache Recherche nicht durch selbstbewusste Formatierung kompensieren kann.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Warum Venture-Capital-Arbeit KI-Agenten gut testet

Venture-Capital-Firmen laufen auf Analystenarbeit. Deal-Flow-Screening und Due Diligence sind mehrschrittige Rechercheaufgaben. Jede davon erfordert Web-Recherche, Quellenverifizierung und strukturierte Ausgabe. Jede davon produziert auch plausibel aussehende falsche Antworten, was sie schwer vorzutäuschen und nützlich zu bewerten macht.

Diese Eigenschaften machen die VC-Analystenarbeit zu einer starken Benchmark-Domäne:

• Verifizierbare Ground Truth. Finanzierungsrunden, Gründungsjahre und Mitarbeiterzahlen können anhand öffentlicher Aufzeichnungen überprüft werden.
• Fabrikationsdruck. Modelle, die eine Zahl nicht finden können, neigen dazu, eine zu erfinden. Die Aufgaben legen dies direkt offen.
• Echter wirtschaftlicher Wert. Ein Fonds, der Teile der Due Diligence automatisiert, verändert seine eigene Kostenstruktur. Der Benchmark misst Arbeit, für die heute jemand bezahlt.

Weiterführende Lektüre

• AIM Agentic Marketing Benchmark
• KI-basierter Aktienhandel: Welches Gen-KI-Tool ist besser
• Agentic AI Finance Benchmark

FAQs

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{phd2026,
  author = {PhD., Ezgi Arslan, and Kalelioğlu, Berk},
  title  = {{KI VC Benchmark: 11 KI-Agenten bei echten Venture-Capital-Aufgaben}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/ai-vc}},
  note   = {AIMultiple. Abgerufen am 21. Juli 2026}
}

Ezgi Arslan, PhD.

Industrieanalystin

Folgen auf

Ezgi hat einen Doktortitel in Betriebswirtschaftslehre mit Spezialisierung auf Finanzen und arbeitet als Industrieanalystin bei AIMultiple. Sie treibt Forschung und Erkenntnisse an der Schnittstelle von Technologie und Wirtschaft voran, mit Fachwissen in den Bereichen Nachhaltigkeit, Umfrage- und Stimmungsanalyse, KI-Agenten-Anwendungen im Finanzwesen, Answer Engine Optimization, Firewall-Management und Beschaffungstechnologien.

Vollständiges Profil anzeigen

Technisch geprüft von

Berk Kalelioğlu

KI-Forscher

Folgen auf

Berk ist KI-Forscher bei AIMultiple und konzentriert sich auf agentenbasierte KI-Systeme und Sprachmodelle.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten