LLM Latenz-Benchmark nach Anwendungsfällen
Die Effektivität von großen Sprachmodellen (LLMs) wird nicht nur durch ihre Genauigkeit und Fähigkeiten bestimmt, sondern auch durch die Geschwindigkeit, mit der sie mit Benutzern interagieren.
Wir haben die Leistung führender Sprachmodelle in verschiedenen Anwendungsfällen getestet und ihre Antwortzeiten auf Benutzereingaben gemessen. Wir konzentrierten uns auf zwei Schlüsselkennzahlen: First Token Latency (die Zeit, die das Modell benötigt, um mit der Generierung des ersten Tokens einer Antwort zu beginnen), und Per Token Latency (die Zeit, die für die Generierung jedes Tokens während der Antwort benötigt wird).
LLM-Latenz-Benchmark
Hier finden Sie Details dazu, wie wir die Latenz gemessen haben.
Ergebnisse des Time-to-First-Token-Latenz-Benchmarks
Time to first token (TTFT) misst die Zeit, die ein Modell benötigt, um sein allererstes Token nach Erhalt eines Prompts zu generieren, und spiegelt wider, wie schnell es mit der Antwort beginnt.
Wenn die Ergebnisse über alle bewerteten Anwendungsfälle generalisiert werden, erreichen Mistral Large 2512 und GPT-5.2 konsistent First-Token-Latenzen unter einer Sekunde, was auf ein sehr schnelles initiales Antwortverhalten hinweist.
Claude 4.5 Sonnet zeigt eine deutlich höhere, aber dennoch stabile First-Token-Latenz und platziert sich in einer mittleren Kategorie. Im Gegensatz dazu weisen Grok 4.1 Fast Reasoning und DeepSeek V3.2 signifikant längere Verzögerungen auf, bevor sie das erste Token produzieren, wobei dieses Muster über alle Aufgaben hinweg konsistent bleibt.
Ergebnisse des Per-Token-Latenz-Benchmarks
Per-token latency misst die durchschnittliche Zeit, die benötigt wird, um jedes nachfolgende Token nach dem ersten zu generieren, und spiegelt die anhaltende Generierungsgeschwindigkeit des Modells wider.
Mistral Large 2512 und GPT-5.2 erreichen konsistent First-Token-Latenzen unter einer Sekunde, was auf ein sehr schnelles initiales Antwortverhalten hinweist.
Claude 4.5 Sonnet zeigt eine deutlich höhere, aber dennoch stabile First-Token-Latenz und platziert sich in einer mittleren Kategorie. Im Gegensatz dazu weisen Grok 4.1 Fast Reasoning und DeepSeek V3.2 signifikant längere Verzögerungen auf, bevor sie das erste Token produzieren, wobei dieses Muster über alle Aufgaben hinweg konsistent bleibt.
LLM-Geschwindigkeitsvergleich nach Anwendungsfall
Wir beobachten, dass Latenzschwankungen vom Aufgabentyp abhängen, was darauf hindeutet, dass diese Modelle unterschiedliche Leistungsprofile in verschiedenen Anwendungsfällen aufweisen.
F&A
In F&A-Szenarien, wie z. B. im Kundensupport, bei virtuellen Assistenten und Unternehmenswissens-Tools, haben Geschwindigkeit und Antwortzeiten direkte Auswirkungen auf die Benutzererfahrung.
- Mistral Large 2512 liefert die schnellste initiale Antwort mit einer First-Token-Latenz von 0,30 Sekunden, was es ideal für Live-Support-Systeme macht, die sofortige Antworten erfordern. Seine Per-Token-Latenz von 0,025 Sekunden bietet hervorragende Effizienz für die Generierung von Antworten beliebiger Länge.
- GPT-5.2 folgt mit einer First-Token-Latenz von 0,60 Sekunden und einer Per-Token-Latenz von 0,020 Sekunden. Obwohl der Start etwas langsamer ist, macht die niedrigere Per-Token-Latenz es hoch effizient für längere, detailliertere Antworten.
- Claude 4.5 Sonnet zeigt mit einer First-Token-Latenz von 2 Sekunden und einer Per-Token-Latenz von 0,030 Sekunden eine moderate initiale Reaktionsfähigkeit. Die Verzögerung vor dem ersten Token kann Echtzeit-Interaktionen beeinträchtigen, obwohl die konstante Generierungsgeschwindigkeit eine angemessene Gesamtleistung gewährleistet.
- Grok 4.1 Fast Reasoning hat eine First-Token-Latenz von 3 Sekunden und eine hervorragende Per-Token-Latenz von 0,010 Sekunden. Trotz des langsameren Starts produziert es, sobald die Generierung beginnt, Tokens extrem schnell, was es für Anwendungen geeignet macht, bei denen die gesamte Generierungszeit wichtiger ist als die sofortige Antwort.
- DeepSeek V3.2 ist mit einer First-Token-Latenz von 7 Sekunden und einer Per-Token-Latenz von 0,032 Sekunden das langsamste Modell insgesamt. Die signifikante Wartezeit vor dem ersten Token macht es weniger geeignet für F&A-Systeme, bei denen Geschwindigkeit kritisch ist.
Zusammenstellung von Zusammenfassungen
Der Anwendungsfall der Zusammenfassungsgenerierung spielt eine entscheidende Rolle in Anwendungen, bei denen Benutzer lange Texte schnell erfassen müssen. Zum Beispiel beeinflusst in Szenarien, in denen Kundenserviceteams eine Aufzeichnung eines Anrufs innerhalb von Sekunden zusammenfassen und Maßnahmen ergreifen müssen, die First-Token-Latenz direkt die Benutzererfahrung.
- Mistral Large 2512 führt mit einer First-Token-Latenz von 0,45 Sekunden und einer Per-Token-Latenz von 0,025 Sekunden und ist eine effektive Option für Szenarien, die eine schnelle Dokumentenzusammenfassung erfordern.
- GPT-5.2 folgt mit einer First-Token-Latenz von 0,60 Sekunden und der schnellsten Per-Token-Latenz von 0,020 Sekunden, was es ermöglicht, auch bei längeren Inhalten die Geschwindigkeit aufrechtzuerhalten.
- Claude 4.5 Sonnet hat eine langsamere initiale Antwort mit einer First-Token-Latenz von 2 Sekunden. Seine Per-Token-Latenz von 0,030 Sekunden bietet jedoch immer noch eine ordentliche Gesamtleistung für Zusammenfassungsaufgaben.
- Grok 4.1 Fast Reasoning zeigt eine First-Token-Latenz von 4 Sekunden, kompensiert dies jedoch mit einer hervorragenden Per-Token-Latenz von 0,010 Sekunden, was es effizient macht, sobald die Generierung beginnt.
- DeepSeek V3.2 sticht als langsamstes Modell hervor, mit einer First-Token-Latenz von 7,5 Sekunden und einer Per-Token-Latenz von 0,025 Sekunden.
Sprachübersetzung
Basierend auf unserem Benchmark zeigen Übersetzungsaufgaben interessante Leistungsabwägungen zwischen der initialen Antwortzeit und der anhaltenden Generierungsgeschwindigkeit.
- Mistral Large 2512 liefert die schnellste initiale Antwort mit einer First-Token-Latenz von 0,40 Sekunden und einer Per-Token-Latenz von 0,020 Sekunden, was es ideal für Echtzeit-Übersetzungsszenarien macht.
- GPT-5.2 startet bei 0,55 Sekunden mit der niedrigsten Per-Token-Latenz von 0,010 Sekunden und bietet außergewöhnliche Effizienz für längere Übersetzungen, sobald die Generierung beginnt.
- Claude 4.5 Sonnet balanciert mit einer First-Token-Latenz von 2 Sekunden und einer Per-Token-Latenz von 0,015 Sekunden moderate initiale Reaktionsfähigkeit mit starker anhaltender Generierungsgeschwindigkeit.
- Grok 4.1 Fast Reasoning hat eine First-Token-Latenz von 6 Sekunden. Dennoch behält es eine hervorragende Per-Token-Latenz von 0,005 Sekunden bei, die schnellste in dieser Kategorie, was es hoch effizient für Batch-Übersetzungsaufgaben macht.
- DeepSeek V3.2 weist die höchste First-Token-Latenz von 7,5 Sekunden auf, mit einer Per-Token-Latenz von 0,025 Sekunden, was seine Anwendbarkeit in zeitkritischen Übersetzungsworkflows einschränkt.
Geschäftsanalyse
Basierend auf den Ergebnissen, die wir im Anwendungsfall der Geschäftsanalyse beobachtet haben, weisen die Modelle unterschiedliche Leistungsprofile auf, die für verschiedene analytische Szenarien geeignet sind.
- Mistral Large 2512 liefert eine starke initiale Antwort mit einer First-Token-Latenz von 0,40 Sekunden, obwohl seine Per-Token-Latenz von 0,040 Sekunden höher ist als in anderen Anwendungsfällen. Es bleibt für routinemäßige Geschäftsanalyseaufgaben geeignet.
- GPT-5.2 startet bei 0,50 Sekunden mit einer Per-Token-Latenz von 0,020 Sekunden, was es für Geschäftsanalyseaufgaben geeignet macht, die sowohl schnelle Starts als auch effizientere längere Ausgaben erfordern, wie z. B. tägliche Berichte oder Dashboards.
- Claude 4.5 Sonnet antwortet mit einer First-Token-Latenz von 2 Sekunden und einer Per-Token-Latenz von 0,035 Sekunden. Obwohl die initiale Verzögerung zu Verzögerungen in Echtzeit-Workflows führen kann, bietet es eine konsistente Ausgabegeschwindigkeit für Batch-Datenüberprüfungen oder geplante Berichterstattung.
- Grok 4.1 Fast Reasoning zeigt eine First-Token-Latenz von 4 Sekunden, behält jedoch eine hervorragende Per-Token-Effizienz von 0,010 Sekunden bei, was es effektiv für umfassende analytische Berichte macht, bei denen die gesamte Abschlusszeit wichtiger ist als die sofortige Antwort.
- DeepSeek V3.2 war das langsamste Modell mit einer First-Token-Latenz von 8 Sekunden und einer Per-Token-Latenz von 0,030 Sekunden, was es für zeitkritische Geschäftsanalyse-Szenarien weniger geeignet macht.
Programmierung
Programmiertasks zeigen unterschiedliche Leistungsmerkmale, wobei Modelle für verschiedene Aspekte der Code-Generierung optimiert sind.
- Mistral Large 2512 hatte die niedrigste First-Token-Latenz von 0,30 Sekunden mit einer Per-Token-Latenz von 0,025 Sekunden, was es zum schnellsten Modell macht, um mit der Code-Generierung zu beginnen und einen soliden Durchsatz aufrechtzuerhalten.
- GPT-5.2 folgte mit einer First-Token-Latenz von 0,50 Sekunden und der besten Per-Token-Latenz von 0,015 Sekunden. Diese Kombination ermöglicht es GPT-5.2, sich nach einem etwas langsameren Start schnell zu erholen, was es hoch effizient für längere oder komplexere Programmiertasks macht, bei denen die anhaltende Token-Generierungsgeschwindigkeit wichtig ist.
- Claude 4.5 Sonnet zeigte mit einer First-Token-Latenz von 2 Sekunden und einer Per-Token-Latenz von 0,028 Sekunden moderate Reaktionsfähigkeit. Obwohl es nicht das schnellste beim Start ist, behält es eine angemessene Generierungsgeschwindigkeit für typische Programmier-Workflows bei.
- Grok 4.1 Fast Reasoning hatte eine First-Token-Latenz von 11 Sekunden, aber die schnellste Per-Token-Latenz von 0,005 Sekunden. Trotz der signifikanten initialen Verzögerung produziert es, sobald die Generierung beginnt, Code extrem schnell, was es potenziell für Batch-Code-Generierungsaufgaben geeignet macht.
- DeepSeek V3.2 hatte die höchste First-Token-Latenz von 19 Sekunden mit einer Per-Token-Latenz von 0,030 Sekunden, was es für Programmiertasks zum langsamsten in der Gruppe macht und seine Anwendbarkeit in interaktiven Entwicklungsumgebungen einschränkt, in denen sofortiges Feedback unerlässlich ist.
LLM-Reasoning und seine Auswirkung auf die Geschwindigkeit
Reasoning-Modelle brauchen länger zum Starten, da sie eine Chain-of-Thought-Verarbeitung durchführen; sie „denken" das Problem intern schrittweise durch, bevor sie eine Antwort produzieren. Diese zusätzliche interne Reasoning-Verarbeitung verursacht die initiale Verzögerung.
Der Grund für diesen langsameren Start ist, dass diese Modelle nicht nur Text generieren; sie führen zunächst eine tiefere Analyse und logische Inferenz durch, was zusätzliche Rechenzeit erfordert. Dieses interne „Denken" führt zu genaueren und durchdachteren Ausgaben.
Beispielsweise zeigte Grok 4.1 Fast Reasoning in unserem Benchmark eine höhere Time To First Token im Vergleich zu einfacheren generativen Modellen, da es mehr Zeit für internes Reasoning aufwendet. Trotz des langsameren Starts waren die Qualität und Präzision seiner Antworten signifikant besser.
Was ist LLM-Latenz und warum ist sie wichtig?
LLM-Latenz bezieht sich auf die Zeit, die ein großes Sprachmodell benötigt, um eine Antwort nach Erhalt einer Benutzereingabe zu generieren. In der Praxis ist Latenz keine einzelne Zahl, sondern eine Sammlung von Latenzmaßen, die beschreiben, wie schnell ein System reagiert und die Ausgabe-Generierung abschließt.
Eine der wichtigsten Unterscheidungen ist End-to-End-Latenz (E2E-Latenz). Die E2E-Latenz misst die Gesamtzeit vom Empfang einer Anfrage durch den Server bis zum Abschluss des Sendens der Antwort, einschließlich des finalen Tokens. Dieser Wert spiegelt die gesamte Wartezeit wider, die der Benutzer erlebt, und steht in engem Zusammenhang mit dem, was Benutzer als Reaktionsfähigkeit wahrnehmen.
Die Latenz wird üblicherweise in Schlüsselkennzahlen unterteilt, wie:
- Time to first token (TTFT) oder First-Token-Latenz, die erfasst, wie lange es dauert, bis das Modell mit der Ausgabe beginnt
- Inter-Token-Latenz (ITL), die die Verzögerung zwischen den während der Antwort generierten Tokens misst
- Gesamtgenerierungszeit, die vom Einreichen des Prompts bis zum Abschluss der Antwort reicht
Niedrige Latenz ist in interaktiven Anwendungen wie Chatbots, Coding-Assistenten und Kundensupport-Tools von entscheidender Bedeutung. Hohe Latenz kann den natürlichen Fluss der Interaktion unterbrechen, das Engagement verringern und die Benutzerzufriedenheit negativ beeinflussen. Im Laufe der Zeit kann eine konsistent hohe Latenz auch die Einführung von KI-gestützten Lösungen einschränken, insbesondere in Echtzeit- oder kundenorientierten Anwendungsfällen.
Warum es wichtig ist, ob die LLM-Latenz für die Benutzererfahrung hoch oder niedrig ist
Die Auswirkung der Latenz auf die Benutzererfahrung geht über Unannehmlichkeiten hinaus. Benutzer nehmen Antwortzeiten je nach Kontext, Komplexität der Anfrage und den durch die Anwendung gesetzten Erwartungen unterschiedlich wahr. Eine kurze Verzögerung kann bei komplexen Reasoning-Aufgaben akzeptabel sein, während bereits geringfügige Verzögerungen in konversationellen Schnittstellen störend wirken können.
- Verzögerte Antworten können den konversationellen Fluss in interaktiven KI-Systemen unterbrechen.
- Konsistente Antwortzeiten führen oft zu einer größeren Benutzerzufriedenheit als stark variable.
- Eine etwas langsamere, aber vorhersehbarere Antwortgeschwindigkeit wird oft gegenüber gelegentlichen schnellen Antworten gemischt mit langen Verzögerungen bevorzugt.
Dieser psychologische Aspekt des Wartens erklärt, warum die wahrgenommene Reaktionsfähigkeit genauso wichtig ist wie die rohen Antwortzeiten. In vielen Fällen ist die Aufrechterhaltung einer konsistenten Leistung wichtiger als die Erzielung der niedrigstmöglichen Latenz für eine einzelne Anfrage.
Als bevorzugte Quelle hinzufügenFaktoren, die die LLM-Latenz beeinflussen
Die LLM-Latenz variiert je nach mehreren technischen und betrieblichen Faktoren. Das Verständnis dieser Schlüsselfaktoren hilft Teams, Leistungsengpässe zu identifizieren und gezielte Latenz-Optimierungsstrategien anzuwenden.
Modellgröße und Konfiguration
Die Modellgröße beeinflusst direkt die Verarbeitungsgeschwindigkeit. Größere Modelle benötigen in der Regel mehr Rechenressourcen und mehr Zeit, um dieselben Eingabe-Tokens zu verarbeiten. Obwohl größere Modelle eine bessere Ausgabequalität bieten können, erhöhen sie oft die First-Token-Latenz und die gesamte Token-Latenz.
Wichtige Überlegungen umfassen:
- Modellgröße und interne Architektur
- Modellkonfigurationen, wie z. B. die Länge des Kontextfensters
- Abwägungen zwischen Antwortqualität und niedriger Latenz
Die Auswahl eines Modells, das mit den Leistungsanforderungen der Anwendung übereinstimmt, ist ein zentraler Bestandteil der Modelloptimierung.
Hardware und Systemarchitektur
Hardware spielt eine entscheidende Rolle bei der Bestimmung der Antwortzeiten. Leistungsstarke GPUs oder KI-Beschleuniger können die Rechenzeit erheblich verkürzen und die Latenz sowohl bei TTFT als auch bei der Inter-Token-Latenz senken. Wichtige Beiträge umfassen:
- GPU-Auslastung und Verfügbarkeit
- Speicherbandbreite und Effizienz der Datenübertragung
- Gesamtsystemarchitektur und Rechenressourcen
Der Systemdurchsatz, üblicherweise in Tokens pro Sekunde (TPS) gemessen, zeigt an, wie viel Ausgabe ein System unter gleichzeitiger Last generieren kann. Hochdurchsatz-Metriken sind entscheidend für die Bewältigung mehrerer Anfragen, ohne die Antwortzeiten zu verschlechtern.
Parallelität, Batching und Systemlast
Die Latenz verhält sich in Einzelanfrage- und Parallelanfrage-Szenarien unterschiedlich. Während Batching den Durchsatz verbessern kann, kann es auch Warteschlangenverzögerungen einführen, die die initiale Antwortzeit erhöhen.
Faktoren, die die Latenz hier beeinflussen, umfassen:
- Anzahl der parallelen Anfragen
- Batching- und Scheduling-Richtlinien
- Aktuelle Systemlast und Nutzungsmuster
Systeme, die nur auf Durchsatz optimiert sind, können während Spitzenzeiten eine hohe Latenz erfahren, selbst wenn die durchschnittliche Leistung akzeptabel erscheint.
Netzwerk- und Bereitstellungseffekte
Netzwerklatenz kann bedeutende Verzögerungen hinzufügen, insbesondere in verteilten oder cloudbasierten Systemen. Die Kommunikation zwischen Diensten, Regionen und Benutzern trägt zur gesamten End-to-End-Latenz bei.
Cold Starts sind ein weiterer kritischer Faktor. Wenn Modelle während inaktiver Perioden auf Null skaliert werden, muss die erste Anfrage warten, bis das Modell geladen ist, was die Latenz erheblich erhöhen kann. Cold-Start-Effekte können genaue Latenzmessungen verzerren, wenn sie nicht separat von der Leistung im stabilen Zustand berücksichtigt werden.
Strategien zur Reduzierung der LLM-Latenz
Die Reduzierung der Latenz erfordert koordinierte Änderungen an Modellen, Infrastruktur und Anwendungsdesign. Eine effektive Latenzoptimierung konzentriert sich sowohl auf die tatsächliche als auch auf die wahrgenommene Reaktionsfähigkeit.
Ansätze zur Modelloptimierung
Techniken zur Modelloptimierung zielen darauf ab, die Verarbeitungsgeschwindigkeit zu verbessern und gleichzeitig eine akzeptable Antwortqualität zu erhalten. Übliche Methoden umfassen:
- Quantisierung und Beschneiden zur Verringerung der Modellgröße
- Feinabstimmung kleinerer Modelle für bestimmte Aufgaben
- Anpassung der Modellkonfigurationen zur Priorisierung niedriger Latenz
Die Optimierung von Modellprozessen kann die Latenz erheblich reduzieren und die Betriebskosten senken.
Prompt-Design und Token-Effizienz
Prompt-Engineering beeinflusst die Latenz direkt. Längere Prompts erhöhen die Anzahl der Eingabe-Tokens, die das Modell verarbeiten muss, was sowohl TTFT als auch die Ausgabe-Generierung verlangsamt.
Best Practices umfassen:
- Nur relevante Kontexte verwenden
- Prompt-Komplexität und unnötige Anweisungen reduzieren
- Generierte Tokens begrenzen, wenn keine vollständige Antwort erforderlich ist
Streaming, Caching und Antwortbehandlung
Streaming-Antworttechniken ermöglichen es dem Modell, mit der Ausgabe zu beginnen, sobald das erste Token bereit ist, anstatt auf das letzte Token zu warten. Dies verbessert die wahrgenommene Reaktionsfähigkeit, selbst wenn die gesamte Generierungszeit unverändert bleibt.
Zusätzliche Techniken umfassen:
- Caching von Antworten für wiederholte oder identische Eingabeabfragen
- Semantisches Caching für ähnliche Prompts mit überlappendem Intent
- Infrastruktur- und Durchsatzoptimierung
Das Infrastruktur-Tuning ist entscheidend für die Aufrechterhaltung der Leistung im Maßstab. Dies umfasst:
- Ausgewogenheit von Durchsatzmetriken und Latenzmaßen
- Sicherstellung ausreichender Rechenressourcen für Spitzenlasten
- Verringerung von Warteschlangenverzögerungen bei parallelen Anfragen
Messung und Überwachung der LLM-Latenz in der Produktion
Genaue Latenzmessungen sind entscheidend für die Diagnose von Problemen und die Validierung von Verbesserungen. Unterschiedliche Testmethoden dienen unterschiedlichen Zwecken:
- Synchrones Testen verarbeitet eine Anfrage nach der anderen und liefert saubere und isolierte Latenzdaten.
- Asynchrones Testen simuliert reale Szenarien mit mehreren gleichzeitigen Anfragen, kann jedoch die Isolierung einzelner Latenzen erschweren.
Die Überwachung wichtiger Leistungsmetriken hilft Teams, Leistungsengpässe zu identifizieren, Leistungstrends zu verfolgen und die Leistung im Laufe der Zeit aufrechtzuerhalten. Kontinuierliches Monitoring ist entscheidend, da sich Nutzungsmuster entwickeln.
Häufig in der Produktion verwendete Tools umfassen:
- NVIDIA GenAI-Perf und LLMPerf zur Erfassung von Latenzmetriken
- Prometheus und Grafana zur Überwachung und Visualisierung von Latenzverteilungen
Diese Tools unterstützen die kontinuierliche Optimierung und helfen, eine konsistente Leistung unter sich ändernden Arbeitslasten sicherzustellen.
Warum Konsistenz wichtiger ist als Geschwindigkeit allein
Obwohl niedrige Latenz entscheidend ist, ist Konsistenz oft wichtiger für die Benutzerzufriedenheit. Systeme mit stark variierenden Antwortzeiten wirken oft unzuverlässig, selbst wenn einige Antworten schnell sind. Im Gegensatz dazu schaffen konsistente Antwortzeiten vorhersehbare Interaktionen und verbessern die wahrgenommene Reaktionsfähigkeit.
In interaktiven KI-Anwendungen prägt die Antwortgeschwindigkeit Vertrauen, Benutzerfreundlichkeit und langfristige Akzeptanz. Die Optimierung der LLM-Latenz geht daher nicht nur darum, Millisekunden zu minimieren, sondern stabile, vorhersehbare Leistung zu liefern, die mit den Benutzererwartungen übereinstimmt.
Durch die Kombination genauer Messungen, durchdachten Systemdesigns und kontinuierlichen Monitorings können Teams die Latenz erheblich reduzieren und gleichzeitig Leistung, Antwortqualität und Kosteneffizienz aufrechterhalten.
LLM-Latenz-Benchmark-Methodik
Benchmark-Setup
Wir haben die Latenzleistung mehrerer LLMs in fünf Anwendungsfällen gemessen. Der Benchmark wurde auf einem Remote-Server ausgeführt, um konsistente Netzwerkbedingungen zu gewährleisten. Alle Modelle wurden mit ihren jeweiligen offiziellen APIs getestet. Wir haben die Temperatur auf 0,1 gesetzt.
Datenerfassung
Ein einzelner Lauf wurde mit insgesamt 500 Fragen durchgeführt (100 Fragen pro Anwendungsfall). Jede Frage wurde an den Streaming-API-Endpunkt des Modells gesendet, und Zeitmessungen wurden an drei kritischen Punkten erfasst:
- Anfrage gesendet: Zeitstempel, wenn die API-Anfrage initiiert wurde
- Erstes Token empfangen: Zeitstempel, wenn das erste Antwort-Token ankam
- Letztes Token empfangen: Zeitstempel, wenn der Streaming-Antwortvorgang abgeschlossen war
Metriken
Time to First Token (TTFT)
Misst die initiale Antwortlatenz – wie lange es dauert, bis das Modell mit der Generierung einer Antwort beginnt.
Per Token Latency (PTL)
Misst die durchschnittliche Zeit (in Millisekunden), die benötigt wird, um jedes Token nach der initialen Antwort zu generieren.
F&A
Wir haben die Modelle an einem Satz von 10 Fragen getestet, die eine Vielzahl gängiger faktischer und konzeptioneller Themen in technischen, geschäftlichen und allgemeinwissensbezogenen Domänen abdecken. Diese Eingaben hatten durchschnittlich etwa 13 Tokens pro Prompt, was sie relativ kurz macht.
Dieser Anwendungsfall bewertet die Fähigkeit der Modelle, klare, genaue und informative Antworten zu generieren, die für Bildungs-, Dokumentations- und Kundensupport-Kontexte geeignet sind. Die erforderlichen Antworten beinhalten typischerweise mittellange Erklärungen, die Detailgenauigkeit mit Klarheit ausbalancieren.
Programmierung
Wir haben die Modelle an einem Satz von 10 verschiedenen Programmiertasks getestet, die von einfachen Funktionen bis hin zu fortgeschrittener API-Entwicklung reichen. Diese Tasks umfassten die Generierung von Python-Code-Snippets, wie z. B. grundlegende Skripte, Webanwendungen mit Flask oder FastAPI und Datenverarbeitungsskripte.
Dieser Anwendungsfall bewertet die Fähigkeit der Modelle, strukturierten, funktionalen und kohärenten Code zu produzieren, der oft längere, komplexere Ausgaben erfordert als typische Textgenerierung. Die Eingabe-Prompts hatten durchschnittlich etwa 20 Tokens pro Stück und spiegeln prägnante, aber beschreibende Programmieranfragen wider.
Sprachübersetzung
Wir haben die Modelle mit einem Satz von 10 verschiedenen Übersetzungsprompts getestet, die mehrere Sprachen (Spanisch, Chinesisch, Russisch) und Textarten abdecken, einschließlich langer akademischer Passagen, kurzer alltäglicher Sätze, wissenschaftlicher Abstracts, geschäftlicher E-Mails und literarischer Auszüge. Diese Eingaben variierten erheblich in Länge und Komplexität, von kurzen Sätzen von etwa 10 Tokens bis hin zu detaillierten mehrabschnittigen Texten, die mehrere hundert Tokens überschreiten.
Dieser Anwendungsfall bewertet die Fähigkeit der Modelle, Bedeutung über verschiedene Sprachen und Domänen hinweg genau zu verstehen und treu wiederzugeben, wobei Nuancen, Stil und technischer Inhalt erhalten bleiben. Durch die Verwendung verschiedener Textarten und -längen haben wir sowohl die allgemeine Übersetzungsqualität als auch den Umgang der Modelle mit spezialisierten oder formellen Sprachen getestet.
Geschäftsanalyse
Wir haben die Modelle mit 10 verschiedenen Geschäftsanalyse-Prompts getestet, die jeweils reale Entscheidungsfindungsszenarien in Bereichen wie Verkaufsleistung, Kundenbindung, Engpässe in der Lieferkette, Marketing-ROI, Mitarbeiterproduktivität und Wettbewerbsstrategie simulieren. Die Prompts enthielten strukturierte tabellarische Daten und offene analytische Fragen, die von den Modellen erforderten, mehrere Geschäftsmetriken zu interpretieren und prägnante, umsetzbare Erkenntnisse zu generieren. Die Eingaben variierten in der Komplexität, mit einer durchschnittlichen Eingabelänge von etwa 105 Tokens.
Dieser Anwendungsfall testet die Fähigkeit eines Modells, quantitative Daten zu synthetisieren, logisches Reasoning anzuwenden und Empfehlungen klar in einem geschäftlichen Kontext zu kommunizieren.
Zusammenstellung von Zusammenfassungen
Wir haben Modelle damit beauftragt, akademisch stilisierte Zusammenfassungen (~500 Tokens) technischer Artikel zu verschiedenen Themen zu erstellen, darunter KI im Gesundheitswesen, Klimawandel, erneuerbare Energien, Blockchain, Remote-Arbeit, Elektrofahrzeuge, Cybersicherheit, soziale Medien, Urbanisierung und Quantencomputing. Jede Zusammenfassung war in Hauptargumente, unterstützende Ideen und Schlussfolgerungen strukturiert, wobei Schlüsselbegriffe hervorgehoben und kurz erklärt wurden.
Dieser Anwendungsfall testet die Fähigkeit eines Modells, detaillierte technische Artikel zu verstehen und klare, strukturierte, akademisch stilisierte Zusammenfassungen mit Erklärungen von Schlüsselbegriffen zu generieren.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Şipi, Nazlı},
title = {{LLM Latenz-Benchmark nach Anwendungsfällen}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/llm-latency-benchmark}},
note = {AIMultiple. Abgerufen am 10. Juni 2026}
}
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.