15 KI-Agent-Überwachungstools: AgentOps & Langfuse

KI-Agent-Überwachungstools, wie Langfuse und Arize, helfen dabei, detaillierte Abläufe (eine Aufzeichnung der Ausführung eines Programms oder einer Transaktion) zu erfassen und bieten Dashboards, um Metriken in Echtzeit zu verfolgen. 

Viele Agenten-Frameworks, wie LangChain, verwenden den OpenTelemetry-Standard, um Metadaten mit agentenbasiertem Monitoring auszutauschen. Darüber hinaus bieten viele Überwachungstools benutzerdefinierte Instrumentierung für mehr Flexibilität.

Wir haben 15 Überwachungsplattformen für LLM-Anwendungen und KI-Agenten getestet. Jede Plattform wurde praktisch implementiert, indem Workflows eingerichtet, Integrationen konfiguriert und Testszenarien durchgeführt wurden. Wir haben 4 Überwachungstools benchmarked, um zu messen, ob sie Overhead in Produktions-Pipelines verursachen. Außerdem haben wir ein LangChain-Überwachungstutorial mit Langfuse demonstriert.

Benchmark zum Overhead von agentenbasierten Monitoring-Tools

Wir haben jede Überwachungsplattform in unser Multi-Agenten-Reiseplanungssystem integriert und 100 identische Abfragen durchgeführt, um deren Performance-Overhead im Vergleich zu einer Basislinie ohne Instrumentierung zu messen. Lesen Sie unsere Benchmark-Methode.

• LangSmith zeigte außergewöhnliche Effizienz mit praktisch keinem messbaren Overhead und ist daher ideal für leistungskritische Produktionsumgebungen. 
• Laminar verursachte minimalen Overhead von 5 % und eignet sich daher hervorragend für Produktionsumgebungen, in denen die Leistung entscheidend ist.
• AgentOps und Langfuse zeigten moderaten Overhead von 12 % bzw. 15 %, was einen vernünftigen Kompromiss zwischen Überwachungsfunktionen und Performance-Einbußen darstellt. Diese Plattformen halten immer noch eine akzeptable Latenz für die meisten Produktionsanwendungsfälle aufrecht.

Mögliche Gründe für Leistungsunterschiede

Unser Benchmark zeigt, dass Latenzunterschiede durch die Tiefe der Instrumentierung und die Beteiligung am Ausführungspfad verursacht werden, insbesondere bei Multi-Agenten-Workflows. Tools, die tiefere, schrittweise Überwachung bieten, wiesen einen höheren Overhead auf, während leichtere Tracing-Ansätze näher an der Basislinie blieben.

1. Instrumentierungstiefe auf dem Ausführungspfad

Überwachungstools fügen der Ausführungslogik des Agenten zusätzliche Logik hinzu, um Abläufe und Metadaten zu erfassen. Wenn diese Logik synchron während der Anfrageverarbeitung ausgeführt wird, erhöht sie die End-to-End-Latenz direkt, da der Agent diese zusätzliche Arbeit abschließen muss, bevor eine Antwort zurückgegeben wird.

Zum Beispiel: 

• LangSmith fügte praktisch keinen messbaren Overhead hinzu (~0 %), was auf wenig synchrone Arbeit hindeutet,
• Langfuse’s tiefere, schrittweise Instrumentierung trug zu einem höheren Overhead (~15 %) bei.

2. Ereignisvervielfachung in mehrstufigen Pipelines

In Multi-Agenten-Systemen löst eine einzelne Benutzeranfrage mehrere Agentenaktionen aus. Wenn ein Tool detaillierte Daten bei jedem Schritt aufzeichnet, wächst die Gesamtanzahl der Ereignisse schnell an, was den Verarbeitungs- und Tracing-Overhead erhöht, je tiefer der Workflow wird.

In den Benchmark-Ergebnissen: 

• Langfuse und AgentOps verursachten deutlich höheren Overhead (15 % und 12 %) in unserem mehrstufigen Reiseplanungs-Workflow
• LangSmith und Laminar sendeten weniger Ereignisse pro Agentenschritt aus.

3. Overhead durch Inline-Bewertung und -Validierung

Einige Plattformen führen zusätzliche Prüfungen oder Überwachungen während der Agentenausführung durch. Obwohl jede Prüfung leichtgewichtig ist, addieren sich wiederholte Prüfungen über alle Agentenschritte hinweg zu messbarer Latenz.

Zum Beispiel:

• AgentOps’ Überwachung auf Lebenszyklusebene korrelierte mit einem 12 % Overhead
• Laminar zeigte keine Hinweise auf Inline-Bewertung, die die Ausführung beeinflusst, und blieb bei ~5 %.

4. Häufigkeit von Serialisierung und Speicherung

Die Erfassung detaillierter Überwachungsdaten erfordert die Serialisierung von Traces und das Schreiben in Speicher oder externe Backends. Höhere Trace-Detailtiefe erhöht, wie oft dies geschieht, und fügt jedem Request I/O-Overhead hinzu.

In unserem Benchmark:

• Langfuse’s detaillierte Prompt-, Ausgabe- und Token-Tracing führte zum höchsten Overhead (~15 %)
• LangSmith’s leichtere Trace-Artefakte blieben nahe der Basislinie.

5. Integrationsgrad mit dem Agenten-Framework

Wie eng ein Tool mit dem Agenten-Framework integriert ist, beeinflusst die Leistung. Engere Integrationen reduzieren Übersetzungs- und Orchestrierungsschritte, während generische SDKs zusätzliche Verarbeitungsschichten hinzufügen.

Zum Beispiel:

• LangSmith’s enge Ausrichtung mit der Agentenausführung korrelierte mit ~0 % Overhead
• AgentOps und Langfuse zeigten höheren Latenz-Einfluss, was mit weniger eng gekoppelten Integrationspfaden übereinstimmt.

KI-Agent-Überwachungsplattformen

Stufe 1: Feingranulare LLM- und Prompt-/Ausgabe-Überwachung

* Die in diesen Spalten aufgeführten Funktionen sind beispielhafte Illustrationen dessen, was jedes Tool überwachen kann, wenn es durch Integrationen oder Anpassungen erweitert wird. Diese sind nicht auf eine einzige Plattform beschränkt.

Stufe 2: Workflow-, Modell- und Bewertungs-Überwachung

Stufe 3: Überwachung des Agenten-Lebenszyklus und der Betriebsabläufe

Stufe 4: System- und Infrastrukturüberwachung (nicht agentennativ)

Datadog (mit seinem LLM-Überwachungsmodul) und Prometheus (über Exporter) werden zunehmend zusammen mit Langfuse/LangSmith verwendet.

Agenten-Entwicklungs- und Orchestrierungsplattformen:

• Tools wie Flowise, Langflow, SuperAGI und CrewAI ermöglichen das Erstellen, Orchestrieren und Optimieren von Agenten-Workflows mit No-Code/Low-Code-Schnittstellen

Bereitstellung kostenlose Editionen & Preise

Die kostenlosen Editionen variieren hinsichtlich Nutzungsgrenzen (z. B. Beobachtungen, Traces, Tokens oder Arbeitseinheiten). Die Einstiegspreise gelten typischerweise für einen Basisplan, der Einschränkungen bei Funktionen, Benutzern oder Nutzungsgrenzen haben kann.

Weights & Biases (W&B Weave)

Anwendungsfall: Fehler in Multi-Agenten-Systemen durch Verfolgung, wie sich Fehler über Agentenaufrufe hinweg fortpflanzen, debuggen.

Abbildung 1: Traces-Dashboard von Weights & Biases Weave.

Weights & Biases Weave zeichnet strukturierte Ausführungsabläufe für Multi-Agenten-Systeme auf und bewahrt die Eltern-Kind-Beziehungen zwischen Agentenaufrufen. Eingaben, Ausgaben, Zwischenzustände, Latenz und Token-Verbrauch werden pro Agent und pro Trace erfasst.

Weave-Überwachungsfunktionen

• Hierarchisches Agenten-Tracing statt flacher Anfragelogbücher
• Kosten- und Latenz-Zuordnung auf Agent-Ebene
• Integrierte Unterstützung für Bewertungsscorer, die direkt auf Traces angewendet werden.

Bewertungsfähigkeiten

Weave bietet auch integrierte Scorers für die Bewertung, darunter:

• HallucinationFreeScorer zur Erkennung von Halluzinationen,
• SummarizationScorer zur Bewertung der Zusammenfassungsqualität,
• EmbeddingSimilarityScorer für semantische Ähnlichkeit,
• ValidJSONScorer und ValidXMLScorer für Formatvalidierung,
• PydanticScorer für Schema-Konformität,
• OpenAIModerationScorer für Inhaltsicherheit,
• RAGAS-Scorers wie ContextEntityRecallScorer,
• ContextRelevancyScorer zur RAG-Systembewertung.

Am besten geeignet für: Teams, die Multi-Schritt- oder Multi-Agenten-Workflows ausführen und eine Root-Cause-Analyse auf Trace-Ebene statt Oberflächenmetriken benötigen.

Langfuse

Anwendungsfälle: LLM-Interaktionen verfolgen, Prompt-Versionen verwalten und die Modellleistung mit Benutzersitzungen überwachen.

Abbildung 2: Langfuse-Dashboard-Beispiel mit Trace-Details.¹

Langfuse bietet tiefgehende Einblicke in die Prompt-Ebene, erfasst Prompts, Antworten, Kosten und Ausführungsabläufe, um LLM-Anwendungen zu debuggen, zu überwachen und zu optimieren.

Jedoch ist Langfuse möglicherweise nicht für Teams geeignet, die Git-basierte Workflows für Code- und Prompt-Management bevorzugen, da sein externes Prompt-Management-System nicht das gleiche Maß an Versionskontrolle und Zusammenarbeit bieten kann.

Langfuse-Überwachungsfunktionen

• Sichtbarkeit in die Entwicklung und Nutzungsmuster von Prompts
• Sitzungsbasierte Analyse, geeignet für benutzerorientierte Anwendungen
• Praktisches Metadaten- und Tagging-Modell zum Filtern und Überprüfen

Enterprise-Funktionen:

Einige dieser Funktionen sind:

• Protokollebenen: Passen Sie die Ausführlichkeit der Protokolle für detailliertere Einblicke an.
• Multi-Modalität: Unterstützt Text, Bilder, Audio und andere Formate für multimodale LLM-Anwendungen.
• Releases & Versionierung: Verfolgen Sie die Versionshistorie und sehen Sie, wie neue Releases die Modellleistung beeinflussen.
• Trace-URLs: Greifen Sie über eindeutige URLs auf detaillierte Traces zu, um sie weiter zu untersuchen und zu debuggen.
• Agenten-Graphen: Visualisieren Sie Agenten-Interaktionen und Abhängigkeiten, um das Agentenverhalten besser zu verstehen.
• Sampling: Sammeln Sie repräsentative Daten aus Interaktionen, um zu analysieren, ohne das System zu überlasten.
• Token- & Kostenverfolgung: Verfolgen Sie den Token-Verbrauch und die Kosten für jeden Modellaufruf, um eine effiziente Ressourcenverwaltung sicherzustellen.
• Maskierung: Schützen Sie sensible Daten, indem Sie sie in Traces maskieren, um Datenschutz und Compliance sicherzustellen.

Am besten geeignet für: Teams, die an Prompts iterieren und die Nutzung in der Produktion überwachen, insbesondere dort, wo Benutzersitzungen wichtig sind.

Galileo

Anwendungsfälle: Kosten/Latenz überwachen, Ausgabequalität bewerten, unsichere Antworten blockieren und handlungsrelevante Korrekturen bereitstellen.

Abbildung 3: Diagramme, die Qualität der Werkzeugauswahl, Kontexttreue, Agentenaktionszusammenstellung und Zeit bis zum ersten Token zeigen.

Galileo verfolgt Kosten-, Latenz- und Ausgabequalitätsmetriken und wendet gleichzeitig Echtzeit-Sicherheits- und Compliance-Prüfungen an.

Die Plattform kombiniert traditionelle Überwachung (Latenz, Kosten, Leistung) mit KI-gestützter Fehlerbehebung und Bewertung (Halluzinationserkennung, faktische Korrektheit, Kohärenz, Kontexttreue).

Galileo-Überwachungsfunktionen

• Identifizierung von Fehlermodi jenseits oberflächlicher Fehler (z. B. Halluzinationen, die zu ungültigen Werkzeugeingaben führen)
• Präskriptive Rückmeldungen wie vorgeschlagene Prompt-Änderungen oder Few-Shot-Ergänzungen
• Enge Verbindung zwischen Bewertungsergebnissen und empfohlenen Korrekturen.

Am besten geeignet für: Organisationen, die Priorität auf Ausgabequalität, Sicherheit und schnelle Iterationszyklen mit geführter Behebung legen.

Guardrails AI

Anwendungsfälle: Schädliche Ausgaben verhindern, LLM-Antworten validieren und die Einhaltung von Sicherheitsrichtlinien sicherstellen

Abbildung 4: Guard-Verhaltens-Dashboard, das die Unterschiede in der Laufdauer und den Fehlern der Guard zeigt.

Guardrails validiert LLM-Eingaben und -Ausgaben anhand konfigurierbarer Regeln, einschließlich Toxizität, Bias, PII-Offenlegung, Halluzinationserkennung und Formatkonformität.

Guardrails AI-Überwachungsfunktionen

• Deterministische Validierung über RAIL-Spezifikationen
• Eingabe-Guards zur Erkennung von Prompt-Injection und Jailbreak
• Automatische Wiederholungen bei Validierungsfehlern.

Am besten geeignet für
Teams, die strenge Sicherheits-, Compliance- oder Formatgarantien durchsetzen müssen, bevor Antworten zurückgegeben werden.

LangSmith

Anwendungsfälle: Agenten-Begründung und Tool-Aufruf-Debugging (LangChain-zentriert)

Abbildung 5: LangSmith-Dashboard, das Traces anzeigt, einschließlich ihrer Namen, Eingaben, Startzeiten und Latenzen.

LangSmith erfasst vollständige Begründungsabläufe für LangChain-basierte Agenten, einschließlich Prompts, abgerufener Kontext, Logik der Werkzeugauswahl, Werkzeug-Eingaben/-Ausgaben, Fehler und Ausnahmen.

LangSmith-Überwachungsfunktionen

• Schrittweise Überprüfung der Entscheidungswege des Agenten
• Wiederholung von Abläufen und Seitenvergleich über Prompts, Modelle oder Werkzeuge hinweg
• Enge Integration mit LangChain über Callbacks.

Am besten geeignet für
Teams, die mit LangChain arbeiten und falsche Begründungen oder Werkzeugaufrufe detailliert debuggen müssen.

Langtrace AI 

Anwendungsfälle: Identifizierung von Kosten- und Latenzengpässen in LLM-Apps

Abbildung 6: Langtrace AI-Trace-Dashboard.

Langtrace verfolgt Token-Zählungen, Ausführungsdauer, API-Kosten und Anfrageparameter über LLM-Pipelines mithilfe OpenTelemetry-kompatibler Traces.

Langtrace AI -Überwachungsfunktionen

• OpenTelemetry-Kompatibilität für die Integration mit bestehenden Backends
• Sichtbarkeit in die Kosten- und Latenztreiber pro Schritt
• Leichtgewichtige Prompt-Versionierung und Testumgebung.

Am besten geeignet für: Teams, die die Leistung und Ausgaben über LLM-Workflows optimieren, anstatt die Ausgabequalität zu bewerten.

Arize (Phoenix)

Anwendungsfälle: Modell-Drift überwachen, Bias erkennen und LLM-Ausgaben mit umfassenden Bewertungssystemen bewerten

Abbildung 7: Arize Phoenix-Drift-Monitor-Dashboard.

Phoenix konzentriert sich auf Verhaltensdrift, Bias-Erkennung und LLM-als-Richter-Bewertung für Relevanz, Toxizität und Genauigkeit.

Es hat jedoch einen höheren Integrationsaufwand im Vergleich zu leichtgewichtigen Proxies und verwaltet die Prompt-Versionierung nicht so sauber wie dedizierte Tools.

Phoenix-Überwachungsfunktionen

• Open-Source-Kern mit optionalen Enterprise-Erweiterungen
• Interaktive Prompt-Testumgebung für die Entwicklung
• Drift-Erkennung zur Verfolgung von Verhaltensänderungen über die Zeit
• Bias-Prüfungen zur Identifizierung von Antwort-Bias,
• LLM-als-Richter-Bewertung für Genauigkeit, Toxizität und Relevanz.

Am besten geeignet für: Teams, die das langfristige Modellverhalten und das Risiko von Regressionen überwachen, anstatt an Prompts zu iterieren.

Agenta

Anwendungsfälle: Finden Sie heraus, welcher Prompt am besten auf welchem Modell funktioniert

Abbildung 8: Bild, das verschiedene Prompt-Alternativen von Agenta zeigt.

Agenta vergleicht Modellantworten hinsichtlich Kosten, Latenz und Ausgabequalität unter Verwendung gemeinsamer Eingaben und kontrollierter Kontexte.

Abbildung 9: Beispielausgabe von Agenta.

Agenta-Überwachungsfunktionen

• Seitenvergleich von Modellbewertungen
• Unterstützung bei Entscheidungen vor der Produktion.

Am besten geeignet für: Frühzeitige Bewertung und Modellauswahl.

AgentOps.ai

Anwendungsfälle: Agenten-Begründung überwachen, Kosten verfolgen und Sitzungen in der Produktion debuggen

Abbildung 10: Beispiel für ein Sitzungs-Wiedergabe-Dashboard von AgentOps.ai.

AgentOps erfasst Begründungsabläufe, Tool/API-Aufrufe, Sitzungszustände, Caching-Verhalten und Kostenmetriken für eingesetzte Agenten.

AgentOps-Überwachungsfunktionen

• Sitzungswiedergabe für Produktions-Debugging
• Fokus auf Live-Agentenverhalten statt Offline-Bewertung.

Am besten geeignet für: Teams, die Agenten in der Produktion einsetzen und operationelle Sichtbarkeit benötigen.

Braintrust

Anwendungsfälle: Finden Sie heraus, welcher Prompt, Datensatz oder Modell mit detaillierter Bewertung und Fehleranalyse besser abschneidet

Abbildung 11: Dashboard für Kundensupport-Agent von Braintrust.

Braintrust bewertet Prompts, Datensätze und Modelle anhand erwarteter Ausgaben und verfolgt Latenz, Kosten, Werkzeugfehler und Ausführungsmetriken.

Braintrust-Überwachungsfunktionen

• Bewerten Sie Test-Datensätze mit Eingaben und erwarteten Ausgaben und vergleichen Sie dann Prompts oder Modelle nebeneinander unter Verwendung von Variablen wie {{input}}, {{expected}} und {{metadata}}.
• Metrik-Aufgliederungen einschließlich Qualität der Werkzeugausführung

Am besten geeignet für: Teams, die Modelle und Prompts vor der Einführung benchmarken.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

AgentNeo

Anwendungsfälle: Debugging von Multi-Agenten-Interaktionen, Tracing der Werkzeugnutzung und Bewertung von Koordinations-Workflows

AgentNeo verfolgt Agentenkommunikation, Werkzeugnutzung, Ausführungsgraphen und Kosten und Latenz pro Agent über ein Python-SDK.

AgentNeo-Überwachungsfunktionen

• Open-Source und lokal ausführbar
• Interaktives lokales Dashboard (localhost:3000) zur Echtzeitüberwachung von Multi-Agenten-Workflows.
• Integration mithilfe von Decoratoren (z. B. @tracer.trace_agent, @tracer.trace_tool)

Am besten geeignet für: Engineering-Teams, die mit Multi-Agenten-Systemen experimentieren.

Laminar

Anwendungsfall: Leistung über verschiedene LLM-Frameworks und Modelle hinweg verfolgen.

Abbildung 12: Beispiel für ein Traces-Dashboard von Laminar.

Laminar verfolgt Ausführungsspannen, Kosten, Token-Verbrauch und Latenz-Perzentile über LLM-Frameworks und Modelle hinweg.

Laminar-Überwachungsfunktionen

• Framework-agnostische Leistungsanalyse
• Feingranulare Spannungs-Inspektion.

Am besten geeignet für: Vergleichende Leistungsanalyse über heterogene Stacks hinweg.

Helicone

Anwendungsfälle: Multi-Schritt-Agenten-Workflows verfolgen und Muster in Benutzersitzungen analysieren.

Abbildung 12: Bild, das 3 Monate Änderungen in Anfragen, Kosten, Fehlern und Latenz zeigt.

Helicone erfasst Anfragevolumina, Kosten, Fehler, Latenztrends und agentenbezogene Sitzungs-Workflows.

Helicone-Überwachungsfunktionen

• Sichtbarkeit in die Benutzerreise
• Historische Trendanalyse.

Am besten geeignet für: Produktteams, die Nutzungsmuster und benutzerspezifisches Verhalten überwachen.

Coval

Anwendungsfälle: Simulation von Tausenden von Agentengesprächen, Test von Sprach-/Chat-Interaktionen und Validierung des Verhaltens vor der Bereitstellung.

Abbildung 13: Covals Bewertungsdashboard, das die Prozentsätze erreichter Ziele, verifizierter Identität, korrekter Wiederholung, Klarheit des Agenten und falscher Informationen zeigt.

Coval simuliert Tausende von Gesprächen, um Aufgabenabschluss, Korrektheit und Effektivität von Werkzeugaufrufen zu messen.

Coval-Überwachungsfunktionen

• Simulation-basiertes Agenten-Testen
• Automatische Regressionserkennung
• Unterstützung für Sprach- und Textagenten.

Am besten geeignet für: Validierung vor der Bereitstellung und Regressionserkennung.

Datadog

Anwendungsfälle: Infrastruktur- und Anwendungsüberwachung mit LLM-Signal-Korrelation.

Datadog sammelt Infrastruktur-Metriken (CPU, Speicher, Netzwerk), Anwendungsleistungsdaten (Latenz, Fehlerquoten, Durchsatz) und Protokolle. Für LLM-Anwendungen kann es Token-Verbrauch, Kosten pro Anfrage, Modell-Latenz und sicherheitsrelevante Signale wie Versuche von Prompt-Injection aufnehmen.

Datadog-Überwachungsfunktionen

• Umfassende, systemweite Überwachung über Infrastruktur, Anwendungen und KI-Workloads hinweg
• Umfangreiches Integrations-Ökosystem (über 900 Integrationen), das die Korrelation zwischen KI-Verhalten und Infrastrukturgesundheit ermöglicht

Am besten geeignet für: Organisationen, die LLM-Verhalten mit der zugrundeliegenden Infrastruktur und Anwendungsleistung korrelieren möchten, anstatt Agenten-Begründung oder Prompt zu untersuchen

Prometheus

Anwendungsfälle: Systemleistung überwachen, Anwendungsmetriken verfolgen und Alarmierung für Infrastrukturprobleme einrichten.

Prometheus ist ein Open-Source-Überwachungssystem, das Zeitreihen-Metriken von HTTP-Endpunkten in regelmäßigen Abständen abruft, um Infrastruktur-, Anwendungs-, Datenbank-, Container- und benutzerdefinierte Geschäfts-Metriken zu überwachen.

Prometheus-Überwachungsfunktionen

• Sammlung von Zeitreihen-Metriken über Pull-basiertes Scraping
• PromQL für Abfragen, Aggregation und Alarmbedingungen
• Exporter-Ökosystem (z. B. Node Exporter) für umfassende Systemabdeckung

Am besten geeignet für: Infrastruktur- und Anwendungsüberwachung mit regelbasierter Alarmierung.

Grafana

Anwendungsfälle: Metriken visualisieren, Dashboards erstellen und Alarme über LLM, Agenten und Infrastrukturdaten weiterleiten.

Abbildung 14: Traces-Dashboard, das die Änderung der Anfragetarife, der Gesamtnutzungstoken, der durchschnittlichen Nutzungskosten und der Gesamtnutzungskosten zeigt.

Grafana ist eine Open-Source-Visualisierungs- und Analyseplattform, die sich mit Datenquellen wie Prometheus, OpenTelemetry und Datadog integriert, um einheitliche Überwachungsdashboards bereitzustellen.

Grafana-Überwachungsfunktionen

• Dashboards über Metriken, Protokolle und Traces hinweg
• Quersystem-Korrelation für LLM, Agenten- und Infrastruktur-Signale
• Alarm-Weiterleitung und Benachrichtigungsverwaltung.

Am besten geeignet für: Zentralisierte Visualisierung der Überwachung und Vorfallreaktion.

Tutorial: LangChain-Überwachung mit Langfuse

Wir haben eine mehrstufige LangChain-Pipeline mit drei Stufen erstellt:

1. Frageanalyse
2. Antwortgenerierung
3. Antwortverifikation

Nachdem wir die Pipeline eingerichtet hatten, haben wir sie mit Langfuse verbunden, um die Ausführung in Echtzeit zu überwachen und zu verfolgen. Dadurch konnten wir erkunden, wie Langfuse uns hilft, detaillierte Einblicke in die Leistung, Kosten und das Verhalten von KI-Anwendungen zu erhalten.

Hier ist, was wir durch Langfuse beobachtet haben:

Dashboard-Übersicht

Abbildung 15: Langfuse’s Kosten-, Nutzungsmanagement- und Latenz-Dashboards.

Langfuse hat uns mehrere Dashboards zur Verfügung gestellt, die Einblicke in verschiedene Aspekte der Pipeline-Leistung geben:

1. Kosten-Dashboard: Dieses verfolgt die Ausgaben über alle API-Aufrufe hinweg mit detaillierten Aufgliederungen nach Modell und Zeitraum.
2. Nutzungsmanagement: Es überwacht Ausführungsmetriken wie Beobachtungszählungen und Ressourcenzuweisung und hilft uns dabei, die Ressourcennutzung während der Ausführung zu verfolgen.
3. Latenz-Dashboard: Dieses Dashboard hat uns geholfen, Antwortzeiten zu analysieren, Engpässe zu erkennen und Leistungstrends zu visualisieren.

Nutzungsmetriken

Abbildung 16: Bild, das Langfuse’s Nutzungsmetriken zeigt, einschließlich Gesamtanzahl der Traces, Gesamtanzahl der Beobachtungen und Gesamtanzahl der Bewertungen (sowohl numerisch als auch kategorisch).

Das Nutzungsmetriken-Dashboard hat uns folgende Einblicke in die Systemleistung gegeben:

• Gesamtanzahl der Traces: Wir haben acht Traces verfolgt, wobei jeder einen vollständigen Frage-Antwort-Zyklus in der Pipeline darstellt.
• Gesamtanzahl der Beobachtungen: Im Durchschnitt hatte jeder Trace 16 Beobachtungen, was die mehrstufige Natur des Prozesses widerspiegelt.

Darüber hinaus ermöglicht es Langfuse uns, Nutzungsmuster, Ressourcenzuweisung und Spitzenzeiten der letzten 7 Tage zu verfolgen und hilft uns so zu verstehen, wann das System am aktivsten ist und wie Ressourcen über die Zeit verteilt sind.

Trace-Inspektion

Abbildung 17: Langfuse’s Traces-Dashboard, das Eingabe, Ausgabe, Überwachungsebenen, Latenz und Token zeigt.

Beim Eintauchen in einen einzelnen Trace konnten wir detaillierte Ausführungsinformationen sehen:

• Trace-Zeilen: Jede Zeile repräsentiert eine vollständige Pipeline-Ausführung mit einer eindeutigen Trace-ID.
• Latenz-Metriken: Die Ausführungszeit variierte zwischen 0,00 s und 34,08 s.
• Token-Zählungen: Das Dashboard verfolgte die Eingabe-/Ausgabe-Token-Nutzung, was bei der Kosten- und Effizienzverwaltung hilft.
• Umgebungsfilterung: Wir konnten Traces basierend auf Bereitstellungsumgebungen (z. B. Entwicklung, Produktion) filtern.

Einzelheiten zu einzelnen Traces

Abbildung 18: Langfuse’s sequenzielle Kettenarchitektur.

Wir haben den Trace weiter im Detail untersucht, um den Ausführungsablauf zu verstehen:

• Sequenzielle Kettenarchitektur: Der Trace zeigte einen visuellen Ablauf, der jeden Schritt anzeigt, beginnend mit SequentialChain → LLMChain → ChatOpenAI, mit hierarchischer Struktur.
• Eingabe-/Ausgabe-Verfolgung: Die ursprüngliche Frage „Welche Vorteile bietet die Verwendung von Langfuse für die KI-Agenten-Überwachung?“ wurde in jedem Stadium verfolgt, zusammen mit den jeweiligen Ausgaben, die die KI in jedem Schritt erzeugt hat.
• Token-Analyse: Wir haben beobachtet, dass 1.203 Token für die Eingabe und 1.516 Token für die Ausgabe verwendet wurden, was Kostenimplikationen hinsichtlich des Token-Verbrauchs hat und hilft, die Ressourcenverwaltung zu optimieren.
• Zeitdaten: Die Gesamtlatenz für den vollständigen Trace betrug 34,08 s, aufgeteilt auf jede Komponente:
  • SequentialChain → 14,02 s
  • LLMChain → 10,25 s
  • ChatOpenAI → 9,81 s
• Modellinformationen: Langfuse bestätigte die Verwendung des Anthropic Claude-Sonnet-4-Modells mit Details zu den spezifischen Einstellungen, einschließlich der Temperaturkonfiguration.
• Formatierte Ausgabe: Sowohl Vorschau als auch JSON-Ansichten wurden für das Debugging bereitgestellt, um Einblicke in die Modellantwort in menschenlesbarer und maschinenlesbarer Form zu geben.

Automatisierte Analyse

Abbildung 19: Langfuse-Beispiel für automatisierte Bewertungen.

Langfuse hat auch automatisierte Bewertungen unserer Antworten bereitgestellt:

• Qualitätsbewertung: Das System bewertete die Struktur, Kohärenz und Vollständigkeit der Antworten und hob gut organisierte Abschnitte hervor, schlug jedoch vor, dass die Antworten prägnanter sein könnten.
• Verbesserungsvorschläge: Es identifizierte Abschnitte mit Redundanz, schlug vor, wo die Formulierung verbessert werden könnte, und kombinierte verwandte Punkte, um die Antwort transparenter und effizienter zu machen.
• Leistungseinblicke: Das System gab Feedback zu Token-Verbrauch und Antwortrelevanz, was uns half, die Effizienz zu optimieren, während sichergestellt wurde, dass die Ausgabe hilfreich und thematisch bleibt.
• Strukturiertes Feedback: Das Feedback war in Kategorien organisiert, sodass wir gezielt bestimmte Bereiche zur Verbesserung angehen konnten.

Benutzeranalyse

Abbildung 20: Das Bild zeigt anonymisierte Benutzeraktivität, die erste und letzte Interaktion jedes Benutzers, Ereignisvolumina, Token-Verbrauch und zugehörige Kosten, um Engagement, Ressourcennutzung und Budgetzuweisung zu analysieren.

Langfuse verfolgt detaillierte Interaktionen zwischen Benutzern und dem KI-Agenten:

• Benutzeraktivitätszeitachse: Zeigt die erste und letzte Interaktion jedes Benutzers an und hilft dabei, aktive von inaktiven Benutzern zu unterscheiden. Wir können sehen, wann Benutzer zum ersten und letzten Mal mit dem System interagiert haben.
• Ereignisvolumen-Verfolgung: Verfolgt die Anzahl der Ereignisse, die jeder Benutzer ausgelöst hat. Beispielsweise haben einige Benutzer über 2.000 Ereignisse generiert, was ihr Engagement mit dem System zeigt.
• Token-Verbrauchsanalyse: Überwacht die Gesamtanzahl der Token, die jeder Benutzer verbraucht hat. Der Token-Verbrauch reichte von 6,59K bis 357K Token und lieferte Einblicke in die Ressourcennutzung.
• Kostenzuweisung: Gliedert die mit jedem Benutzer verbundenen Kosten auf, was die Ausgabenverfolgung und Optimierung der Budgetzuweisung für die Ressourcennutzung erleichtert.
• Benutzeridentifikation: Verwendet anonymisierte Benutzer-IDs, um die Privatsphäre zu wahren, während individuelle Benutzerinteraktionen verfolgt werden, was bei der Nutzungsanalyse hilft, ohne die Vertraulichkeit der Benutzer zu gefährden.

Abbildung 21: Ein Beispiel für die Sitzungsansicht, die den gesamten Gesprächsverlauf zusammen mit dem ausgeführten Python-Code zeigt, Benutzereingaben mit Systemausgaben korreliert und Sitzungsmetadaten anzeigt, um ein vollständiges Bild davon zu geben, wie die Interaktion verarbeitet wurde.

Die Sitzungsansicht ermöglicht es uns, granulare Details der Benutzerinteraktionen zu verfolgen:

• Vollständiger Gesprächsverlauf: Zeigt die gesamte Frage-Antwort-Interaktion an und macht es einfach, die gesamte Konversation vom Anfang bis zum Ende zu verfolgen.
• Sichtbarkeit der Implementierung: Zeigt den tatsächlich verwendeten Python-Code während der Sitzung an und bietet Einblicke in die technische Implementierung.
• Korrelation von Eingabe/Ausgabe: Verknüpft Benutzerfragen mit den entsprechenden Systemantworten und hilft uns, Probleme zu beheben und festzustellen, wo im Gespräch möglicherweise Probleme aufgetreten sind.
• Sitzungsmetadaten: Enthält technische Details wie Timing, Benutzerkontext und spezifische Implementierungsdaten und bietet so einen umfassenden Überblick über die Ausführung der Sitzung.

Wann Überwachungstools nicht verwendet werden sollten

• Frühe Entwicklungsphase: Wenn Sie noch die Produkt-Markt-Passung validieren oder Ihre ersten Agenten-Workflows erstellen, sollte der Fokus auf der Kernfunktionalität liegen und nicht auf umfangreicher Überwachung.
  
• API-Engpässe: Wenn Ihre Hauptprobleme API-Kosten, Latenz oder Caching sind, sollte die unmittelbare Priorität darin bestehen, diese Bereiche zu optimieren, nicht Systemmetriken zu verfolgen.
  
• Modell-Optimierung: Wenn Verbesserungen hauptsächlich durch Modellauswahl, Feinabstimmung oder Prompt-Engineering vorangetrieben werden, sind Überwachungstools für Drift und Bias möglicherweise noch nicht notwendig.

Wann Überwachungstools verwendet werden sollten

• Produktion im großen Maßstab: Wenn Sie über mehrere Modelle, Agenten oder Ketten hinweg arbeiten, sind Überwachungstools unerlässlich, um die Leistung zu überwachen und die Systemgesundheit sicherzustellen.
• Enterprise- oder kundenorientierte Anwendungen: Für Anwendungen, bei denen Zuverlässigkeit, Sicherheit und Compliance nicht verhandelbar sind, bieten Überwachungstools die benötigte Sichtbarkeit und Kontrolle.
• Kontinuierliche Überwachung: Wenn Sie Drift, Bias, Leistung und Sicherheitsprobleme im Laufe der Zeit überwachen müssen, die nicht einfach mit Basis-Skripten oder manuellen Prüfungen erfasst werden können, sind Überwachungstools entscheidend.
• Hochrisikoszenarien: In Umgebungen, in denen die Kosten eines Fehlers (z. B. Halluzinationen, unsichere Ausgaben) erheblich sind, stellen Überwachungstools sicher, dass Risiken minimiert und Probleme frühzeitig erkannt werden.

Benchmark-Methode

Um den Performance-Overhead von Überwachungsplattformen in Produktions-LLM-Anwendungen zu bewerten, haben wir einen systematischen Benchmark-Ansatz mit einem realen agentenbasierten Workflow entwickelt.

Testanwendung

Wir haben ein sequenzielles Multi-Agenten-Reiseplanungssystem mit LangChain erstellt, das natürliche Sprachreiseanfragen über fünf Stufen verarbeitet:

1. Parser-Agent: Extrahiert strukturierte Daten (Herkunft, Ziel, Daten, Dauer) aus der Benutzereingabe
2. Flug-Suchagent: Ruft verfügbare Flüge über die Amadeus-API ab
3. Wetterbericht-Agent: Ruft Wettervorhersagen für das Ziel über WeatherAPI ab
4. Aktivitäts-Empfehlungs-Agent: Schlägt Aktivitäten basierend auf den Wetterbedingungen vor
5. Reiseplanungs-Agent: Synthetisiert alle Ausgaben zu einem umfassenden Reiseplan

Das System verwendet Claude 4 Haiku über OpenRouter für alle LLM-Aufrufe und integriert externe APIs für Echtzeitdaten.

Benchmark-Design

Basislinien-Erstellung: Zuerst haben wir die Leistung der Anwendung ohne jegliche Überwachungsinstrumentierung gemessen, indem wir 100 identische Abfragen durchführten, um eine Basislinie für den Vergleich zu erstellen.

Plattformintegration: Dann haben wir fünf führende Überwachungsplattformen (LangSmith, Laminar, AgentOps, Langfuse) einzeln integriert und dieselben Tracing-Punkte in allen Plattformen instrumentiert, um Konsistenz zu gewährleisten.

Sequentielle Ausführung: Jede Plattform wurde unabhängig getestet, indem alle 100 Abfragen nacheinander durchgeführt wurden, bevor zur nächsten Plattform gewechselt wurde. Dieser Ansatz minimiert Variabilität durch externe Faktoren wie Netzwerkbedingungen oder API-Ratenbegrenzungen.

Kontrollierte Umgebung: Alle Tests wurden auf derselben Serverinfrastruktur mit identischen Abfragesätzen durchgeführt, um einen fairen Vergleich zu gewährleisten. Um Overhead von LLM-induzierten Latenzvariationen zu isolieren, haben wir das Modell mit Temperatur=0 und strukturierten Prompts konfiguriert, um die Antwortvariabilität über die Durchläufe hinweg zu minimieren.

Gesammelte Metriken

Für jede Plattform haben wir die durchschnittliche Latenz gemessen und den Overhead als zusätzliche Latenz im Vergleich zur Basislinie berechnet: ((Platform Latency - Base Latency) / Base Latency) × 100

FAQs

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{15 KI-Agent-Überwachungstools: AgentOps & Langfuse}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/agentic-monitoring}},
  note   = {AIMultiple. Abgerufen am 2. Juli 2026}
}

Referenzlinks

1.

Model Usage & Cost Tracking for LLM applications (open source) - Langfuse

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten