15 Strumenti di Osservabilità per Agenti AI: AgentOps & Langfuse

Gli strumenti di osservabilità per agenti AI, come Langfuse e Arize, aiutano a raccogliere tracce dettagliate (un registro dell'esecuzione di un programma o di una transazione) e forniscono dashboard per monitorare le metriche in tempo reale.

Molti framework per agenti, come LangChain, utilizzano lo standard OpenTelemetry per condividere metadati con il monitoraggio agentic. Inoltre, molti strumenti di osservabilità forniscono strumentazione personalizzata per una maggiore flessibilità.

Abbiamo testato 15 piattaforme di osservabilità per applicazioni LLM e agenti AI. Ogni piattaforma è stata implementata praticamente configurando flussi di lavoro, configurando integrazioni ed eseguendo scenari di test. Abbiamo eseguito il benchmark di 4 strumenti di osservabilità per misurare se introducono overhead nelle pipeline di produzione. Abbiamo anche dimostrato un LangChain tutorial di osservabilità utilizzando Langfuse.

Benchmark dell'overhead degli strumenti di monitoraggio agentic

Abbiamo integrato ogni piattaforma di osservabilità nel nostro sistema di pianificazione dei viaggi multi-agente ed eseguito 100 query identiche per misurare il loro overhead di prestazioni rispetto a una baseline senza strumentazione. Leggi la nostra metodologia di benchmark.

• LangSmith ha dimostrato un'efficienza eccezionale con un overhead praticamente non misurabile, rendendolo ideale per ambienti di produzione critici per le prestazioni.
• Laminar ha introdotto un overhead minimo del 5%, rendendolo altamente adatto per ambienti di produzione dove le prestazioni sono critiche.
• AgentOps e Langfuse hanno mostrato un overhead moderato rispettivamente del 12% e del 15%, rappresentando un compromesso ragionevole tra funzionalità di osservabilità e impatto sulle prestazioni. Queste piattaforme mantengono comunque una latenza accettabile per la maggior parte dei casi d'uso in produzione.

Possibili ragioni dietro le differenze di prestazioni

Il nostro benchmark indica che le differenze di latenza sono guidate dalla profondità della strumentazione e dal coinvolgimento del percorso di esecuzione, in particolare nei flussi di lavoro multi-agente. Gli strumenti che offrono un'osservabilità più profonda a livello di step hanno mostrato un overhead più elevato, mentre gli approcci di tracciamento più leggeri sono rimasti più vicini alla baseline.

1. Profondità della strumentazione sul percorso di esecuzione

Gli strumenti di osservabilità aggiungono logica al flusso di esecuzione dell'agente per catturare tracce e metadati. Quando questa logica viene eseguita in modo sincrono durante l'elaborazione delle richieste, aumenta direttamente la latenza end-to-end perché l'agente deve completare questo lavoro aggiuntivo prima di restituire una risposta.

Ad esempio:

• LangSmith ha aggiunto un overhead praticamente non misurabile (~0%), indicando poco lavoro sincrono,
• La strumentazione più profonda a livello di step di Langfuse ha contribuito a un overhead più elevato (~15%).

2. Amplificazione degli eventi attraverso pipeline multi-step

Nei sistemi multi-agente, una singola richiesta utente attiva più azioni dell'agente. Quando uno strumento registra dati dettagliati ad ogni step, il numero totale di eventi cresce rapidamente, aumentando l'elaborazione e l'overhead di gestione delle tracce man mano che il flusso di lavoro diventa più profondo.

Nel risultato del benchmark:

• Langfuse e AgentOps hanno generato un overhead notevolmente più elevato (15% e 12%) nel nostro flusso di lavoro di pianificazione dei viaggi multi-step
• LangSmith e Laminar hanno emesso meno eventi per step dell'agente.

3. Overhead di valutazione e validazione inline

Alcune piattaforme eseguono controlli o monitoraggio aggiuntivi mentre l'agente è in esecuzione. Sebbene ogni controllo sia leggero, applicarli ripetutamente su tutti gli step dell'agente aggiunge una latenza misurabile.

Ad esempio:

• Il monitoraggio a livello di ciclo di vita di AgentOps ha coinciso con un overhead del 12%
• Laminar non ha mostrato prove di valutazione inline che influenzasse l'esecuzione, rimanendo a ~5%.

4. Frequenza di serializzazione e persistenza

Catturare dati dettagliati di osservabilità richiede la serializzazione delle tracce e la scrittura su archiviazione o backend esterni. Un dettaglio di traccia più elevato aumenta la frequenza con cui ciò accade, aggiungendo overhead I/O a ogni richiesta.

Nel nostro benchmark:

• Il tracciamento dettagliato di prompt, output e token di Langfuse ha portato all'overhead più elevato (~15%)
• Gli artefatti di traccia più leggeri di LangSmith sono rimasti vicini alla baseline.

5. Stretta integrazione con il framework dell'agente

Quanto strettamente uno strumento si integra con il framework dell'agente influisce sulle prestazioni. Integrazioni più strette riducono gli step di traduzione e orchestrazione, mentre SDK più generici aggiungono livelli di elaborazione aggiuntivi.

Ad esempio:

• La stretta allineamento di LangSmith con l'esecuzione dell'agente ha correlato con un overhead di ~0%
• AgentOps e Langfuse hanno mostrato un impatto maggiore sulla latenza, coerente con percorsi di integrazione più disaccoppiati.

Piattaforme di osservabilità per agenti AI

Livello 1: Osservabilità fine-granulare LLM & prompt / output

* Le capacità elencate in queste colonne sono esempi illustrativi di ciò che ogni strumento può monitorare quando esteso attraverso integrazioni o personalizzazioni. Queste non sono esclusive di una singola piattaforma.

Livello 2: Osservabilità del flusso di lavoro, del modello & della valutazione

Livello 3: Osservabilità del ciclo di vita e delle operazioni dell'agente

Livello 4: Monitoraggio sistema & infrastruttura (non nativo per agenti)

Datadog (con il suo modulo di Osservabilità LLM) e Prometheus (tramite exporter) sono sempre più utilizzati insieme a Langfuse/LangSmith.

Piattaforme di sviluppo & orchestrazione agenti:

• Strumenti come Flowise, Langflow, SuperAGI e CrewAI consentono di costruire, orchestrare e ottimizzare flussi di lavoro di agenti con interfacce no-code/low-code

Deployment edizioni free & prezzi

Le edizioni free variano in base ai limiti di utilizzo (es. osservazioni, tracce, token o unità di lavoro). I prezzi di partenza sono tipicamente per un piano base, che può avere restrizioni su funzionalità, utenti o limiti di utilizzo.

Weights & Biases (W&B Weave)

Caso d'uso: Debug dei fallimenti nei sistemi multi-agente tracciando come gli errori si propagano attraverso le chiamate degli agenti.

Figura 1: Dashboard delle tracce di Weights & Biases Weave.

Weights & Biases Weave registra tracce di esecuzione strutturate per sistemi multi-agente, preservando le relazioni padre-figlio tra le chiamate degli agenti. Input, output, stati intermedi, latenza e utilizzo dei token vengono catturati per agente e per traccia.

Funzionalità di monitoraggio di Weave

• Tracciamento gerarchico degli agenti invece di log di richiesta piatti
• Attribuzione di costi e latenza a livello di agente
• Supporto nativo per valutatori di valutazione applicati direttamente alle tracce.

Capacità di valutazione

Weave fornisce anche valutatori integrati per la valutazione, tra cui:

• HallucinationFreeScorer per il rilevamento di allucinazioni,
• SummarizationScorer per valutare la qualità del riassunto,
• EmbeddingSimilarityScorer per la similarità semantica,
• ValidJSONScorer e ValidXMLScorer per la validazione del formato,
• PydanticScorer per la conformità allo schema,
• OpenAIModerationScorer per la sicurezza dei contenuti,
• Valutatori RAGAS come ContextEntityRecallScorer,
• ContextRelevancyScorer per la valutazione del sistema RAG.

Migliore per: Team che eseguono flussi di lavoro multi-step o multi-agente che necessitano di analisi delle cause a livello di traccia piuttosto che metriche superficiali.

Langfuse

Casi d'uso: Tracciare le interazioni LLM, gestire le versioni dei prompt e monitorare le prestazioni del modello con sessioni utente.

Figura 2: Esempio di dashboard Langfuse che mostra i dettagli della traccia.¹

Langfuse offre una profonda visibilità nel livello prompt, catturando prompt, risposte, costi e tracce di esecuzione per aiutare a debug, monitorare e ottimizzare le applicazioni LLM.

Tuttavia, Langfuse potrebbe non essere adatto per team che preferiscono flussi di lavoro basati su Git per la gestione di codice e prompt, poiché il suo sistema esterno di gestione dei prompt potrebbe non offrire lo stesso livello di controllo delle versioni e collaborazione.

Funzionalità di monitoraggio di Langfuse

• Visibilità sull'evoluzione e sui modelli di utilizzo dei prompt
• Analisi basata su sessione adatta per applicazioni rivolte all'utente
• Modello pratico di metadati e tagging per filtraggio e revisione

Funzionalità di livello enterprise:

Alcune di queste funzionalità includono:

• Livelli di log: Regola la verbosità dei log per approfondimenti più granulari.
• Multi-modalità: Supporta testo, immagini, audio e altri formati per applicazioni LLM multi-modali.
• Rilasci & versioning: Traccia la cronologia delle versioni e vedi come i nuovi rilasci influenzano le prestazioni del modello.
• URL delle tracce: Accedi a tracce dettagliate tramite URL unici per ulteriori ispezioni e debug.
• Grafici degli agenti: Visualizza le interazioni e le dipendenze degli agenti per una migliore comprensione del comportamento dell'agente.
• Campionamento: Raccogli dati rappresentativi dalle interazioni per analizzare senza sovraccaricare il sistema.
• Tracciamento token & costi: Traccia l'utilizzo dei token e i costi per ogni chiamata al modello, garantendo una gestione efficiente delle risorse.
• Mascheramento: Proteggi i dati sensibili mascherandoli nelle tracce, garantendo privacy e conformità.

Migliore per: Team che iterano sui prompt e monitorano l'utilizzo in produzione, specialmente dove le sessioni utente contano.

Galileo

Casi d'uso: Monitorare costi/latenza, valutare la qualità dell'output, bloccare risposte non sicure e fornire correzioni attuabili.

Figura 3: Grafici che mostrano la qualità della selezione degli strumenti, l'aderenza al contesto, la compilazione delle azioni dell'agente e il tempo fino al primo token.

Galileo traccia costi, latenza e metriche di qualità dell'output applicando controlli di sicurezza e conformità in tempo reale.

La piattaforma combina osservabilità tradizionale (latenza, costi, prestazioni) con debug e valutazione potenziati dall'AI (rilevamento allucinazioni, correttezza fattuale, coerenza, aderenza al contesto).

Funzionalità di monitoraggio di Galileo

• Identificazione delle modalità di fallimento oltre gli errori superficiali (es. allucinazioni che portano a input di strumenti non validi)
• Feedback prescrittivo come suggerimenti di modifiche al prompt o aggiunte few-shot
• Accoppiamento stretto tra risultati di valutazione e correzioni raccomandate.

Migliore per: Organizzazioni che danno priorità alla qualità dell'output, alla sicurezza e a cicli di iterazione rapidi con rimedi guidati.

Guardrails AI

Casi d'uso: Prevenire output dannosi, validare le risposte LLM e garantire la conformità alle politiche di sicurezza

Figura 4: Dashboard del comportamento delle guardie che mostra le differenze nella durata dell'esecuzione delle guardie e nei fallimenti delle guardie.

Guardrails valida input e output LLM rispetto a regole configurabili, inclusi tossicità, bias, esposizione PII, flag allucinazioni e conformità al formato.

Funzionalità di monitoraggio di Guardrails AI

• Validazione deterministica tramite specifiche RAIL
• Guardie di input per rilevamento injection prompt e jailbreak
• Ritenti automatici quando la validazione fallisce.

Migliore per
Team che devono imporre garanzie di sicurezza, conformità o formattazione rigorose prima che le risposte vengano restituite.

LangSmith

Casi d'uso: Debug del ragionamento dell'agente e delle chiamate agli strumenti (centrico su LangChain)

Figura 5: Dashboard LangSmith che mostra le tracce, inclusi i loro nomi, input, tempi di inizio e latenze.

LangSmith cattura tracce di ragionamento complete per agenti basati su LangChain, inclusi prompt, contesto recuperato, logica di selezione degli strumenti, input/output degli strumenti, errori ed eccezioni.

Funzionalità di monitoraggio di LangSmith

• Ispezione passo-passo dei percorsi decisionali dell'agente
• Riproduzione dell'esecuzione e confronto fianco a fianco tra prompt, modelli o strumenti
• Integrazione stretta con LangChain tramite callback.

Migliore per
Team che costruiscono con LangChain che devono debuggare ragionamenti errati o invocazione di strumenti in dettaglio.

Langtrace AI

Casi d'uso: Identificare colli di bottiglia di costi e latenza nelle applicazioni LLM

Figura 6: Dashboard delle tracce di Langtrace AI.

Langtrace traccia conteggi dei token, durata dell'esecuzione, costi API e parametri di richiesta attraverso pipeline LLM utilizzando tracce compatibili con OpenTelemetry.

Funzionalità di monitoraggio di Langtrace AI

• Allineamento OpenTelemetry per l'integrazione con backend esistenti
• Visibilità sui driver di costi e latenza per step
• Versioning leggero dei prompt e playground di test.

Migliore per: Team che ottimizzano prestazioni e spesa attraverso flussi di lavoro LLM piuttosto che valutare la qualità dell'output.

Arize (Phoenix)

Casi d'uso: Monitorare il drift del modello, rilevare bias e valutare le output LLM con sistemi di punteggio completi

Figura 7: Dashboard del monitor drift di Arize Phoenix.

Phoenix si concentra sul drift comportamentale, sul rilevamento dei bias e sul punteggio LLM-as-a-judge per rilevanza, tossicità e accuratezza.

Tuttavia, ha un overhead di integrazione più elevato rispetto ai proxy leggeri e non gestisce il versioning dei prompt in modo pulito come gli strumenti dedicati.

Funzionalità di monitoraggio di Phoenix

• Core open-source con estensioni enterprise opzionali
• Playground interattivo dei prompt per lo sviluppo
• Rilevamento drift per tracciare i cambiamenti comportamentali nel tempo
• Controlli bias per identificare i bias di risposta,
• Punteggio LLM-as-a-judge per accuratezza, tossicità e rilevanza.

Migliore per: Team che monitorano il comportamento a lungo termine del modello e il rischio di regressione piuttosto che l'iterazione dei prompt.

Agenta

Casi d'uso: Trovare quale prompt funziona meglio su quale modello

Figura 8: Immagine che mostra varie alternative di prompt da Agenta.

Agenta confronta le risposte del modello in base a costi, latenza e qualità dell'output utilizzando input condivisi e contesto controllato.

Figura 9: Esempio di output da Agenta.

Funzionalità di monitoraggio di Agenta

• Valutazione del modello fianco a fianco
• Supporto decisionale pre-produzione.

Migliore per: Valutazione iniziale e selezione del modello.

AgentOps.ai

Casi d'uso: Monitorare il ragionamento dell'agente, tracciare i costi e debuggare le sessioni in produzione

Figura 10: Esempio di dashboard replay sessione da AgentOps.ai.

AgentOps cattura tracce di ragionamento, chiamate a strumenti/API, stato della sessione, comportamento di caching e metriche di costo per agenti distribuiti.

Funzionalità di monitoraggio di AgentOps

• Replay sessione per debug in produzione
• Focus sul comportamento live dell'agente piuttosto che sulla valutazione offline.

Migliore per: Team che eseguono agenti in produzione che necessitano visibilità operativa.

Braintrust

Casi d'uso: Trovare quale prompt, dataset o modello performa meglio con valutazione dettagliata e analisi degli errori

Figura 11: Dashboard dell'agente di supporto clienti da Braintrust.

Braintrust valuta prompt, dataset e modelli rispetto alle output attese, tracciando latenza, costi, errori degli strumenti e metriche di esecuzione.

Funzionalità di monitoraggio di Braintrust

• Valuta dataset di test con input e output attesi, quindi confronta prompt o modelli fianco a fianco utilizzando variabili come {{input}}, {{expected}} e {{metadata}}.
• Scomposizione delle metriche inclusa la qualità dell'esecuzione degli strumenti

Migliore per: Team che eseguono benchmark su modelli e prompt prima del rollout.

Non perderti i nostri benchmark e approfondimenti basati sui dati. Il pulsante apre Google; selezionare AIMultiple conferma che desideri vedere AIMultiple più spesso nei risultati di ricerca di Google.

Aggiungi come fonte preferita

AgentNeo

Casi d'uso: Debug delle interazioni multi-agente, tracciamento dell'uso degli strumenti e valutazione dei flussi di lavoro di coordinamento

AgentNeo traccia la comunicazione degli agenti, l'uso degli strumenti, i grafici di esecuzione e i costi e la latenza per agente tramite un SDK Python.

Funzionalità di monitoraggio di AgentNeo

• Open-source e eseguibile localmente
• Dashboard interattiva locale (localhost:3000) per il monitoraggio in tempo reale dei flussi di lavoro multi-agente.
• Integrazione utilizzando decoratori (es. @tracer.trace_agent, @tracer.trace_tool)

Migliore per: Team di ingegneria che sperimentano con sistemi multi-agente.

Laminar

Caso d'uso: Tracciare le prestazioni attraverso diversi framework e modelli LLM.

Figura 12: Esempio di dashboard delle tracce da Laminar.

Laminar traccia span di esecuzione, costi, utilizzo dei token e percentili di latenza attraverso framework e modelli LLM.

Funzionalità di monitoraggio di Laminar

• Analisi delle prestazioni agnostica dal framework
• Ispezione fine-granulare degli span.

Migliore per: Analisi comparativa delle prestazioni attraverso stack eterogenei.

Helicone

Casi d'uso: Tracciare flussi di lavoro multi-step degli agenti e analizzare i modelli delle sessioni utente.

Figura 12: Immagine che mostra 3 mesi di cambiamenti nelle richieste, costi, errori e latenza.

Helicone cattura volumi di richieste, costi, errori, tendenze di latenza e flussi di lavoro degli agenti a livello di sessione.

Funzionalità di monitoraggio di Helicone

• Visibilità del percorso utente
• Analisi delle tendenze storiche.

Migliore per: Team di prodotto che monitorano i modelli di utilizzo e il comportamento a livello utente.

Coval

Casi d'uso: Simulare migliaia di conversazioni di agenti, testare interazioni voce/chat e validare il comportamento prima della distribuzione.

Figura 13: Dashboard di valutazione di Coval che mostra le percentuali di obiettivi raggiunti, identità verificata, ripetizione corretta, chiarezza dell'agente e informazioni errate.

Coval simula migliaia di conversazioni per misurare il completamento delle attività, la correttezza e l'efficacia delle chiamate agli strumenti.

Funzionalità di monitoraggio di Coval

• Test degli agenti basato su simulazione
• Rilevamento automatico della regressione
• Supporto agenti voce e testo.

Migliore per: Validazione pre-distribuzione e rilevamento della regressione.

Datadog

Casi d'uso: Osservabilità infrastrutturale e applicativa con correlazione del segnale LLM.

Datadog raccoglie metriche infrastrutturali (CPU, memoria, rete), dati sulle prestazioni delle applicazioni (latenza, tassi di errore, throughput) e log. Per le applicazioni LLM, può ingerire l'utilizzo dei token, il costo per richiesta, la latenza del modello e segnali relativi alla sicurezza come i tentativi di injection prompt.

Funzionalità di monitoraggio di Datadog

• Osservabilità ampia a livello di sistema attraverso infrastruttura, applicazioni e carichi di lavoro AI
• Grande ecosistema di integrazioni (900+ integrazioni) che consente la correlazione tra comportamento AI e salute dell'infrastruttura

Migliore per: Organizzazioni che vogliono correlare il comportamento LLM con l'infrastruttura sottostante e le prestazioni delle applicazioni piuttosto che ispezionare il ragionamento dell'agente o il prompt

Prometheus

Casi d'uso: Monitorare le prestazioni del sistema, tracciare le metriche delle applicazioni e impostare alerting per problemi infrastrutturali.

Prometheus è un sistema di monitoraggio open-source che scarica metriche time-series da endpoint HTTP a intervalli regolari per tracciare infrastruttura, applicazioni, database, container e metriche aziendali personalizzate.

Funzionalità di monitoraggio di Prometheus

• Raccolta di metriche time-series tramite scraping basato su pull
• PromQL per query, aggregazione e condizioni di alert
• Ecosistema exporter (es. Node Exporter) per una copertura di sistema ampia

Migliore per: Monitoraggio infrastrutturale e applicativo con alerting basato su regole.

Grafana

Casi d'uso: Visualizzare metriche, costruire dashboard e instradare alert attraverso dati LLM, agenti e infrastruttura.

Figura 14: Dashboard delle tracce che mostra il cambiamento nel tasso di richieste, totali token di utilizzo, costo medio di utilizzo e costo totale di utilizzo.

Grafana è una piattaforma di visualizzazione e analisi open-source che si integra con fonti di dati come Prometheus, OpenTelemetry e Datadog per fornire dashboard di osservabilità unificate.

Funzionalità di monitoraggio di Grafana

• Dashboard attraverso metriche, log e tracce
• Correlazione cross-sistema per segnali LLM, agenti e infrastruttura
• Instradamento alert e gestione notifiche.

Migliore per: Visualizzazione centralizzata dell'osservabilità e risposta agli incidenti.

Tutorial: Osservabilità LangChain con Langfuse

Abbiamo costruito una pipeline LangChain multi-step con tre fasi:

1. analisi della domanda
2. generazione della risposta
3. verifica della risposta

Dopo aver impostato la pipeline, l'abbiamo connessa a Langfuse per monitorare e tracciare l'esecuzione in tempo reale. Facendo questo, siamo stati in grado di esplorare come Langfuse ci aiuta a raccogliere approfondimenti dettagliati sulle prestazioni, i costi e il comportamento delle applicazioni AI.

Ecco cosa abbiamo osservato attraverso Langfuse:

Panoramica dashboard

Figura 15: Dashboard di costi, gestione dell'utilizzo e latenza di Langfuse.

Langfuse ci ha fornito diverse dashboard che ci danno visibilità su diversi aspetti delle prestazioni della pipeline:

1. Dashboard Costi: Questa traccia la spesa attraverso tutte le chiamate API, con dettagliati breakdown per modello e periodo di tempo.
2. Gestione Utilizzo: Monitora le metriche di esecuzione, come i conteggi delle osservazioni e l'allocazione delle risorse, aiutandoci a tracciare come le risorse vengono utilizzate durante l'esecuzione.
3. Dashboard Latenza: Questa dashboard ci ha aiutato ad analizzare i tempi di risposta, rilevare colli di bottiglia e visualizzare le tendenze delle prestazioni.

Metriche di utilizzo

Figura 16: Immagine che mostra le metriche di utilizzo di Langfuse, inclusi il conteggio totale delle tracce, il conteggio totale delle osservazioni e il conteggio totale dei punteggi (sia numerici che categorici).

La dashboard delle metriche di utilizzo ci ha fornito i seguenti approfondimenti su come il sistema ha performato:

• Conteggio totale delle tracce: Abbiamo tracciato otto tracce, ognuna rappresentante un ciclo completo domanda-risposta nella pipeline.
• Conteggio totale delle osservazioni: In media, ogni traccia aveva 16 osservazioni, riflettendo la natura multi-step del processo.

Inoltre, Langfuse ci permette di tracciare i modelli di utilizzo, l'allocazione delle risorse e i picchi negli ultimi 7 giorni, aiutandoci a capire quando il sistema è più attivo e come le risorse sono distribuite nel tempo.

Ispezione tracce

Figura 17: Dashboard delle tracce di Langfuse che mostra input, output, livelli di osservabilità, latenza e token.

Quando approfondiamo una singola traccia, siamo stati in grado di vedere informazioni dettagliate sull'esecuzione:

• Righe traccia: Ogni riga rappresenta un'esecuzione completa della pipeline con un ID traccia unico.
• Metriche di latenza: Il tempo di esecuzione è variato, da 0.00s a 34.08s.
• Conteggi token: La dashboard ha tracciato l'utilizzo dei token input/output, che aiuta nella gestione dei costi e dell'efficienza.
• Filtraggio ambiente: Potevamo filtrare le tracce in base agli ambienti di distribuzione (es. sviluppo, produzione).

Dettagli traccia individuale

Figura 18: Architettura della catena sequenziale di Langfuse.

Abbiamo ulteriormente esplorato la traccia in maggior dettaglio per capire la scomposizione dell'esecuzione:

• Architettura catena sequenziale: La traccia ha mostrato un flusso visivo che mostra ogni step, partendo da SequentialChain → LLMChain → ChatOpenAI, con struttura gerarchica.
• Tracciamento input/output: La domanda originale, "Quali sono i benefici dell'utilizzo di Langfuse per l'osservabilità degli agenti AI?" è stata tracciata ad ogni fase, insieme alle rispettive output prodotte dall'AI ad ogni step.
• Analisi token: Abbiamo osservato che 1.203 token sono stati utilizzati per l'input e 1.516 token per l'output, il che ha implicazioni di costo relative all'utilizzo dei token e aiuta a ottimizzare la gestione delle risorse.
• Dati temporali: La latenza totale per l'intera traccia è stata di 34.08s, scomposta su ogni componente:
  • SequentialChain → 14.02s
  • LLMChain → 10.25s
  • ChatOpenAI → 9.81s
• Informazioni modello: Langfuse ha confermato l'utilizzo del modello Anthropic Claude-Sonnet-4, con dettagli sulle impostazioni specifiche, inclusa la configurazione della temperatura.
• Output formattato: Sono state fornite visualizzazioni Anteprima e JSON per il debug, fornendo approfondimenti sulla risposta del modello in forma leggibile dall'uomo e formato leggibile dalla macchina.

Analisi automatizzata

Figura 19: Esempio di valutazioni automatizzate di Langfuse.

Langfuse ha anche fornito valutazioni automatizzate delle nostre risposte:

• Valutazione qualità: Il sistema ha valutato la struttura, la coerenza e la completezza delle risposte, evidenziando sezioni ben organizzate ma suggerendo che le risposte potrebbero essere più concise.
• Suggerimenti di miglioramento: Ha identificato sezioni con ridondanza, suggerendo dove la formulazione potrebbe essere migliorata, e ha combinato punti correlati per rendere la risposta più trasparente ed efficiente.
• Approfondimenti sulle prestazioni: Il sistema ha fornito feedback sull'utilizzo dei token e sulla rilevanza della risposta, aiutandoci a ottimizzare l'efficienza garantendo che l'output rimanga utile e pertinente.
• Feedback strutturato: Il feedback è stato organizzato in categorie, permettendoci di affrontare aree specifiche di miglioramento in modo mirato.

Analisi utente

Figura 20: L'immagine mostra l'attività utente anonimizzata, mostrando la prima e l'ultima interazione di ogni utente, i volumi di eventi, il consumo di token e i costi associati per aiutare ad analizzare l'engagement, l'utilizzo delle risorse e l'allocazione del budget.

Langfuse traccia interazioni dettagliate tra utenti e l'agente AI:

• Timeline attività utente: Mostra la prima e l'ultima interazione per ogni utente, aiutando a identificare utenti attivi rispetto a inattivi. Possiamo vedere quando gli utenti hanno interagito con il sistema per la prima e l'ultima volta.
• Tracciamento volume eventi: Traccia il numero di eventi attivati da ogni utente. Ad esempio, alcuni utenti hanno generato oltre 2.000 eventi, mostrando il loro livello di engagement con il sistema.
• Analisi consumo token: Monitora il numero totale di token consumati da ogni utente. L'utilizzo dei token è variato da 6.59K a 357K token, fornendo approfondimenti sull'utilizzo delle risorse.
• Attribuzione costi: Scompone i costi associati a ogni utente, rendendo più facile tracciare la spesa e ottimizzare l'allocazione del budget per l'uso delle risorse.
• Identificazione utente: Utilizza ID utente anonimizzati per mantenere la privacy mentre traccia le interazioni individuali degli utenti, aiutando con l'analisi dell'utilizzo senza compromettere la riservatezza dell'utente.

Figura 21: Un esempio della vista sessione, che mostra l'intero flusso di conversazione insieme al codice Python eseguito, correlando gli input utente con le output del sistema e mostrando i metadati della sessione per dare un quadro completo di come l'interazione è stata elaborata.

La vista sessione ci permette di tracciare dettagli granulari delle interazioni utente:

• Flusso conversazione completo: Mostra l'intera interazione domanda-risposta, rendendo facile seguire l'intera conversazione dall'inizio alla fine.
• Visibilità implementazione: Mostra il codice Python effettivo utilizzato durante la sessione, fornendo approfondimenti sull'implementazione tecnica.
• Correlazione input/output: Collega le domande utente alle corrispondenti risposte del sistema, aiutandoci a risolvere i problemi e identificare dove potrebbero essersi verificati problemi nella conversazione.
• Metadati sessione: Include dettagli tecnici come tempistica, contesto utente e dati di implementazione specifici, offrendo una visione completa dell'esecuzione della sessione.

Quando non utilizzare strumenti di osservabilità

• Sviluppo iniziale: Se stai ancora validando il product-market fit o costruendo i tuoi primi flussi di lavoro di agenti, il focus dovrebbe essere sulla funzionalità di base piuttosto che sull'osservabilità estesa.
  
• Colli di bottiglia API: Se i tuoi problemi principali sono costi API, latenza o caching, la priorità immediata dovrebbe essere ottimizzare queste aree, non tracciare metriche a livello di sistema.
  
• Ottimizzazione modello: Se i miglioramenti sono guidati principalmente dalla selezione del modello, fine-tuning o ingegneria dei prompt, gli strumenti di osservabilità per drift e bias potrebbero non essere ancora necessari.

Quando utilizzare strumenti di osservabilità

• Produzione su scala: Quando operi attraverso modelli, agenti o catene multipli, gli strumenti di osservabilità sono essenziali per monitorare le prestazioni e garantire la salute del sistema.
• Applicazioni enterprise o rivolte al cliente: Per applicazioni dove affidabilità, sicurezza e conformità sono non negoziabili, gli strumenti di osservabilità forniscono la visibilità e il controllo necessari.
• Monitoraggio continuo: Quando hai bisogno di monitorare drift, bias, prestazioni e problemi di sicurezza nel tempo, che non possono essere facilmente catturati con script di base o controlli manuali, gli strumenti di osservabilità sono cruciali.
• Scenari ad alto rischio: In ambienti dove il costo del fallimento (es. allucinazioni, output non sicuri) è significativo, l'osservabilità garantisce che i rischi siano minimizzati e i problemi rilevati precocemente.

Metodologia del benchmark

Per valutare l'overhead delle prestazioni delle piattaforme di osservabilità nelle applicazioni LLM di produzione, abbiamo sviluppato un approccio di benchmarking sistematico utilizzando un flusso di lavoro agentic del mondo reale.

Applicazione di test

Abbiamo costruito un sistema di pianificazione dei viaggi multi-agente sequenziale utilizzando LangChain che elabora richieste di viaggio in linguaggio naturale attraverso cinque fasi:

1. Agente parser: Estrae dati strutturati (origine, destinazione, date, durata) dall'input utente
2. Agente cercatore voli: Recupera voli disponibili tramite Amadeus API
3. Agente reporter meteo: Recupera previsioni meteo della destinazione utilizzando WeatherAPI
4. Agente raccomandatore attività: Suggerisce attività in base alle condizioni meteorologiche
5. Agente pianificatore viaggi: Sintetizza tutte le output in un itinerario completo

Il sistema utilizza Claude 4 Haiku tramite OpenRouter per tutte le chiamate LLM e integra API esterne per dati in tempo reale.

Design del benchmark

Stabilimento baseline: Abbiamo prima misurato le prestazioni dell'applicazione senza alcuna strumentazione di osservabilità, eseguendo 100 query identiche per stabilire una baseline per il confronto.

Integrazione piattaforma: Abbiamo quindi integrato cinque piattaforme di osservabilità leader (LangSmith, Laminar, AgentOps, Langfuse) una alla volta, strumentando gli stessi punti di tracciamento su tutte le piattaforme per coerenza.

Esecuzione sequenziale: Ogni piattaforma è stata testata indipendentemente eseguendo tutte le 100 query consecutivamente prima di passare alla piattaforma successiva. Questo approccio minimizza la variabilità da fattori esterni come condizioni di rete o limiti di tasso API.

Ambiente controllato: Tutti i test sono stati eseguiti sulla stessa infrastruttura server con set di query identici per garantire un confronto equo. Per isolare l'overhead dalle variazioni di latenza indotte da LLM, abbiamo configurato il modello con temperature=0 e prompt strutturati per minimizzare la variabilità delle risposte tra le esecuzioni.

Metriche raccolte

Per ogni piattaforma, abbiamo misurato la latenza media e calcolato l'overhead come la latenza aggiuntiva introdotta rispetto alla baseline: ((Platform Latency - Base Latency) / Base Latency) × 100

FAQ

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{15 Strumenti di Osservabilità per Agenti AI: AgentOps & Langfuse}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/agentic-monitoring}},
  note   = {AIMultiple. Consultato il 2 Luglio 2026}
}

Collegamenti di riferimento

1.

Model Usage & Cost Tracking for LLM applications (open source) - Langfuse

Cem Dilmegani

Analista principale

Segui

Cem è analista principale presso AIMultiple dal 2017. AIMultiple fornisce informazioni a centinaia di migliaia di aziende (secondo SimilarWeb), tra cui il 55% delle aziende Fortune 500, ogni mese. Il lavoro di Cem è stato citato da importanti pubblicazioni globali come Business Insider, Forbes, Washington Post, società globali come Deloitte e HPE, ONG come il World Economic Forum e organizzazioni sovranazionali come la Commissione Europea. È possibile consultare l'elenco di altre aziende e risorse autorevoli che hanno citato AIMultiple. Nel corso della sua carriera, Cem ha lavorato come consulente tecnologico, responsabile acquisti tecnologici e imprenditore nel settore tecnologico. Ha fornito consulenza alle aziende sulle loro decisioni tecnologiche presso McKinsey & Company e Altman Solon per oltre un decennio. Ha anche pubblicato un report di McKinsey sulla digitalizzazione. Ha guidato la strategia tecnologica e gli acquisti di un'azienda di telecomunicazioni, riportando direttamente al CEO. Ha inoltre guidato la crescita commerciale dell'azienda deep tech Hypatos, che ha raggiunto un fatturato annuo ricorrente a 7 cifre e una valutazione a 9 cifre partendo da zero in soli 2 anni. Il lavoro di Cem in Hypatos è stato oggetto di articoli su importanti pubblicazioni tecnologiche come TechCrunch e Business Insider. Cem partecipa regolarmente come relatore a conferenze internazionali di settore. Si è laureato in ingegneria informatica presso l'Università di Bogazici e ha conseguito un MBA presso la Columbia Business School.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento