15 Yapay Zeka Ajan Gözlemlenebilirlik Aracı: AgentOps & Langfuse

Yapay zeka ajan gözlemlenebilirlik araçları, örneğin Langfuse ve Arize, ayrıntılı izlerin (bir programın veya işlemin yürütme kaydı) toplanmasına yardımcı olur ve metrikleri gerçek zamanlı olarak takip etmek için paneller sağlar. 

Birçok ajan framework'ü, LangChain gibi, ajan izleme ile meta verileri paylaşmak için OpenTelemetry standardını kullanır. Bunun üzerine, birçok gözlemlenebilirlik aracı daha fazla esneklik için özel enstrümantasyon sağlar.

LLM uygulamaları ve yapay zeka ajanları için 15 gözlemlenebilirlik platformunu test ettik. Her platform; iş akışlarının kurulması, entegrasyonların yapılandırılması ve test senaryolarının çalıştırılması yoluyla uygulamalı olarak hayata geçirildi. Üretim pipeline'larında ek yük oluşturup oluşturmadıklarını ölçmek için 4 gözlemlenebilirlik aracını benchmark'ladık. Ayrıca LangChain gözlemlenebilirliği eğitimini Langfuse kullanarak gösterdik.

Ajan izleme araçları ek yük benchmark'ı

Her bir gözlemlenebilirlik platformunu çok ajanlı seyahat planlama sistemimize entegre ettik ve enstrümantasyon olmayan bir temel çizgiye kıyasla performans yüklerini ölçmek için 100 adet özdeş sorgu çalıştırdık. Benchmark metodolojimizi okuyun.

• LangSmith neredeyse hiç ölçülebilir ek yük olmadan olağanüstü bir verimlilik göstererek, performans açısından kritik üretim ortamları için ideal olduğunu kanıtladı. 
• Laminar %5 ile minimum ek yük getirerek, performansın kritik olduğu üretim ortamları için oldukça uygun hale geldi.
• AgentOps ve Langfuse sırasıyla %12 ve %15 ile orta düzeyde ek yük gösterdi; bu da gözlemlenebilirlik özellikleri ile performans etkisi arasında makul bir ödünleşimi temsil ediyor. Bu platformlar çoğu üretim kullanım durumu için hala kabul edilebilir gecikme sürelerini koruyor.

Performans farklılıklarının arkasındaki potansiyel nedenler

Benchmark'ımız, gecikme farklılıklarının enstrümantasyon derinliği ve yürütme yolu katılımı tarafından, özellikle çok ajanlı iş akışlarında yönlendirildiğini göstermektedir. Daha derin, adım düzeyinde gözlemlenebilirlik sunan araçlar daha yüksek ek yük sergilerken, daha hafif izleme yaklaşımları temel çizgiye daha yakın kaldı.

1. Yürütme yolundaki enstrümantasyon derinliği

Gözlemlenebilirlik araçları, izleri ve meta verileri yakalamak için ajanın yürütme akışına mantık ekler. Bu mantık, istek işleme sırasında senkron olarak çalıştığında, uçtan uca gecikmeyi doğrudan artırır çünkü ajan bir yanıt döndürmeden önce bu ekstra işi tamamlamalıdır.

Örneğin: 

• LangSmith neredeyse hiç ölçülebilir ek yük eklemedi (~%0), bu da çok az senkron iş yapıldığını gösteriyor,
• Langfuse’un daha derin adım düzeyindeki enstrümantasyonu daha yüksek bir ek yüke (~%15) katkıda bulundu.

2. Çok adımlı pipeline'larda olay amplifikasyonu

Çok ajanlı sistemlerde, tek bir kullanıcı isteği birden fazla ajan eylemini tetikler. Bir araç her adımda ayrıntılı veriler kaydettiğinde, toplam olay sayısı hızla artar ve iş akışı derinleştikçe işleme ve iz işleme yükü artar.

Benchmark sonuçlarında: 

• Langfuse ve AgentOps çok adımlı seyahat planlama iş akışımızda fark edilir derecede daha yüksek ek yük (%15 ve %12) oluşturdu
• LangSmith ve Laminar ajan adımı başına daha az olay yaydı.

3. Satır içi değerlendirme ve doğrulama yükü

Bazı platformlar, ajan çalışırken ek kontroller veya izlemeler gerçekleştirir. Her bir kontrol hafif olsa da, bunları tüm ajan adımlarında tekrar tekrar uygulamak ölçülebilir bir gecikme ekler.

Örneğin:

• AgentOps’un yaşam döngüsü düzeyindeki izlemesi %12'lik bir ek yükle örtüştü
• Laminar satır içi değerlendirmenin yürütmeyi etkilediğine dair hiçbir kanıt göstermedi ve ~%5'te kaldı.

4. Serileştirme ve kalıcılık sıklığı

Ayrıntılı gözlemlenebilirlik verilerini yakalamak, izlerin serileştirilmesini ve depolama alanına veya harici backend'lere yazılmasını gerektirir. Daha yüksek iz ayrıntısı, bunun ne sıklıkla gerçekleştiğini artırarak her isteğe I/O yükü ekler.

Benchmark'ımızda:

• Langfuse’un ayrıntılı prompt, çıktı ve token izlemesi en yüksek ek yükle (~%15) sonuçlandı
• LangSmith’in daha hafif iz artifaktları temel çizgiye yakın kaldı.

5. Ajan framework'ü ile entegrasyon sıkılığı

Bir aracın ajan framework'ü ile ne kadar sıkı entegre olduğu performansı etkiler. Daha sıkı entegrasyonlar çeviri ve orkestrasyon adımlarını azaltırken, daha genel SDK'lar ekstra işleme katmanları ekler.

Örneğin:

• LangSmith’in ajan yürütmesiyle olan sıkı uyumu ~%0 ek yük ile korele oldu
• AgentOps ve Langfuse daha ayrık entegrasyon yollarıyla tutarlı olarak daha yüksek gecikme etkisi gösterdi.

Yapay zeka ajan gözlemlenebilirlik platformları

Kademe 1: İnce taneli LLM & prompt / çıktı gözlemlenebilirliği

* Bu sütunlarda listelenen yetenekler, her aracın entegrasyonlar veya özelleştirmeler yoluyla genişletildiğinde neleri izleyebileceğine dair açıklayıcı örneklerdir. Bunlar tek bir platforma özel değildir.

Kademe 2: İş akışı, model & değerlendirme gözlemlenebilirliği

Kademe 3: Ajan yaşam döngüsü & operasyonlar gözlemlenebilirliği

Kademe 4: Sistem & altyapı izleme (ajan-yerel değil)

Datadog (LLM Gözlemlenebilirlik modülü ile) ve Prometheus (exporter'lar aracılığıyla), giderek daha fazla Langfuse/LangSmith ile birlikte kullanılmaktadır.

Ajan geliştirme & orkestrasyon platformları:

• Flowise, Langflow, SuperAGI ve CrewAI gibi araçlar, kodsuz/düşük kodlu arayüzlerle ajan iş akışlarının oluşturulmasını, orkestre edilmesini ve optimize edilmesini sağlar

Dağıtım ücretsiz sürümleri & fiyatlandırma

Ücretsiz sürümler kullanım sınırlarına göre (örneğin, gözlemler, izler, token'lar veya iş birimleri) değişiklik gösterir. Başlangıç fiyatları genellikle temel bir plan içindir ve özellikler, kullanıcılar veya kullanım sınırları üzerinde kısıtlamalar olabilir.

Weights & Biases (W&B Weave)

Kullanım durumu: Hataların ajan çağrıları arasında nasıl yayıldığını izleyerek çok ajanlı sistemlerdeki hataları ayıklamak.

Şekil 1: Weights & Biases Weave'den izler paneli.

Weights & Biases Weave, ajan çağrıları arasındaki ebeveyn-çocuk ilişkilerini koruyarak çok ajanlı sistemler için yapılandırılmış yürütme izlerini kaydeder. Girdiler, çıktılar, ara durumlar, gecikme ve token kullanımı ajan başına ve iz başına yakalanır.

Weave izleme özellikleri

• Düz istek günlükleri yerine hiyerarşik ajan izleme
• Ajan düzeyinde maliyet ve gecikme ataması
• Doğrudan izlere uygulanan değerlendirme puanlayıcıları için yerel destek.

Değerlendirme yetenekleri

Weave ayrıca değerlendirme için şunları içeren yerleşik puanlayıcılar sağlar:

• Halüsinasyonları tespit etmek için HallucinationFreeScorer,
• Özet kalitesini değerlendirmek için SummarizationScorer,
• Semantik benzerlik için EmbeddingSimilarityScorer,
• Format doğrulaması için ValidJSONScorer ve ValidXMLScorer,
• Şema uyumluluğu için PydanticScorer,
• İçerik güvenliği için OpenAIModerationScorer,
• ContextEntityRecallScorer gibi RAGAS puanlayıcıları,
• RAG sistem değerlendirmesi için ContextRelevancyScorer.

En uygun olduğu durumlar: Yüzeyel metrikler yerine iz düzeyinde kök neden analizine ihtiyaç duyan, çok adımlı veya çok ajanlı iş akışları çalıştıran ekipler.

Langfuse

Kullanım durumları: LLM etkileşimlerini takip etmek, prompt versiyonlarını yönetmek ve kullanıcı oturumlarıyla model performansını izlemek.

Şekil 2: İz ayrıntılarını gösteren Langfuse panel örneği.¹

Langfuse, LLM uygulamalarını hata ayıklamaya, izlemeye ve optimize etmeye yardımcı olmak için prompt'ları, yanıtları, maliyetleri ve yürütme izlerini yakalayarak prompt katmanına derinlemesine görünürlük sunar.

Ancak, Langfuse, kod ve prompt yönetimi için Git tabanlı iş akışlarını tercih eden ekipler için uygun olmayabilir, çünkü harici prompt yönetim sistemi aynı düzeyde versiyon kontrolü ve iş birliği sunmayabilir.

Langfuse izleme özellikleri

• Prompt evrimi ve kullanım modellerine görünürlük
• Kullanıcıya yönelik uygulamalar için uygun oturum tabanlı analiz
• Filtreleme ve inceleme için pratik meta veri ve etiketleme modeli

Kurumsal düzeydeki özellikler:

Bu özelliklerden bazıları şunlardır:

• Günlük seviyeleri: Daha ayrıntılı içgörüler için günlüklerin ayrıntı düzeyini ayarlayın.
• Çok modluluk: Çok modlu LLM uygulamaları için metin, görüntü, ses ve diğer formatları destekler.
• Sürümler & versiyonlama: Versiyon geçmişini takip edin ve yeni sürümlerin model performansını nasıl etkilediğini görün.
• İz URL'leri: Daha fazla inceleme ve hata ayıklama için benzersiz URL'ler aracılığıyla ayrıntılı izlere erişin.
• Ajan grafikleri: Ajan davranışını daha iyi anlamak için ajan etkileşimlerini ve bağımlılıklarını görselleştirin.
• Örnekleme: Sistemi aşırı yüklemeden analiz etmek için etkileşimlerden temsili veriler toplayın.
• Token & maliyet takibi: Her model çağrısı için token kullanımı ve maliyetleri takip ederek verimli kaynak yönetimini sağlayın.
• Maskeleme: Hassas verileri izlerde maskeleyerek koruyun, gizliliği ve uyumluluğu sağlayın.

En uygun olduğu durumlar: Prompt'lar üzerinde yineleme yapan ve özellikle kullanıcı oturumlarının önemli olduğu üretim ortamlarında kullanımı izleyen ekipler.

Galileo

Kullanım durumları: Maliyet/gecikmeyi izlemek, çıktı kalitesini değerlendirmek, güvenli olmayan yanıtları engellemek ve uygulanabilir düzeltmeler sağlamak.

Şekil 3: Araç seçim kalitesini, bağlam uyumunu, ajan eylem derlemesini ve ilk token'a kadar geçen süreyi gösteren grafikler.

Galileo, gerçek zamanlı güvenlik ve uyumluluk kontrolleri uygularken maliyet, gecikme ve çıktı kalitesi metriklerini takip eder.

Platform, geleneksel gözlemlenebilirliği (gecikme, maliyet, performans) yapay zeka destekli hata ayıklama ve değerlendirme (halüsinasyon tespiti, olgusal doğruluk, tutarlılık, bağlam uyumu) ile birleştirir.

Galileo izleme özellikleri

• Yüzeyel hataların ötesinde hata modu tanımlama (örneğin, geçersiz araç girdilerine yol açan halüsinasyonlar)
• Önerilen prompt değişiklikleri veya few-shot eklemeleri gibi kuralcı geri bildirimler
• Değerlendirme sonuçları ile önerilen düzeltmeler arasında sıkı bağ.

En uygun olduğu durumlar: Çıktı kalitesine, güvenliğe ve rehberli iyileştirmelerle hızlı yineleme döngülerine öncelik veren kuruluşlar.

Guardrails AI

Kullanım durumları: Zararlı çıktıları önlemek, LLM yanıtlarını doğrulamak ve güvenlik politikalarına uyumu sağlamak

Şekil 4: Koruma çalışma süresi ve koruma hatalarındaki farkları gösteren koruma davranışı paneli.

Guardrails, LLM girdilerini ve çıktılarını; toksisite, yanlılık, PII ifşası, halüsinasyon işaretleme ve format uyumluluğu dahil olmak üzere yapılandırılabilir kurallara göre doğrular.

Guardrails AI izleme özellikleri

• RAIL spesifikasyonları aracılığıyla deterministik doğrulama
• Prompt enjeksiyonu ve jailbreak tespiti için girdi korumaları
• Doğrulama başarısız olduğunda otomatik yeniden denemeler.

En uygun olduğu durumlar
Yanıtlar döndürülmeden önce katı güvenlik, uyumluluk veya formatlama garantilerini uygulamak zorunda olan ekipler.

LangSmith

Kullanım durumları: Ajan akıl yürütme ve araç çağrısı hata ayıklama (LangChain merkezli)

Şekil 5: İsimleri, girdileri, başlangıç zamanları ve gecikmeleri dahil olmak üzere izleri gösteren LangSmith paneli.

LangSmith, LangChain tabanlı ajanlar için prompt'lar, getirilen bağlam, araç seçim mantığı, araç girdileri/çıktıları, hatalar ve istisnalar dahil olmak üzere tam akıl yürütme izlerini yakalar.

LangSmith izleme özellikleri

• Ajan karar yollarının adım adım incelenmesi
• Çalıştırmayı yeniden oynatma ve prompt'lar, modeller veya araçlar arasında yan yana karşılaştırma
• Callback'ler aracılığıyla LangChain ile sıkı entegrasyon.

En uygun olduğu durumlar
LangChain ile geliştirme yapan ve hatalı akıl yürütmeyi veya araç çağrısını ayrıntılı olarak ayıklaması gereken ekipler.

Langtrace AI 

Kullanım durumları: LLM uygulamalarındaki maliyet ve gecikme darboğazlarını belirlemek

Şekil 6: Langtrace AI iz paneli.

Langtrace, OpenTelemetry uyumlu izler kullanarak LLM pipeline'larında token sayılarını, yürütme süresini, API maliyetlerini ve istek parametrelerini takip eder.

Langtrace AI izleme özellikleri

• Mevcut backend'lerle entegrasyon için OpenTelemetry uyumu
• Adım başına maliyet ve gecikme sürücülerine görünürlük
• Hafif prompt versiyonlama ve test oyun alanı.

En uygun olduğu durumlar: Çıktı kalitesini değerlendirmekten ziyade, LLM iş akışlarında performansı ve harcamaları optimize eden ekipler.

Arize (Phoenix)

Kullanım durumları: Model kaymasını izlemek, yanlılığı tespit etmek ve kapsamlı puanlama sistemleriyle LLM çıktılarını değerlendirmek

Şekil 7: Arize Phoenix kayma izleme paneli.

Phoenix; davranışsal kayma, yanlılık tespiti ve alaka, toksisite ve doğruluk için LLM-as-a-judge puanlamasına odaklanır.

Ancak, hafif proxy'lere kıyasla daha yüksek entegrasyon yüküne sahiptir ve prompt versiyonlamasını özel araçlar kadar temiz yönetmez.

Phoenix izleme özellikleri

• İsteğe bağlı kurumsal eklentilere sahip açık kaynak çekirdek
• Geliştirme için etkileşimli prompt oyun alanı
• Zamana göre davranışsal değişiklikleri takip etmek için kayma tespiti
• Yanıt yanlılıklarını belirlemek için yanlılık kontrolleri,
• Doğruluk, toksisite ve alaka için LLM-as-a-judge puanlaması.

En uygun olduğu durumlar: Prompt yinelemesinden ziyade uzun vadeli model davranışını ve regresyon riskini izleyen ekipler.

Agenta

Kullanım durumları: Hangi prompt'un hangi modelde en iyi çalıştığını bulmak

Şekil 8: Agenta'dan çeşitli prompt alternatiflerini gösteren görüntü.

Agenta, paylaşılan girdiler ve kontrollü bağlam kullanarak model yanıtlarını maliyet, gecikme ve çıktı kalitesi açısından karşılaştırır.

Şekil 9: Agenta'dan çıktı örneği.

Agenta izleme özellikleri

• Yan yana model değerlendirmesi
• Üretim öncesi karar desteği.

En uygun olduğu durumlar: Erken aşama değerlendirme ve model seçimi.

AgentOps.ai

Kullanım durumları: Ajan akıl yürütmesini izlemek, maliyetleri takip etmek ve üretimdeki oturumları ayıklamak

Şekil 10: AgentOps.ai'den oturum yeniden oynatma paneli örneği.

AgentOps, dağıtılan ajanlar için akıl yürütme izlerini, araç/API çağrılarını, oturum durumunu, önbellekleme davranışını ve maliyet metriklerini yakalar.

AgentOps izleme özellikleri

• Üretim hata ayıklama için oturum yeniden oynatma
• Çevrimdışı değerlendirmeden ziyade canlı ajan davranışına odaklanma.

En uygun olduğu durumlar: Operasyonel görünürlüğe ihtiyaç duyan, üretimde ajanlar çalıştıran ekipler.

Braintrust

Kullanım durumları: Ayrıntılı değerlendirme ve hata analizi ile hangi prompt'un, dataset'in veya modelin daha iyi performans gösterdiğini bulmak

Şekil 11: Braintrust'tan müşteri destek ajanı paneli.

Braintrust; prompt'ları, dataset'leri ve modelleri beklenen çıktılara göre değerlendirir; gecikmeyi, maliyeti, araç hatalarını ve yürütme metriklerini takip eder.

Braintrust izleme özellikleri

• Girdiler ve beklenen çıktılarla test dataset'lerini değerlendirin, ardından {{input}}, {{expected}} ve {{metadata}} gibi değişkenleri kullanarak prompt'ları veya modelleri yan yana karşılaştırın.
• Araç yürütme kalitesi dahil metrik dökümleri

En uygun olduğu durumlar: Yayına almadan önce modelleri ve prompt'ları benchmark'layan ekipler.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

AgentNeo

Kullanım durumları: Çok ajanlı etkileşimleri ayıklamak, araç kullanımını izlemek ve koordinasyon iş akışlarını değerlendirmek

AgentNeo, bir Python SDK aracılığıyla ajan iletişimini, araç kullanımını, yürütme grafiklerini ve ajan başına maliyet ve gecikmeyi takip eder.

AgentNeo izleme özellikleri

• Açık kaynaklı ve yerel olarak çalıştırılabilir
• Çok ajanlı iş akışlarının gerçek zamanlı izlenmesi için etkileşimli yerel panel (localhost:3000)
• Dekoratörler kullanarak entegrasyon (örneğin, @tracer.trace_agent, @tracer.trace_tool)

En uygun olduğu durumlar: Çok ajanlı sistemlerle deneyler yapan mühendislik ekipleri.

Laminar

Kullanım durumu: Farklı LLM framework'leri ve modelleri genelinde performansı takip etmek.

Şekil 12: Laminar'dan izler paneli örneği.

Laminar, LLM framework'leri ve modelleri genelinde yürütme span'lerini, maliyetleri, token kullanımını ve gecikme yüzdeliklerini takip eder.

Laminar izleme özellikleri

• Framework'ten bağımsız performans analizi
• İnce taneli span incelemesi.

En uygun olduğu durumlar: Heterojen yığınlar arasında karşılaştırmalı performans analizi.

Helicone

Kullanım durumları: Çok adımlı ajan iş akışlarını takip etmek ve kullanıcı oturum modellerini analiz etmek.

Şekil 12: İsteklerde, maliyetlerde, hatalarda ve gecikmede 3 aylık değişiklikleri gösteren görüntü.

Helicone; istek hacimlerini, maliyetleri, hataları, gecikme trendlerini ve oturum düzeyindeki ajan iş akışlarını yakalar.

Helicone izleme özellikleri

• Kullanıcı yolculuğu görünürlüğü
• Geçmiş trend analizi.

En uygun olduğu durumlar: Kullanım modellerini ve kullanıcı düzeyindeki davranışları izleyen ürün ekipleri.

Coval

Kullanım durumları: Binlerce ajan konuşmasını simüle etmek, ses/sohbet etkileşimlerini test etmek ve dağıtım öncesinde davranışı doğrulamak.

Şekil 13: Coval’ın ulaşılan hedeflerin, doğrulanan kimliğin, doğru tekrarın, ajan netliğinin ve yanlış bilgilerin yüzdelerini gösteren değerlendirme paneli.

Coval, görev tamamlamayı, doğruluğu ve araç çağrısı etkinliğini ölçmek için binlerce konuşmayı simüle eder.

Coval izleme özellikleri

• Simülasyon tabanlı ajan testi
• Otomatik regresyon tespiti
• Ses ve metin ajanı desteği.

En uygun olduğu durumlar: Dağıtım öncesi doğrulama ve regresyon tespiti.

Datadog

Kullanım durumları: LLM sinyal korelasyonu ile altyapı ve uygulama gözlemlenebilirliği.

Datadog; altyapı metriklerini (CPU, bellek, ağ), uygulama performans verilerini (gecikme, hata oranları, throughput) ve günlükleri toplar. LLM uygulamaları için token kullanımı, istek başına maliyet, model gecikmesi ve prompt enjeksiyon girişimleri gibi güvenlikle ilgili sinyalleri alabilir.

Datadog izleme özellikleri

• Altyapı, uygulamalar ve yapay zeka iş yükleri genelinde geniş, sistem çapında gözlemlenebilirlik
• Yapay zeka davranışı ile altyapı sağlığı arasında korelasyon sağlayan geniş entegrasyon ekosistemi (900+ entegrasyon)

En uygun olduğu durumlar: Ajan akıl yürütmesini veya prompt'u incelemekten ziyade, LLM davranışını temel altyapı ve uygulama performansı ile ilişkilendirmek isteyen kuruluşlar

Prometheus

Kullanım durumları: Sistem performansını izlemek, uygulama metriklerini takip etmek ve altyapı sorunları için uyarılar kurmak.

Prometheus, altyapı, uygulama, veritabanı, konteyner ve özel iş metriklerini takip etmek için düzenli aralıklarla HTTP endpoint'lerinden zaman serisi metriklerini çeken açık kaynaklı bir izleme sistemidir.

Prometheus izleme özellikleri

• Çekme tabanlı (pull-based) scraping yoluyla zaman serisi metrikleri toplama
• Sorgulama, toplama ve uyarı koşulları için PromQL
• Geniş sistem kapsamı için exporter ekosistemi (örneğin, Node Exporter)

En uygun olduğu durumlar: Kural tabanlı uyarılarla altyapı ve uygulama izleme.

Grafana

Kullanım durumları: Metrikleri görselleştirmek, paneller oluşturmak ve LLM, ajan ve altyapı verileri genelinde uyarıları yönlendirmek.

Şekil 14: İstek oranındaki, toplam kullanım token'larındaki, ortalama kullanım maliyetindeki ve toplam kullanım maliyetindeki değişikliği gösteren izler paneli.

Grafana, birleşik gözlemlenebilirlik panelleri sağlamak için Prometheus, OpenTelemetry ve Datadog gibi veri kaynaklarıyla entegre olan açık kaynaklı bir görselleştirme ve analitik platformudur.

Grafana izleme özellikleri

• Metrikler, günlükler ve izler genelinde paneller
• LLM, ajan ve altyapı sinyalleri için sistemler arası korelasyon
• Uyarı yönlendirme ve bildirim yönetimi.

En uygun olduğu durumlar: Merkezi gözlemlenebilirlik görselleştirmesi ve olay müdahalesi.

Eğitim: LangChain gözlemlenebilirliği Langfuse ile

Üç aşamalı, çok adımlı bir LangChain pipeline'ı oluşturduk:

1. soru analizi
2. yanıt oluşturma
3. yanıt doğrulama

Pipeline'ı kurduktan sonra, yürütmeyi gerçek zamanlı olarak izlemek ve takip etmek için onu Langfuse'a bağladık. Bunu yaparak, Langfuse'un yapay zeka uygulama performansı, maliyetleri ve davranışı hakkında ayrıntılı içgörüler toplamamıza nasıl yardımcı olduğunu keşfedebildik.

Langfuse aracılığıyla gözlemlediklerimiz şunlardır:

Panel genel bakışı

Şekil 15: Langfuse’un maliyet, kullanım yönetimi ve gecikme panelleri.

Langfuse bize pipeline performansının farklı yönlerine görünürlük sağlayan birkaç panel sundu:

1. Maliyet Paneli: Bu, tüm API çağrıları genelindeki harcamaları, model ve zaman dönemi başına ayrıntılı dökümlerle takip eder.
2. Kullanım Yönetimi: Gözlem sayıları ve kaynak tahsisi gibi yürütme metriklerini izleyerek, yürütme sırasında kaynakların nasıl kullanıldığını takip etmemize yardımcı olur.
3. Gecikme Paneli: Bu panel yanıt sürelerini analiz etmemize, darboğazları tespit etmemize ve performans trendlerini görselleştirmemize yardımcı oldu.

Kullanım metrikleri

Şekil 16: Toplam iz sayısı, toplam gözlem sayısı ve toplam puan sayısını (hem sayısal hem de kategorik) içeren Langfuse kullanım metriklerini gösteren görüntü.

Kullanım metrikleri paneli, sistemin nasıl performans gösterdiğine dair bize şu içgörüleri verdi:

• Toplam iz sayısı: Her biri pipeline'da tam bir soru-yanıt döngüsünü temsil eden sekiz izi takip ettik.
• Toplam gözlem sayısı: Ortalama olarak, her iz sürecin çok adımlı doğasını yansıtan 16 gözleme sahipti.

Bunun üzerine, Langfuse son 7 gün boyunca kullanım modellerini, kaynak tahsisini ve zirve zamanlarını takip etmemizi sağlayarak sistemin ne zaman en aktif olduğunu ve kaynakların zaman içinde nasıl dağıldığını anlamamıza yardımcı olur.

İz incelemesi

Şekil 17: Girdi, çıktı, gözlemlenebilirlik seviyeleri, gecikme ve token'ları gösteren Langfuse izler paneli.

Bireysel bir izi derinlemesine incelediğimizde, ayrıntılı yürütme bilgilerini görebildik:

• İz satırları: Her satır, benzersiz bir iz ID'sine sahip bir tam pipeline yürütmesini temsil eder.
• Gecikme metrikleri: Yürütme süresi 0.00s ile 34.08s arasında değişti.
• Token sayıları: Panel, maliyet ve verimlilik yönetimine yardımcı olan girdi/çıktı token kullanımını takip etti.
• Ortam filtreleme: İzleri dağıtım ortamlarına (örneğin, geliştirme, üretim) göre filtreleyebildik.

Bireysel iz ayrıntıları

Şekil 18: Langfuse’un ardışık zincir mimarisi.

Yürütme dökümünü anlamak için izi daha ayrıntılı olarak inceledik:

• Ardışık zincir mimarisi: İz, SequentialChain → LLMChain → ChatOpenAI şeklinde başlayan, hiyerarşik yapıya sahip her adımı gösteren görsel bir akış sergiledi.
• Girdi/çıktı takibi: Orijinal soru, “Yapay zeka ajan gözlemlenebilirliği için Langfuse kullanmanın faydaları nelerdir?”, her aşamada ve yapay zeka tarafından her adımda üretilen ilgili çıktılarla birlikte takip edildi.
• Token analizi: Girdi için 1.203 token ve çıktı için 1.516 token kullanıldığını gözlemledik; bu durum token kullanımıyla ilgili maliyet etkileri yaratır ve kaynak yönetimini optimize etmeye yardımcı olur.
• Zamanlama verileri: Tam iz için toplam gecikme 34.08s idi ve her bileşene göre dökümü şöyledir:
  • SequentialChain → 14.02s
  • LLMChain → 10.25s
  • ChatOpenAI → 9.81s
• Model bilgisi: Langfuse, sıcaklık yapılandırması dahil olmak üzere belirli ayarların ayrıntılarıyla birlikte Anthropic Claude-Sonnet-4 modelinin kullanıldığını onayladı.
• Formatlı çıktı: Hata ayıklama için hem Önizleme hem de JSON görünümleri sağlandı; bu da modelin yanıtına insan tarafından okunabilir formda ve makine tarafından okunabilir formatta içgörüler sundu.

Otomatik analiz

Şekil 19: Langfuse otomatik değerlendirme örneği.

Langfuse ayrıca yanıtlarımızın otomatik değerlendirmelerini sağladı:

• Kalite değerlendirmesi: Sistem, yanıtların yapısını, tutarlılığını ve eksiksizliğini değerlendirdi; iyi organize edilmiş bölümleri vurguladı ancak yanıtların daha özlü olabileceğini önerdi.
• İyileştirme önerileri: Gereksiz tekrarlar içeren bölümleri belirledi, ifade tarzının nerede iyileştirilebileceğini önerdi ve yanıtı daha şeffaf ve daha verimli hale getirmek için ilgili noktaları birleştirdi.
• Performans içgörüleri: Sistem, token kullanımı ve yanıt alaka düzeyi hakkında geri bildirim vererek, çıktının yararlı ve konuyla ilgili kalmasını sağlarken verimliliği optimize etmemize yardımcı oldu.
• Yapılandırılmış geri bildirim: Geri bildirimler kategorilere ayrıldı, böylece iyileştirme için belirli alanları hedefli bir şekilde ele almamıza olanak tanıdı.

Kullanıcı analitiği

Şekil 20: Görüntü, etkileşimi, kaynak kullanımını ve bütçe tahsisini analiz etmeye yardımcı olmak için her kullanıcının ilk ve son etkileşimlerini, olay hacimlerini, token tüketimini ve ilişkili maliyetleri gösteren anonimleştirilmiş kullanıcı etkinliğini göstermektedir.

Langfuse, kullanıcılar ve yapay zeka ajanı arasındaki ayrıntılı etkileşimleri takip eder:

• Kullanıcı etkinlik zaman çizelgesi: Her kullanıcı için ilk ve son etkileşimi görüntüler, aktif ve pasif kullanıcıların belirlenmesine yardımcı olur. Kullanıcıların sistemle ilk ve son ne zaman etkileşime girdiğini görebiliriz.
• Olay hacmi takibi: Her kullanıcının tetiklediği olay sayısını takip eder. Örneğin, bazı kullanıcılar 2.000'den fazla olay oluşturarak sistemle olan etkileşim düzeylerini göstermiştir.
• Token tüketim analizi: Her kullanıcı tarafından tüketilen toplam token sayısını izler. Token kullanımı 6.59K ile 357K token arasında değişerek kaynak kullanımına dair içgörüler sağlamıştır.
• Maliyet ataması: Her kullanıcıyla ilişkili maliyetleri dökümlerle sunarak harcamaların takip edilmesini ve kaynak kullanımı için bütçe tahsisinin optimize edilmesini kolaylaştırır.
• Kullanıcı tanımlama: Bireysel kullanıcı etkileşimlerini takip ederken gizliliği korumak için anonimleştirilmiş kullanıcı ID'leri kullanır, böylece kullanıcı gizliliğinden ödün vermeden kullanım analizine yardımcı olur.

Şekil 21: Oturum görünümü örneği; tüm konuşma akışını yürütülen Python koduyla birlikte gösterir, kullanıcı girdilerini sistem çıktılarıyla ilişkilendirir ve etkileşimin nasıl işlendiğine dair eksiksiz bir resim sunmak için oturum meta verilerini görüntüler.

Oturum görünümü , kullanıcı etkileşimlerinin ayrıntılı detaylarını takip etmemize olanak tanır:

• Tam konuşma akışı: Tam soru-yanıt etkileşimini göstererek tüm konuşmayı baştan sona takip etmeyi kolaylaştırır.
• Uygulama görünürlüğü: Oturum sırasında kullanılan gerçek Python kodunu görüntüler ve teknik uygulama hakkında içgörü sağlar.
• Girdi/çıktı korelasyonu: Kullanıcı sorularını karşılık gelen sistem yanıtlarına bağlayarak, konuşmada sorunların nerede oluşmuş olabileceğini tespit etmemize ve gidermemize yardımcı olur.
• Oturum meta verileri: Zamanlama, kullanıcı bağlamı ve belirli uygulama verileri gibi teknik ayrıntıları içererek oturumun yürütülmesine dair kapsamlı bir görünüm sunar.

Gözlemlenebilirlik araçları ne zaman kullanılmamalı?

• Erken aşama geliştirme: Hala ürün-pazar uyumunu doğruluyorsanız veya ilk ajan iş akışlarınızı oluşturuyorsanız, odak noktası kapsamlı gözlemlenebilirlikten ziyade temel işlevsellik olmalıdır.
  
• API darboğazları: Temel sorunlarınız API maliyetleri, gecikme veya önbellekleme ise, öncelikli hedef sistem düzeyindeki metrikleri takip etmek değil, bu alanları optimize etmek olmalıdır.
  
• Model optimizasyonu: İyileştirmeler temel olarak model seçimi, fine-tuning veya prompt mühendisliği tarafından yönlendiriliyorsa, kayma ve yanlılık için gözlemlenebilirlik araçları henüz gerekli olmayabilir.

Gözlemlenebilirlik araçları ne zaman kullanılmalı?

• Ölçekli üretim: Birden fazla model, ajan veya zincirle çalışıyorsanız, performansı izlemek ve sistem sağlığını sağlamak için gözlemlenebilirlik araçları esastır.
• Kurumsal veya kullanıcıya yönelik uygulamalar: Güvenilirliğin, güvenliğin ve uyumluluğun tartışılmaz olduğu uygulamalar için gözlemlenebilirlik araçları gerekli görünürlüğü ve kontrolü sağlar.
• Sürekli izleme: Temel betikler veya manuel kontrollerle kolayca yakalanamayan kayma, yanlılık, performans ve güvenlik sorunlarını zaman içinde izlemeniz gerektiğinde gözlemlenebilirlik araçları kritiktir.
• Yüksek riskli senaryolar: Başarısızlık maliyetinin (örneğin, halüsinasyonlar, güvenli olmayan çıktılar) önemli olduğu ortamlarda, gözlemlenebilirlik risklerin minimize edilmesini ve sorunların erkenden tespit edilmesini sağlar.

Benchmark metodolojisi

Üretim LLM uygulamalarında gözlemlenebilirlik platformlarının performans yükünü değerlendirmek için gerçek dünyadan bir ajan iş akışı kullanarak sistematik bir benchmark yaklaşımı geliştirdik.

Test uygulaması

LangChain kullanarak, doğal dil seyahat isteklerini beş aşamada işleyen ardışık bir çok ajanlı seyahat planlama sistemi oluşturduk:

1. Ayrıştırıcı (Parser) ajan: Kullanıcı girdisinden yapılandırılmış verileri (başlangıç, varış, tarihler, süre) çıkarır
2. Uçuş bulucu ajan: Amadeus API aracılığıyla mevcut uçuşları getirir
3. Hava durumu raporlayıcı ajan: WeatherAPI kullanarak varış noktası hava durumu tahminlerini çeker
4. Etkinlik önerici ajan: Hava koşullarına göre etkinlikler önerir
5. Seyahat planlayıcı ajan: Tüm çıktıları kapsamlı bir güzergaha sentezler

Sistem, tüm LLM çağrıları için OpenRouter üzerinden Claude 4 Haiku kullanır ve gerçek zamanlı veriler için harici API'leri entegre eder.

Benchmark tasarımı

Temel çizginin belirlenmesi: İlk olarak, karşılaştırma için bir temel çizgi oluşturmak amacıyla, herhangi bir gözlemlenebilirlik enstrümantasyonu olmadan uygulamanın performansını ölçtük ve 100 adet özdeş sorgu çalıştırdık.

Platform entegrasyonu: Ardından, tutarlılık için tüm platformlarda aynı izleme noktalarını enstrümante ederek beş önde gelen gözlemlenebilirlik platformunu (LangSmith, Laminar, AgentOps, Langfuse) tek tek entegre ettik.

Ardışık yürütme: Her platform, bir sonrakine geçmeden önce tüm 100 sorgu art arda çalıştırılarak bağımsız olarak test edildi. Bu yaklaşım, ağ koşulları veya API hız sınırları gibi dış faktörlerden kaynaklanan değişkenliği en aza indirir.

Kontrollü Ortam: Adil bir karşılaştırma sağlamak için tüm testler, aynı sunucu altyapısında ve özdeş sorgu setleriyle yürütüldü. LLM kaynaklı gecikme varyasyonlarından kaynaklanan ek yükü izole etmek için, modeli temperature=0 olarak yapılandırdık ve çalıştırmalar arasındaki yanıt değişkenliğini en aza indirmek için yapılandırılmış prompt'lar kullandık.

Toplanan metrikler

Her platform için ortalama gecikmeyi ölçtük ve ek yükü, temel çizgiye kıyasla getirilen ek gecikme olarak hesapladık: ((Platform Latency - Base Latency) / Base Latency) × 100

SSS'ler

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{15 Yapay Zeka Ajan Gözlemlenebilirlik Aracı: AgentOps & Langfuse}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/agentic-monitoring}},
  note   = {AIMultiple. Erişim tarihi: 2 Temmuz 2026}
}

Referans Linkleri

1.

Model Usage & Cost Tracking for LLM applications (open source) - Langfuse

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder