15 Yapay Zeka Ajanı Gözlemlenebilirlik Araçları: AgentOps & Langfuse

Yapay zeka ajanı gözlemlenebilirlik araçları, Langfuse ve Arize gibi, ayrıntılı izler (bir programın veya işlemin yürütülmesinin kaydı) toplamaya ve metrikleri gerçek zamanlı olarak izlemek için gösterge panoları sağlamaya yardımcı olur.

Birçok ajan framework'ü, LangChain gibi, ajansal izleme ile metadata paylaşmak için OpenTelemetry standardını kullanır. Bunun da ötesinde, birçok gözlemlenebilirlik aracı daha fazla esneklik için özel enstrümantasyon sağlar.

15 gözlemlenebilirlik platformunu LLM uygulamaları ve yapay zeka ajanları için test ettik. Her platform, iş akışları kurarak, entegrasyonları yapılandırarak ve test senaryoları çalıştırarak uygulamalı olarak hayata geçirildi. Üretim pipeline'larında yük oluşturup oluşturmadıklarını ölçmek için 4 gözlemlenebilirlik aracını benchmark ettik. Ayrıca LangChain ile Langfuse kullanarak gözlemlenebilirlik eğitimini gösterdik.

Ajansal izleme araçları yükü benchmark'ı

Her gözlemlenebilirlik platformunu çok ajanlı seyahat planlama sistemimize entegre ettik ve enstrümantasyon olmadan bir baseline'a kıyasla performans yüklerini ölçmek için 100 özdeş sorgu çalıştırdık. Benchmark metodolojimizi okuyun.

• LangSmith neredeyse hiç ölçülebilir yük olmadan olağanüstü verimlilik gösterdi ve bu da onu performans açısından kritik üretim ortamları için ideal hale getiriyor.
• Laminar %5 ile minimum yük getirdi ve bu da onu performansın kritik olduğu üretim ortamları için son derece uygun hale getiriyor.
• AgentOps ve Langfuse sırasıyla %12 ve %15 ile orta düzey yük gösterdi; bu da gözlemlenebilirlik özellikleri ile performans etkisi arasında makul bir dengeyi temsil ediyor. Bu platformlar çoğu üretim kullanım durumu için kabul edilebilir gecikme süresini hâlâ koruyor.

Performans farklılıklarının olası nedenleri

Benchmark'ımız, gecikme farklılıklarının özellikle çok ajanlı iş akışlarında enstrümantasyon derinliği ve yürütme yoluna katılım tarafından belirlendiğini göstermektedir. Daha derin, adım düzeyinde gözlemlenebilirlik sunan araçlar daha yüksek yük sergilerken, daha hafif izleme yaklaşımları baseline'a daha yakın kalmıştır.

1. Yürütme yolundaki enstrümantasyon derinliği

Gözlemlenebilirlik araçları, izleri ve metadata'yı yakalamak için ajanın yürütme akışına mantık ekler. Bu mantık istek işleme sırasında eşzamanlı olarak çalıştığında, ajan bir yanıt döndürmeden önce bu ekstra işi tamamlaması gerektiğinden uçtan uca gecikmeyi doğrudan artırır.

Örneğin:

• LangSmith neredeyse hiç ölçülebilir yük eklemedi (~%0), bu da çok az eşzamanlı çalışma olduğunu gösteriyor,
• Langfuse'ün daha derin adım düzeyinde enstrümantasyonu daha yüksek bir yüke (~%15) katkıda bulundu.

2. Çok adımlı pipeline'larda olay çoğalması

Çok ajanlı sistemlerde, tek bir kullanıcı isteği birden fazla ajan eylemini tetikler. Bir araç her adımda ayrıntılı veri kaydettiğinde, toplam olay sayısı hızla artar ve iş akışı derinleştikçe işleme ve iz yönetimi yükü artar.

Benchmark sonuçlarında:

• Langfuse ve AgentOps, çok adımlı seyahat planlama iş akışımızda belirgin şekilde daha yüksek yük (%15 ve %12) oluşturdu
• LangSmith ve Laminar, ajan adımı başına daha az olay yaydı.

3. Satır içi değerlendirme ve doğrulama yükü

Bazı platformlar, ajan çalışırken ek kontroller veya izleme gerçekleştirir. Her kontrol hafif olsa da, bunları tüm ajan adımlarında tekrar uygulamak ölçülebilir gecikme ekler.

Örneğin:

• AgentOps'un yaşam döngüsü düzeyinde izlemesi %12'lik bir yükle örtüştü
• Laminar, yürütmeyi etkileyen satır içi değerlendirme kanıtı göstermedi, ~%5'te kaldı.

4. Serileştirme ve kalıcılık sıklığı

Ayrıntılı gözlemlenebilirlik verilerini yakalamak, izlerin serileştirilmesini ve bunların depolamaya veya harici backend'lere yazılmasını gerektirir. Daha yüksek iz ayrıntısı, bunun ne sıklıkta gerçekleştiğini artırarak her isteğe I/O yükü ekler.

Benchmark'ımızda:

• Langfuse'ün ayrıntılı prompt, çıktı ve token izlemesi en yüksek yükle (~%15) sonuçlandı
• LangSmith'in daha hafif iz artefaktları baseline'a yakın kaldı.

5. Ajan framework'ü ile entegrasyon sıkılığı

Bir aracın ajan framework'ü ile ne kadar yakın entegre olduğu performansı etkiler. Daha sıkı entegrasyonlar çeviri ve orkestrasyon adımlarını azaltırken, daha genel SDK'lar ekstra işleme katmanları ekler.

Örneğin:

• LangSmith'in ajan yürütmesiyle sıkı uyumu ~%0 yük ile ilişkilendirildi
• AgentOps ve Langfuse, daha ayrık entegrasyon yollarıyla tutarlı olarak daha yüksek gecikme etkisi gösterdi.

Yapay zeka ajanı gözlemlenebilirlik platformları

Seviye 1: İnce taneli LLM & prompt / çıktı gözlemlenebilirliği

* Bu sütunlarda listelenen yetenekler, her bir aracın entegrasyonlar veya özelleştirme yoluyla genişletildiğinde neleri izleyebileceğine dair açıklayıcı örneklerdir. Bunlar tek bir platforma özel değildir.

Seviye 2: İş akışı, model & değerlendirme gözlemlenebilirliği

Seviye 3: Ajan yaşam döngüsü & operasyon gözlemlenebilirliği

Seviye 4: Sistem & altyapı izleme (ajan-doğal değil)

Datadog (LLM Gözlemlenebilirlik modülü ile) ve Prometheus (ihracatçılar aracılığıyla), Langfuse/LangSmith ile birlikte giderek daha fazla kullanılmaktadır.

Ajan geliştirme & orkestrasyon platformları:

• Flowise, Langflow, SuperAGI ve CrewAI gibi araçlar, no-code/low-code arayüzlerle ajan iş akışlarını oluşturmayı, orkestre etmeyi ve optimize etmeyi sağlar

Dağıtım ücretsiz sürümleri & fiyatlandırma

Free sürümler kullanım limitlerine (örn. gözlemler, izler, token'lar veya iş birimleri) göre değişiklik gösterir. Başlangıç fiyatları genellikle özellikler, kullanıcılar veya kullanım limitleri konusunda kısıtlamalara sahip olabilecek temel bir plan içindir.

Weights & Biases (W&B Weave)

Kullanım durumu: Hataların ajan çağrıları arasında nasıl yayıldığını izleyerek çok ajanlı sistemlerdeki hataları ayıklama.

Weights & Biases Weave, çok ajanlı sistemler için yapılandırılmış yürütme izleri kaydeder ve ajan çağrıları arasındaki ebeveyn-çocuk ilişkilerini korur. Girdiler, çıktılar, ara durumlar, gecikme ve token kullanımı ajan başına ve iz başına yakalanır.

Weave izleme özellikleri

• Düz istek günlükleri yerine hiyerarşik ajan izleme
• Ajan düzeyinde maliyet ve gecikme atıfı
• Doğrudan izlere uygulanan değerlendirme puanlayıcıları için yerel destek.

Değerlendirme yetenekleri

Weave ayrıca değerlendirme için yerleşik puanlayıcılar sağlar, bunlar arasında:

• Halüsinasyon tespiti için HallucinationFreeScorer,
• Özet kalitesini değerlendirmek için SummarizationScorer,
• Anlamsal benzerlik için EmbeddingSimilarityScorer,
• Format doğrulaması için ValidJSONScorer ve ValidXMLScorer,
• Şema uyumluluğu için PydanticScorer,
• İçerik güvenliği için OpenAIModerationScorer,
• ContextEntityRecallScorer gibi RAGAS puanlayıcıları,
• RAG sistemi değerlendirmesi için ContextRelevancyScorer.

En uygun olduğu durum: Yüzeysel metrikler yerine iz düzeyinde kök neden analizine ihtiyaç duyan, çok adımlı veya çok ajanlı iş akışları yürüten ekipler.

Langfuse

Kullanım durumları: LLM etkileşimlerini izleyin, prompt sürümlerini yönetin ve kullanıcı oturumlarıyla model performansını izleyin.

Langfuse, prompt katmanına derin görünürlük sunar; LLM uygulamalarında hata ayıklamak, izlemek ve optimize etmek için prompt'ları, yanıtları, maliyetleri ve yürütme izlerini yakalar.

Ancak Langfuse, kod ve prompt yönetimi için Git tabanlı iş akışlarını tercih eden ekipler için uygun olmayabilir, çünkü harici prompt yönetim sistemi aynı düzeyde sürüm kontrolü ve işbirliği sunmayabilir.

Langfuse izleme özellikleri

• Prompt evrimi ve kullanım desenlerine görünürlük
• Kullanıcıya dönük uygulamalar için uygun oturum tabanlı analiz
• Filtreleme ve inceleme için pratik metadata ve etiketleme modeli

Kurumsal düzey özellikler:

Bu özelliklerden bazıları şunlardır:

• Günlük seviyeleri: Daha ayrıntılı içgörüler için günlüklerin ayrıntı düzeyini ayarlayın.
• Çok modluluk: Çok modlu LLM uygulamaları için metin, görüntü, ses ve diğer formatları destekler.
• Sürümler & sürümleme: Sürüm geçmişini izleyin ve yeni sürümlerin modelin performansını nasıl etkilediğini görün.
• İz URL'leri: Daha fazla inceleme ve hata ayıklama için benzersiz URL'ler aracılığıyla ayrıntılı izlere erişin.
• Ajan grafikleri: Ajan davranışını daha iyi anlamak için ajan etkileşimlerini ve bağımlılıklarını görselleştirin.
• Örnekleme: Sistemi aşırı yüklemeden analiz etmek için etkileşimlerden temsili veriler toplayın.
• Token & maliyet takibi: Her model çağrısı için token kullanımını ve maliyetleri izleyerek verimli kaynak yönetimi sağlayın.
• Maskeleme: Hassas verileri izlerde maskeleyerek gizlilik ve uyumluluğu sağlayın.

En uygun olduğu durum: Prompt'lar üzerinde iterasyon yapan ve özellikle kullanıcı oturumlarının önemli olduğu üretimde kullanımı izleyen ekipler.

Galileo

Kullanım durumları: Maliyet/gecikmeyi izleyin, çıktı kalitesini değerlendirin, güvensiz yanıtları engelleyin ve eyleme dönüştürülebilir düzeltmeler sağlayın.

Galileo, gerçek zamanlı güvenlik ve uyumluluk kontrolleri uygularken maliyet, gecikme ve çıktı kalitesi metriklerini izler.

Platform, geleneksel gözlemlenebilirliği (gecikme, maliyet, performans) yapay zeka destekli hata ayıklama ve değerlendirme (halüsinasyon tespiti, olgusal doğruluk, tutarlılık, bağlam uyumu) ile birleştirir.

Galileo izleme özellikleri

• Yüzeysel hataların ötesinde hata modu tanımlaması (örn. geçersiz araç girdilerine yol açan halüsinasyonlar)
• Önerilen prompt değişiklikleri veya few-shot eklemeleri gibi yönlendirici geri bildirim
• Değerlendirme sonuçları ile önerilen düzeltmeler arasında sıkı bağlantı.

En uygun olduğu durum: Çıktı kalitesine, güvenliğe ve rehberli iyileştirme ile hızlı iterasyon döngülerine öncelik veren kuruluşlar.

Guardrails AI

Kullanım durumları: Zararlı çıktıları önleyin, LLM yanıtlarını doğrulayın ve güvenlik politikalarına uyumu sağlayın

Guardrails, LLM girdilerini ve çıktılarını toksisite, önyargı, PII ifşası, halüsinasyonları işaretleme ve format uyumluluğu dahil olmak üzere yapılandırılabilir kurallara göre doğrular.

Guardrails AI izleme özellikleri

• RAIL spesifikasyonları aracılığıyla deterministik doğrulama
• Prompt enjeksiyonu ve jailbreak tespiti için girdi guard'ları
• Doğrulama başarısız olduğunda otomatik yeniden denemeler.

En uygun olduğu durum
Yanıtlar döndürülmeden önce katı güvenlik, uyumluluk veya biçimlendirme garantilerini zorunlu kılması gereken ekipler.

LangSmith

Kullanım durumları: Ajan akıl yürütme ve araç çağrısı hata ayıklaması (LangChain-merkezli)

LangSmith, LangChain tabanlı ajanlar için prompt'lar, getirilen bağlam, araç seçim mantığı, araç girdileri/çıktıları, hatalar ve istisnalar dahil olmak üzere tam akıl yürütme izlerini yakalar.

LangSmith izleme özellikleri

• Ajan karar yollarının adım adım incelenmesi
• Çalıştırma tekrarı ve prompt'lar, modeller veya araçlar arasında yan yana karşılaştırma
• Callback'ler aracılığıyla LangChain ile sıkı entegrasyon.

En uygun olduğu durum
Yanlış akıl yürütme veya araç çağrısını ayrıntılı olarak ayıklaması gereken LangChain ile geliştirme yapan ekipler.

Langtrace AI

Kullanım durumları: LLM uygulamalarındaki maliyet ve gecikme darboğazlarını belirleme

Langtrace, OpenTelemetry uyumlu izler kullanarak LLM pipeline'ları genelinde token sayılarını, yürütme süresini, API maliyetlerini ve istek parametrelerini izler.

Langtrace AI izleme özellikleri

• Mevcut backend'lerle entegrasyon için OpenTelemetry uyumu
• Adım başına maliyet ve gecikme etkenlerine görünürlük
• Hafif prompt sürümleme ve test ortamı.

En uygun olduğu durum: Çıktı kalitesini değerlendirmekten ziyade LLM iş akışları genelinde performansı ve harcamayı optimize eden ekipler.

Arize (Phoenix)

Kullanım durumları: Model sapmasını izleyin, önyargıyı tespit edin ve kapsamlı puanlama sistemleriyle LLM çıktılarını değerlendirin

Phoenix, davranışsal sapma, önyargı tespiti ve alaka düzeyi, toksisite ve doğruluk için LLM-as-a-judge puanlamasına odaklanır.

Ancak, hafif proxy'lere kıyasla daha yüksek entegrasyon yüküne sahiptir ve prompt sürümlemeyi özel araçlar kadar temiz bir şekilde yönetmez.

Phoenix izleme özellikleri

• İsteğe bağlı kurumsal uzantılara sahip açık kaynaklı çekirdek
• Geliştirme için etkileşimli prompt ortamı
• Zamana göre davranışsal değişiklikleri izlemek için sapma tespiti
• Yanıt önyargılarını belirlemek için önyargı kontrolleri,
• Doğruluk, toksisite ve alaka düzeyi için LLM-as-a-judge puanlaması.

En uygun olduğu durum: Prompt iterasyonundan ziyade uzun vadeli model davranışını ve regresyon riskini izleyen ekipler.

Agenta

Kullanım durumları: Hangi prompt'un hangi modelde en iyi çalıştığını bulma

Agenta, paylaşılan girdiler ve kontrollü bağlam kullanarak model yanıtlarını maliyet, gecikme ve çıktı kalitesi açısından karşılaştırır.

Agenta izleme özellikleri

• Yan yana model değerlendirmesi
• Üretim öncesi karar desteği.

En uygun olduğu durum: Erken aşama değerlendirme ve model seçimi.

AgentOps.ai

Kullanım durumları: Ajan akıl yürütmesini izleyin, maliyetleri takip edin ve üretimdeki oturumlarda hata ayıklayın

AgentOps, dağıtılmış ajanlar için akıl yürütme izlerini, araç/API çağrılarını, oturum durumunu, önbellekleme davranışını ve maliyet metriklerini yakalar.

AgentOps izleme özellikleri

• Üretim hata ayıklaması için oturum tekrarı
• Çevrimdışı değerlendirme yerine canlı ajan davranışına odaklanma.

En uygun olduğu durum: Operasyonel görünürlüğe ihtiyaç duyan, üretimde ajan çalıştıran ekipler.

Braintrust

Kullanım durumları: Hangi prompt, dataset veya modelin daha iyi performans gösterdiğini ayrıntılı değerlendirme ve hata analizi ile bulma

Braintrust, prompt'ları, dataset'leri ve modelleri beklenen çıktılara göre değerlendirir; gecikme, maliyet, araç hataları ve yürütme metriklerini izler.

Braintrust izleme özellikleri

• Test dataset'lerini girdiler ve beklenen çıktılarla değerlendirin, ardından {{input}}, {{expected}} ve {{metadata}} gibi değişkenleri kullanarak prompt'ları veya modelleri yan yana karşılaştırın.
• Araç yürütme kalitesi dahil metrik dökümleri

En uygun olduğu durum: Kullanıma sunmadan önce modelleri ve prompt'ları benchmark eden ekipler.

AgentNeo

Kullanım durumları: Çok ajanlı etkileşimlerde hata ayıklama, araç kullanımını izleme ve koordinasyon iş akışlarını değerlendirme

AgentNeo, bir Python SDK aracılığıyla ajan iletişimini, araç kullanımını, yürütme grafiklerini ve ajan başına maliyet ve gecikmeyi izler.

AgentNeo izleme özellikleri

• Açık kaynaklı ve yerel olarak çalıştırılabilir
• Çok ajanlı iş akışlarının gerçek zamanlı izlenmesi için etkileşimli yerel gösterge panosu (localhost:3000).
• Dekoratörler kullanarak entegrasyon (örn. @tracer.trace_agent, @tracer.trace_tool)

En uygun olduğu durum: Çok ajanlı sistemlerle deneme yapan mühendislik ekipleri.

Google Arama'da daha fazla kıyaslamamızı ve veri odaklı içgörülerimizi görün.

Tercih edilen kaynak olarak ekle

Laminar

Kullanım durumu: Farklı LLM framework'leri ve modelleri arasında performansı izleyin.

Laminar, LLM framework'leri ve modelleri arasında yürütme span'lerini, maliyetleri, token kullanımını ve gecikme yüzdeliklerini izler.

Laminar izleme özellikleri

• Framework'ten bağımsız performans analizi
• İnce taneli span incelemesi.

En uygun olduğu durum: Heterojen yığınlar arasında karşılaştırmalı performans analizi.

Helicone

Kullanım durumları: Çok adımlı ajan iş akışlarını izleyin ve kullanıcı oturum desenlerini analiz edin.

Helicone, istek hacimlerini, maliyetleri, hataları, gecikme eğilimlerini ve oturum düzeyinde ajan iş akışlarını yakalar.

Helicone izleme özellikleri

• Kullanıcı yolculuğu görünürlüğü
• Geçmişe dönük eğilim analizi.

En uygun olduğu durum: Kullanım desenlerini ve kullanıcı düzeyinde davranışı izleyen ürün ekipleri.

Coval

Kullanım durumları: Binlerce ajan konuşmasını simüle edin, ses/sohbet etkileşimlerini test edin ve dağıtımdan önce davranışı doğrulayın.

Coval, görev tamamlama, doğruluk ve araç çağrısı etkinliğini ölçmek için binlerce konuşmayı simüle eder.

Coval izleme özellikleri

• Simülasyon tabanlı ajan testi
• Otomatik regresyon tespiti
• Ses ve metin ajanı desteği.

En uygun olduğu durum: Dağıtım öncesi doğrulama ve regresyon tespiti.

Datadog

Kullanım durumları: LLM sinyal korelasyonu ile altyapı ve uygulama gözlemlenebilirliği.

Datadog, altyapı metriklerini (CPU, bellek, ağ), uygulama performans verilerini (gecikme, hata oranları, verim) ve günlükleri toplar. LLM uygulamaları için token kullanımını, istek başına maliyeti, model gecikmesini ve prompt enjeksiyonu girişimleri gibi güvenlikle ilgili sinyalleri alabilir.

Datadog izleme özellikleri

• Altyapı, uygulamalar ve yapay zeka iş yükleri arasında geniş, sistem çapında gözlemlenebilirlik
• Yapay zeka davranışı ile altyapı sağlığı arasında korelasyon sağlayan geniş entegrasyon ekosistemi (900'den fazla entegrasyon)

En uygun olduğu durum: Ajan akıl yürütmesini veya prompt'u incelemekten ziyade LLM davranışını altta yatan altyapı ve uygulama performansıyla ilişkilendirmek isteyen kuruluşlar

Prometheus

Kullanım durumları: Sistem performansını izleyin, uygulama metriklerini takip edin ve altyapı sorunları için uyarı kurulumu yapın.

Prometheus, altyapı, uygulama, veritabanı, konteyner ve özel iş metriklerini izlemek için HTTP uç noktalarından düzenli aralıklarla zaman serisi metriklerini toplayan açık kaynaklı bir izleme sistemidir.

Prometheus izleme özellikleri

• Çekme tabanlı toplama yoluyla zaman serisi metrik koleksiyonu
• Sorgulama, toplama ve uyarı koşulları için PromQL
• Geniş sistem kapsamı için ihracatçı ekosistemi (örn. Node Exporter)

En uygun olduğu durum: Kural tabanlı uyarı ile altyapı ve uygulama izleme.

Grafana

Kullanım durumları: LLM, ajan ve altyapı verileri arasında metrikleri görselleştirin, panolar oluşturun ve uyarıları yönlendirin.

Grafana, birleşik gözlemlenebilirlik panoları sağlamak için Prometheus, OpenTelemetry ve Datadog gibi veri kaynaklarıyla entegre olan açık kaynaklı bir görselleştirme ve analitik platformudur.

Grafana izleme özellikleri

• Metrikler, günlükler ve izler arasında panolar
• LLM, ajan ve altyapı sinyalleri için çapraz sistem korelasyonu
• Uyarı yönlendirme ve bildirim yönetimi.

En uygun olduğu durum: Merkezi gözlemlenebilirlik görselleştirmesi ve olay müdahalesi.

Eğitim: LangChain ile Langfuse gözlemlenebilirliği

LangChain ile üç aşamalı çok adımlı bir pipeline oluşturduk:

1. soru analizi
2. yanıt oluşturma
3. yanıt doğrulama

Pipeline'ı kurduktan sonra, yürütmeyi gerçek zamanlı olarak izlemek ve takip etmek için Langfuse'a bağladık. Bunu yaparak, Langfuse'un yapay zeka uygulama performansı, maliyetleri ve davranışı hakkında ayrıntılı içgörüler toplamamıza nasıl yardımcı olduğunu keşfedebildik.

Langfuse aracılığıyla gözlemlediklerimiz şunlardır:

Gösterge panosu genel bakış

Langfuse, pipeline'ın performansının farklı yönlerine görünürlük sağlayan birkaç gösterge panosu sundu:

1. Maliyet Panosu: Tüm API çağrılarındaki harcamaları, model başına ve zaman dilimi başına ayrıntılı dökümlerle izler.
2. Kullanım Yönetimi: Yürütme sırasında kaynakların nasıl kullanıldığını izlememize yardımcı olarak gözlem sayıları ve kaynak tahsisi gibi yürütme metriklerini izler.
3. Gecikme Panosu: Bu pano, yanıt sürelerini analiz etmemize, darboğazları tespit etmemize ve performans eğilimlerini görselleştirmemize yardımcı oldu.

Kullanım metrikleri

Kullanım metrikleri panosu bize sistemin nasıl performans gösterdiğine dair şu içgörüleri verdi:

• Toplam iz sayısı: Her biri pipeline'da tam bir soru-cevap döngüsünü temsil eden sekiz iz takip ettik.
• Toplam gözlem sayısı: Ortalama olarak her iz, sürecin çok adımlı yapısını yansıtan 16 gözleme sahipti.

Bunun da ötesinde, Langfuse son 7 gündeki kullanım desenlerini, kaynak tahsisini ve yoğun zamanları izlememizi sağlayarak sistemin en aktif olduğu zamanları ve kaynakların zamana göre nasıl dağıldığını anlamamıza yardımcı olur.

İz inceleme

Bireysel bir izin ayrıntılarına indiğimizde, ayrıntılı yürütme bilgilerini görebildik:

• İz satırları: Her satır, benzersiz bir iz kimliğine sahip bir tam pipeline yürütmesini temsil eder.
• Gecikme metrikleri: Yürütme süresi 0.00s ile 34.08s arasında değişiyordu.
• Token sayıları: Pano, maliyet ve verimlilik yönetimine yardımcı olan girdi/çıktı token kullanımını takip etti.
• Ortam filtreleme: İzleri dağıtım ortamlarına (örn. geliştirme, üretim) göre filtreleyebildik.

Bireysel iz ayrıntıları

Yürütme dökümünü anlamak için izi daha ayrıntılı olarak inceledik:

• Sıralı zincir mimarisi: İz, SequentialChain → LLMChain → ChatOpenAI ile başlayan her adımı hiyerarşik yapıyla gösteren görsel bir akış sergiledi.
• Girdi/çıktı takibi: "Langfuse'u yapay zeka ajanı gözlemlenebilirliği için kullanmanın faydaları nelerdir?" sorusu, her aşamada yapay zeka tarafından üretilen ilgili çıktılarla birlikte takip edildi.
• Token analizi: Girdi için 1.203 token ve çıktı için 1.516 token kullanıldığını gözlemledik; bunun token kullanımıyla ilgili maliyet etkileri vardır ve kaynak yönetimini optimize etmeye yardımcı olur.
• Zamanlama verileri: Tam iz için toplam gecikme 34.08s idi ve her bileşene göre dağılımı şöyleydi:
  • SequentialChain → 14.02s
  • LLMChain → 10.25s
  • ChatOpenAI → 9.81s
• Model bilgisi: Langfuse, sıcaklık yapılandırması dahil olmak üzere belirli ayarlarla birlikte Anthropic Claude-Sonnet-4 modelinin kullanımını doğruladı.
• Biçimlendirilmiş çıktı: Hata ayıklama için hem Önizleme hem de JSON görünümleri sağlandı; modelin yanıtına insan tarafından okunabilir biçimde ve makine tarafından okunabilir formatta içgörüler sundu.

Otomatik analiz

Langfuse ayrıca yanıtlarımızın otomatik değerlendirmelerini de sağladı:

• Kalite değerlendirmesi: Sistem, yanıtların yapısını, tutarlılığını ve eksiksizliğini değerlendirdi; iyi organize edilmiş bölümleri vurguladı ancak yanıtların daha öz olabileceğini önerdi.
• İyileştirme önerileri: İfadelerin geliştirilebileceği fazlalıklı bölümleri belirledi ve yanıtı daha şeffaf ve daha verimli hale getirmek için ilgili noktaları birleştirdi.
• Performans içgörüleri: Sistem, token kullanımı ve yanıt alaka düzeyi hakkında geri bildirim vererek, çıktının yararlı ve konuyla ilgili kalmasını sağlarken verimliliği optimize etmemize yardımcı oldu.
• Yapılandırılmış geri bildirim: Geri bildirim kategoriler halinde düzenlendi ve belirli alanları hedefli bir şekilde ele almamıza olanak sağladı.

Kullanıcı analitiği

Langfuse, kullanıcılar ile yapay zeka ajanı arasındaki ayrıntılı etkileşimleri izler:

• Kullanıcı etkinliği zaman çizelgesi: Her kullanıcı için ilk ve son etkileşimi görüntüler; aktif ve durağan kullanıcıları belirlemeye yardımcı olur. Kullanıcıların sistemle ilk ve son kez ne zaman etkileşime geçtiğini görebiliriz.
• Olay hacmi takibi: Her kullanıcının tetiklediği olay sayısını izler. Örneğin, bazı kullanıcılar 2.000'den fazla olay oluşturarak sistemle etkileşim seviyelerini gösterdi.
• Token tüketim analizi: Her kullanıcı tarafından tüketilen toplam token sayısını izler. Token kullanımı 6.59K ile 357K token arasında değişerek kaynak kullanımına dair içgörüler sağladı.
• Maliyet atıfı: Her kullanıcıyla ilişkili maliyetleri dökümler; harcamaları takip etmeyi ve kaynak kullanımı için bütçe tahsisini optimize etmeyi kolaylaştırır.
• Kullanıcı tanımlama: Bireysel kullanıcı etkileşimlerini takip ederken gizliliği korumak için anonimleştirilmiş kullanıcı kimlikleri kullanır; kullanıcı gizliliğinden ödün vermeden kullanım analizine yardımcı olur.

Oturum görünümü, kullanıcı etkileşimlerinin ayrıntılı ayrıntılarını takip etmemizi sağlar:

• Eksiksiz konuşma akışı: Tam soru-cevap etkileşimini gösterir; tüm konuşmayı baştan sona takip etmeyi kolaylaştırır.
• Uygulama görünürlüğü: Oturum sırasında kullanılan gerçek Python kodunu görüntüleyerek teknik uygulamaya dair içgörü sağlar.
• Girdi/çıktı korelasyonu: Kullanıcı sorularını ilgili sistem yanıtlarıyla ilişkilendirir; konuşmada nerede sorunlar oluşmuş olabileceğini sorun gidermemize ve belirlememize yardımcı olur.
• Oturum metadata'sı: Zamanlama, kullanıcı bağlamı ve belirli uygulama verileri gibi teknik ayrıntıları içerir; oturumun yürütülmesine dair kapsamlı bir görünüm sunar.

Gözlemlenebilirlik araçları ne zaman kullanılmamalı

• Erken aşama geliştirme: Hâlâ ürün-pazar uyumunu doğruluyorsanız veya ilk ajan iş akışlarınızı oluşturuyorsanız, odak noktası kapsamlı gözlemlenebilirlikten ziyade temel işlevsellik olmalıdır.
  
• API darboğazları: Birincil sorunlarınız API maliyetleri, gecikme veya önbellekleme ise, acil öncelik sistem düzeyinde metrikleri izlemek değil, bu alanları optimize etmek olmalıdır.
  
• Model optimizasyonu: İyileştirmeler esas olarak model seçimi, fine-tuning veya prompt mühendisliği tarafından yönlendiriliyorsa, sapma ve önyargı için gözlemlenebilirlik araçları henüz gerekli olmayabilir.

Gözlemlenebilirlik araçları ne zaman kullanılmalı

• Ölçekte üretim: Birden fazla model, ajan veya zincir arasında çalışırken, gözlemlenebilirlik araçları performansı izlemek ve sistem sağlığını sağlamak için gereklidir.
• Kurumsal veya müşteriye dönük uygulamalar: Güvenilirlik, güvenlik ve uyumluluğun tartışılmaz olduğu uygulamalar için gözlemlenebilirlik araçları ihtiyaç duyulan görünürlüğü ve kontrolü sağlar.
• Sürekli izleme: Temel komut dosyaları veya manuel kontrollerle kolayca yakalanamayan sapma, önyargı, performans ve güvenlik sorunlarını zaman içinde izlemeniz gerektiğinde gözlemlenebilirlik araçları çok önemlidir.
• Yüksek riskli senaryolar: Başarısızlık maliyetinin (örn. halüsinasyonlar, güvensiz çıktılar) önemli olduğu ortamlarda gözlemlenebilirlik, risklerin en aza indirilmesini ve sorunların erken tespit edilmesini sağlar.

Benchmark metodolojisi

Üretim LLM uygulamalarındaki gözlemlenebilirlik platformlarının performans yükünü değerlendirmek için, gerçek dünya ajansal bir iş akışı kullanarak sistematik bir benchmark yaklaşımı geliştirdik.

Test uygulaması

LangChain kullanarak, doğal dil seyahat isteklerini beş aşamada işleyen sıralı bir çok ajanlı seyahat planlama sistemi oluşturduk:

1. Ayrıştırıcı ajan: Kullanıcı girdisinden yapılandırılmış verileri (kalkış yeri, varış yeri, tarihler, süre) çıkarır
2. Uçuş bulucu ajan: Amadeus API'si aracılığıyla mevcut uçuşları getirir
3. Hava durumu raporlayıcı ajan: WeatherAPI kullanarak varış yeri hava durumu tahminlerini alır
4. Aktivite önerici ajan: Hava koşullarına göre aktiviteler önerir
5. Seyahat planlayıcı ajan: Tüm çıktıları kapsamlı bir seyahat planında sentezler

Sistem, tüm LLM çağrıları için OpenRouter üzerinden Claude 4 Haiku kullanır ve gerçek zamanlı veriler için harici API'leri entegre eder.

Benchmark tasarımı

Baseline oluşturma: İlk olarak uygulamanın performansını herhangi bir gözlemlenebilirlik enstrümantasyonu olmadan ölçtük; karşılaştırma için bir baseline oluşturmak amacıyla 100 özdeş sorgu çalıştırdık.

Platform entegrasyonu: Ardından beş önde gelen gözlemlenebilirlik platformunu (LangSmith, Laminar, AgentOps, Langfuse) teker entegre ettik ve tutarlılık için tüm platformlarda aynı izleme noktalarını enstrümante ettik.

Sıralı yürütme: Her platform, bir sonraki platforma geçmeden önce tüm 100 sorguyu ardışık olarak çalıştırarak bağımsız olarak test edildi. Bu yaklaşım, ağ koşulları veya API hız sınırları gibi harici faktörlerden kaynaklanan değişkenliği en aza indirir.

Kontrollü Ortam: Tüm testler, adil karşılaştırma sağlamak için özdeş sorgu setleriyle aynı sunucu altyapısında yürütüldü. LLM kaynaklı gecikme varyasyonlarından kaynaklanan yükü izole etmek için, modeli sıcaklık=0 ile yapılandırdık ve çalıştırmalar arasında yanıt değişkenliğini en aza indirmek için prompt'ları yapılandırdık.

Toplanan metrikler

Her platform için ortalama gecikmeyi ölçtük ve baseline'a kıyasla eklenen ek gecikme olarak yükü hesapladık: ((Platform Latency - Base Latency) / Base Latency) × 100

SSS'ler

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{15 Yapay Zeka Ajanı Gözlemlenebilirlik Araçları: AgentOps & Langfuse}},
  year   = {2026},
  month  = jul,
  howpublished    = {\url{https://aimultiple.com/agentic-monitoring}},
  note   = {AIMultiple. Erişim tarihi: 2 Temmuz 2026}
}

Referans Linkleri

1.

Model Usage & Cost Tracking for LLM applications (open source) - Langfuse

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder