LLM Gözlemlenebilirlik Araçları: Weights & Biases, Langsmith

LLM uygulamaları, tek turlu sohbetlerden araçları kullanan, veritabanlarını sorgulayan ve diğer modellerle koordinasyon kuran çok adımlı ajanlara doğru genişledi ve bu da davranışlarını yorumlamayı zorlaştırdı.

LLM gözlemlenebilirliği, bu karmaşık iş akışlarına sürekli görünürlük sağlayarak kuruluşların kaliteyi izlemesine, hataları tespit etmesine, sorunları gidermesine ve performans ile maliyetleri yönetmesine yardımcı olur.

LLM gözlemlenebilirlik araçları özellik karşılaştırması

Weights & Biases (W&B Weave)

W&B Weave, Weights & Biases'ın LLM gözlemlenebilirlik platformudur ve dil modeli uygulamalarını izlemek, değerlendirmek ve optimize etmek için kullanılır. Weave, @weave.op dekoratörünü kullanarak her LLM çağrısını otomatik olarak izler; girdileri, çıktıları, maliyetleri, gecikme süresini ve değerlendirme metriklerini manuel kurulum gerektirmeden yakalar.

Platform, token kullanımını izler ve maliyetleri otomatik olarak hesaplar, yavaş sorguları yakalamak için yanıt sürelerini izler ve tahminleri beklenen sonuçlarla karşılaştırarak doğruluğu ölçer. Hangi modelin veya prompt'un daha iyi performans gösterdiğini görmek için farklı deneyler yan yana karşılaştırılabilir. Hata takibi, hangi tahminlerin başarısız olduğunu ve nedenini gösterirken, otomatik sürümleme tekrarlanabilirlik için her yapılandırma değişikliğini korur. Bu, farklı yaklaşımları test etmeyi, en iyi neyin işe yaradığını belirlemeyi ve modeller hata yaptığında sorunları ayıklamayı kolaylaştırır.

Puan Özeti Panosu

Şekil 1: Zaman içinde doğruluk, maliyet ve gecikme süresi eğilimlerini izleyen model performans metrikleri panosunu gösteren grafikler.

Performans metrikleri tüm değerlendirme çalışmaları genelinde gösterilir. Toplam maliyet, token kullanımı ve yanıt süreleri, zaman içindeki değişiklikleri gösteren grafiklerle görüntülenir. Doğruluk ve hata oranları gibi özel metrikler ayrı panolarda görünür. Eğilim çizgileri, performansın ne zaman kötüleştiğini veya maliyetlerin beklenmedik şekilde arttığını tespit etmeye yardımcı olur ve pano, yeni testler tamamlandıkça otomatik olarak güncellenir.

İzler Görünümü

Şekil 2: Model sürümlerini ve niyet sınıflandırma sonuçlarını gösteren değerlendirme iz tablosu.

Her test çalışması eksiksiz ayrıntılarla kaydedilir. Her iz, hangi modelin kullanıldığını, hangi prompt'un gönderildiğini ve tüm ayarları gösterir. Başarı veya başarısızlık göstergeleri, testlerin doğru şekilde tamamlanıp tamamlanmadığını belirtir. Prompt sütunu, doğrulama için modele gönderilen metni görüntüler. Bu günlük kaydı, farklı sürümleri yan yana karşılaştırmaya, çalışmalar arasında neyin değiştiğini görmeye ve kaydedilmiş yapılandırmasını kullanarak herhangi bir testi tekrarlamaya olanak tanır.

Model Karşılaştırma Liderlik Tablosu

Şekil 3: Niyet sınıflandırıcı model sürümlerini doğruluk ve gecikme süresi metrikleri açısından karşılaştıran liderlik tablosunu gösteren resim.

Farklı modeller ve ayarlar aynı test verileri üzerinde karşılaştırılabilir. Sütunlar doğruluğu, doğru tahminleri, puanları ve yanıt sürelerini gösterir. Renk kodlaması, daha iyi performans gösterenleri yeşil renkle vurgular. Bu karşılaştırma, daha yavaş hız pahasına daha yüksek doğruluk veya biraz daha düşük doğrulukla daha hızlı yanıtlar gibi ödünleşimleri ortaya çıkarır ve üretim ihtiyaçları için hangi yapılandırmanın en iyi çalıştığını seçmeye yardımcı olur.

Model Sürümleme

Şekil 4: Model ayarlarını ve sürüm ayrıntılarını gösteren niyet sınıflandırıcı yapılandırma paneli.

Her yapılandırma değişikliği otomatik olarak yeni bir sürüm oluşturur ve eksiksiz bir geçmiş tutar. Sürüm ayrıntıları, değişikliklerin ne zaman gerçekleştiğini, kimin yaptığını ve kullanılan depolama alanını gösterir. Değerler sekmesi, model adı, parametreler ve işlev sürümleri dahil olmak üzere tam ayarları görüntüler. Bu sürümleme, herhangi bir testin aynı ayarlarla tekrarlanabilmesini sağlar, performansın zaman içinde nasıl değiştiğini izlemeye olanak tanır ve gerekirse eski sürümlere geri dönmeyi mümkün kılar.

Ayrıntılı Değerlendirme Sonuçları

Şekil 5: Tahmin edilen niyetler ve doğruluk puanlarıyla bireysel test senaryolarını gösteren değerlendirme sonuçları.

Her örnek için bireysel test sonuçları gösterilir. Puanlar bölümü, toplam doğru tahminleri, doğruluk yüzdesini ve özel puanları özetler.

Sonuçlar tablosu, her sorguyu beklenen yanıtı ve modelin tahminiyle birlikte görüntüler; doğru yanıtlar için onay işaretleri ve yanlış yanıtlar için X işaretleri kullanır. Başarısız tahminleri tespit etmek kolaydır ve genellikle benzer kategoriler arasındaki karışıklık gibi kalıplar gösterir.

Herhangi bir satıra tıklamak, prompt, yanıt, token sayıları ve zamanlama dahil olmak üzere tam izi açar; bu da hataları ayıklamayı ve prompt'ları veya model seçimini iyileştirmeyi kolaylaştırır.

Langsmith

LangSmith, LangChain'in LLM uygulamalarını izlemek, hata ayıklamak ve değerlendirmek için gözlemlenebilirlik platformudur. Her LLM çağrısını otomatik olarak izler, prompt'ları ve çıktıları yakalar, maliyetleri ve gecikme süresini takip eder ve veri kümesi tabanlı test yoluyla sistematik değerlendirme sağlar. LangSmith, LangChain ile yerel olarak entegre olur ancak SDK'sı aracılığıyla herhangi bir LLM uygulamasını destekler.

Örnek Bazında Değerlendirme Sonuçları

Şekil 6: Tahminler ve performans metrikleri üzerindeki bireysel test senaryosu değerlendirmesini gösteren resim.

Bireysel tahmin sonuçları, modelin nerede hata yaptığını belirlemenize olanak tanıyacak şekilde beklenen çıktıların yanında görüntülenir. Beklenen ve gerçek tahminleri karşılaştırmak, anlamsal olarak benzer kategoriler arasındaki karışıklığı ortaya çıkarır. Sorgu başına gecikme süresi ve token sayıları, hangi girdi türlerinin işlenmesinin daha maliyetli olduğunu gösterir ve yavaş veya maliyetli sorguların optimize edilmesini sağlar.

İz Hacmi ve Sağlık İzleme

Şekil 7: Zaman içinde başarı ve hata oranlarını izleyen proje izleri görselleştirmesini gösteren grafik.

Uygulama sağlığı, iz hacmi eğilimleri ve zaman içindeki başarı/hata oranları aracılığıyla gösterilir. LLM çağrılarını, maliyet eğilimlerini, araç çağrılarını veya geri bildirim puanlarını analiz etmek için farklı görünümler mevcuttur. Hata ani yükselişleri veya maliyet artışları gibi sorunlar görünür hale gelir ve araştırılması gereken problemleri belirtir.

Model ve Yapılandırma Karşılaştırması

Şekil 8: Birden fazla test çalışması genelinde performans metriklerini gösteren deney karşılaştırma görünümü.

Farklı modeller aynı test veri kümesi üzerinde yan yana karşılaştırılabilir. Doğruluk, gecikme süresi (P50/P99) ve token verimliliği arasındaki ödünleşimler görsel olarak gösterilir. İster doğruluğu en üst düzeye çıkarmak ister maliyet ve yanıt süresini en aza indirmek olsun, gereksinimleri en iyi karşılayan yapılandırmayı belirlemek bu karşılaştırmalar sayesinde kolaydır.

Langfuse

Langfuse, dil modeli uygulamalarını izlemek, hata ayıklamak ve değerlendirmek için tasarlanmış açık kaynaklı bir LLM gözlemlenebilirlik platformudur. Hem kendi sunucusunda barındırılabilen hem de bulut çözümleri olarak sunulan Langfuse, prompt'ların, çıktıların, maliyetlerin ve gecikme süresinin otomatik olarak yakalanmasıyla kapsamlı izleme sağlar.

Platform, esnek SDK'sı aracılığıyla herhangi bir LLM framework'ü destekler ve otomatik kalite değerlendirmesi için LLM-as-a-judge dahil olmak üzere yerleşik değerlendirme yetenekleri sunar. Langfuse, çalışmalar arasında prompt sürümlerini izleyerek farklı formülasyonlar arasında performans metriklerinin karşılaştırılmasını sağlar.

Beğenme/beğenmeme derecelendirmeleri yoluyla kullanıcı geri bildirimi toplama, yüksek ve düşük kaliteli çıktıları belirlemeye yardımcı olurken, özel puanlama uygulamaya özgü metriklerin izlenmesine olanak tanır. Otomatik değerlendirmeler, yapılandırılabilir örnekleme oranlarında binlerce izi işleyebilir ve her çıktının manuel olarak incelenmesine gerek kalmadan ölçekte sürekli kalite izleme sağlar.

Langfuse, ClickHouse tarafından satın alınmıştır ve şu anda açık kaynak kalmaya devam ederken ClickHouse'un bir parçası olarak faaliyet göstermektedir.¹

Ayrıntılı İz Görünümü

Şekil 10: Performans ve maliyet verileriyle API çağrı ayrıntılarını gösteren iz günlükleri.

Bireysel izler, her LLM çağrısı için eksiksiz yürütme ayrıntılarını görüntüler. İz görünümü, tam gecikme süresi ölçümlerini, token tüketimini (prompt ve tamamlama token'ları ayrı ayrı) ve istek başına hesaplanan maliyetleri gösterir.

Model yapılandırması, sıcaklık, max_tokens ve diğer parametreler dahil olmak üzere korunur. Önizleme bölümü, modele gönderilen tam prompt'u ve eksiksiz yanıtla birlikte görüntüleyerek modelin tam olarak ne aldığını ve ne ürettiğini anlamanıza olanak tanır.

Bu ayrıntılı görünürlük, bir hataya neden olan kesin girdi-çıktı çiftini inceleyerek belirli hataların ayıklanmasını sağlar.

İzler Genel Bakış Tablosu

Şekil 11: İstek ayrıntılarını ve model yanıtını gösteren bireysel iz incelemesi.

Tüm izler, çıktıları, gözlem seviyelerini, gecikme süresini, token kullanımını ve toplam maliyetleri gösteren filtrelenebilir bir tabloda toplanır. Her satır, iz hiyerarşisini veya önemini belirten renk kodlu gözlem seviyeleriyle tek bir LLM çağrısını temsil eder. Token sayıları, toplamlarla birlikte hem prompt hem de tamamlama token'larını görüntüler; maliyet hesaplamaları ise kullanılan modele göre otomatik olarak hesaplanır.

Sütun seçici, görüntülenen metriklerin özelleştirilmesine olanak tanır ve filtreler, izleri ortama, zaman aralığına veya diğer kriterlere göre daraltmayı sağlar. Bu tablosal görünüm, sürekli yavaş sorgular veya beklenmedik şekilde pahalı istekler gibi kalıpları belirlemeyi kolaylaştırır.

Braintrust

Braintrust, değerlendirme ve üretim izlemeyi birleştiren bir LLM gözlemlenebilirlik platformudur. Platform, modelleri veri kümelerine karşı test etmeyi, farklı prompt'ları veya yapılandırmaları karşılaştırmayı ve otomatik puanlama yoluyla kalite metriklerini izlemeyi sağlar. Yerleşik ve özel değerlendirme işlevleri doğruluğu, ilgililiği veya alana özgü kriterleri ölçer ve sonuçlar sürümler arasındaki performans farklarını gösteren karşılaştırma tablolarında görüntülenir.

Üretim izleme için Braintrust, uygulamalardan trafik akarken gecikme süresi, maliyet ve özel kalite puanları dahil olmak üzere gerçek zamanlı metrikleri izler. Kalite eşikleri aşıldığında veya güvenlik koruma bariyerleri ihlal edildiğinde uyarılar tetiklenir. Platformun günlük depolama sistemi olan Brainstore, AI etkileşimleri için optimize edilmiş arama ile ölçekte uygulama günlüklerini alır. Pano, hem değerlendirme hem de üretim istekleri için maliyet takibi, token kullanımı ve yanıt meta verilerini yakalayarak deneyler ve üretim çalışmaları genelinde toplu metrikleri görüntüler.

Helicone

Helicone, LLM uygulamalarını, API isteklerini proxy sunucusu üzerinden yönlendirerek izleyen proxy tabanlı bir gözlemlenebilirlik platformudur. Entegrasyon, SDK kurulumu veya kod değişikliği olmadan yalnızca temel URL'nin değiştirilmesini gerektirir. Platform, uygulama davranışını izlemek için istekleri, yanıtları, maliyetleri ve token kullanımını otomatik olarak yakalar.

Pano, tüm API çağrıları genelinde toplam istek hacimlerini, toplu maliyetleri ve token tüketimini görüntüler. İstek günlükleri, belirli tahminleri veya hataları araştırmayı sağlamak için tam girdi prompt'larını ve model çıktılarını gösterir. Maliyet takibi, pahalı işlemleri belirlemek için harcamaları model türüne, kullanıcıya veya özel etiketlere göre ayrıştırır. Yerleşik önbellekleme, yinelenen istekleri tespit eder ve önbelleğe alınmış yanıtları sunarak hem API maliyetlerini hem de yanıt sürelerini azaltır. Hız sınırlama, beklenmedik harcama ani yükselişlerini önlemek için kullanıcı veya endpoint başına kullanım üst sınırları belirler.

Platform, bireysel API çağrılarını izlemeye odaklanır – her istek, ilgili çağrıları gruplama veya dizileri görselleştirme için yerleşik destek olmadan ayrı bir günlük girişi olarak görünür. Bu, Helicone'u bağımsız LLM çağrıları (örneğin tek turlu chatbot'lar), toplu içerik üretimi veya sınıflandırma görevleri gibi uygulamalar için pratik hale getirir, ancak sıralı çağrılar arasındaki ilişkileri anlamanın önemli olduğu çok adımlı iş akışlarını izlemek için daha az uygundur.

Comet Opik

Opik, köklü bir MLOps ve deney takibi sağlayıcısı olan Comet'ten açık kaynaklı bir LLM gözlemlenebilirlik ve değerlendirme platformudur.² Temel yetenekleri şunlardır:

• İzleme: uygulama davranışına uçtan uca görünürlük için LLM çağrılarını, ajan adımlarını ve araç çağrılarını yakalar
• Değerlendirme: halüsinasyon, ilgililik ve moderasyon gibi çıktıları puanlamak için yerleşik metrikler ve LLM-as-a-judge değerlendiricileri sağlar
• Comet ile Entegrasyon: LLM izlerini Comet'in deney takip platformuyla birleştirerek ekiplerin geleneksel ML meta verilerini ve LLM gözlemlenebilirliğini tek bir yerde birleştirmesine olanak tanır³

Arize Phoenix

Arize Phoenix, Arize AI ve açık kaynak topluluğu tarafından geliştirilen, AI uygulama geliştirme, gözlemlenebilirlik ve değerlendirme için açık kaynaklı bir platformdur.⁴ OpenTelemetry üzerine inşa edilmiştir ve OpenInference enstrümantasyonu ile güçlendirilmiştir, böylece izler özel bir format olmadan mevcut araçlarla çalışır. Temel yetenekleri şunlardır:

• İzleme: bir ajanın attığı her adımı yakalar; prompt'lar, getiriler, araç çağrıları ve çıktılar dahil olmak üzere ajan çalışmalarına uçtan uca görünürlük sağlar
• Değerlendirme: çıktıları puanlayan ve kullanıcılara ulaşmadan önce gerilemeleri yakalamaya yardımcı olan bir değerlendirme çerçevesi sağlar; hem insan incelemesi hem de LLM-as-a-judge yaklaşımlarını destekler
• Prompt mühendisliği ve iterasyon: gerçek üretim örneklerine karşı prompt ve koşum takımı değişikliklerini test etmek için bir Prompt IDE içerir
• Veri kümeleri ve deneyler: ekiplerin izlerden veri kümeleri oluşturmasına ve kalitenin gerçekten iyileşip iyileşmediğini ölçmek için aynı girdiler üzerindeki değişiklikleri karşılaştıran deneyler yürütmesine olanak tanır
• Ek açıklamalar: inceleme sırasında neyin işe yaradığını ve neyin bozulduğunu işaretlemek için izleri ve span'ları etiketlemeyi destekler
• Dağıtım seçenekleri: yerel olarak, Docker aracılığıyla, Helm ile Kubernetes üzerinde veya Phoenix Cloud olarak çalıştırılabilir; iki ücretsiz Phoenix Cloud örneği mevcuttur
• Açık kaynak ve kendi sunucusunda barındırılabilir: ELv2 lisanslı, 10,000'den fazla GitHub yıldızı ve ayda 2.5 milyon indirme; kendi sunucusunda barındırıldığında izler kullanıcının kendi ortamında saklanır

LLM gözlemlenebilirliğine genişleyen izleme platformları

Kurumsal uygulama performans izleme (APM) sağlayıcıları, platformlarını LLM iş yüklerini kapsayacak şekilde genişletiyor.

Datadog

Datadog'un LLM Gözlemlenebilirlik ürünü genel kullanıma açıktır ve bir LLM ardışık düzeninin her adımını izler; prompt'lar, model yanıtları, getiri adımları ve araç çağrıları dahil. Bu adımlar genelinde gecikme süresini ve token kullanımını takip eder ve çıktılar üzerinde halüsinasyonlar, prompt enjeksiyonu, toksisite ve hassas veri maruziyeti kontrolleri dahil olmak üzere yerleşik değerlendirmeler çalıştırır.^{5 6}

IBM Instana

IBM Instana, ajanik AI olay araştırma yeteneklerinin yanında, tam yığın uygulama ve altyapı izleme platformunun bir parçası olarak GenAI Gözlemlenebilirliğini listeler.⁷

OpenObserve

OpenObserve, günlükleri, metrikleri, izleri ve gerçek kullanıcı izlemeyi LLM gözlemlenebilirliği ile tek bir araçta birleştiren AI-native bir platform olan Observability 3.0'ı tanıttı. AI SRE ajanı, uyarıları olaylarla ilişkilendirir ve kök nedenleri otomatik olarak belirler; AI Asistanı ise doğal dili SQL ve PromQL sorgularına dönüştürür, günlük kalıplarını özetler ve düz İngilizce açıklamalardan panolar ve uyarılar oluşturur. Anomaly tespiti, eşik ve bileşik seçeneklerin yanında yerleşik bir uyarı türü olarak sunulur.⁸

Honeycomb

Bir gözlemlenebilirlik platformu olan Honeycomb, ürününe AI ve LLM'ye özgü özellikler eklemiştir. Agent Timeline, kullanıcı girdileri, LLM etkileşimleri, araç çağrıları ve ajan çağrıları arasındaki ilişkileri ortaya çıkarır; makine öğrenimi destekli bir anomali tespit aracı olan BubbleUp ise metrikleri, izleri ve günlükleri birleştirerek anomalileri yüzeye çıkarır. Platform ayrıca token kullanım izleme ve sistem davranışını analiz etmek için doğal dil Sorgu Asistanı'nı destekler.⁹

New Relic

New Relic, gözlemlenebilirlik platformuna ajan odaklı yetenekler ekleyen Agentic AI Monitoring'i tanıttı. Ajanlar arasındaki etkileşimlerin hizmet haritasını, istek hacmi, ortalama gecikme süresi ve hata yüzdeleri gibi performans metriklerini ve bireysel ajan ile araç çağrılarına iz seviyesinde detaya inmeyi sağlar.¹⁰

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

LLM gözlemlenebilirliği nedir?

LLM gözlemlenebilirliği, büyük dil modellerinin gerçek dünya kullanımı sırasında nasıl davrandıklarını anlamak için sürekli veri toplama ve yorumlama pratiğidir. LLM'lerin farklı prompt'lara, araçlara ve harici API çağrılarına nasıl yanıt verdiğini gösteren metrikler, izler ve günlükleri toplamaya odaklanır.

Dil modelleri olasılıksal akıl yürütme yoluyla çalıştığından, iç süreçleri doğrudan incelenemez. Bu, LLM izlemeyi, LLM çıktılarının, LLM girdilerinin ve ajanik iş akışlarında ortaya çıkan ara adımların incelenmesine bağımlı hale getirir. Bu izleri inceleyerek, LLM geliştiricileri sistem performansı, model davranışı ve uygulama performansı ile çıktı kalitesini etkileyen kullanım kalıpları hakkında görünürlük kazanır.

LLM gözlemlenebilirliği birkaç nedenden dolayı hayati öneme sahiptir:

• Kalite güvencesi: Büyük dil modelleri, belirsiz prompt'lar, sürüklenen veriler veya beklenmedik kullanıcı davranışı gibi çok çeşitli nedenlerle yanlış veya düşük kaliteli çıktılar üretebilir. Zaman içinde prompt'ları ve yanıtları izlemek, doğruluk, tutarlılık, ilgililik ve olgusallık gibi değerlendirme metriklerinin takip edilmesine yardımcı olur. Bu, ekiplerin LLM çıktılarının yanıt kalitesinde ne zaman düşüş başladığını veya modelin ne zaman halüsinasyonlar üretmeye başladığını tespit etmesini sağlar. LLM kullanımı kurumsal iş akışlarında yaygınlaştıkça, tutarlı doğruluğu sağlamak yaygın bir zorluk haline gelir.
• Sorun giderme: LLM uygulamalarında sorunlar ortaya çıktığında, kök nedenler birçok alandan gelebilir. Örnekler arasında kötü ayarlanmış prompt'lar, hatalı fine-tuning, başarısız harici API çağrıları veya çok adımlı ajan iş akışları içindeki mantık hataları yer alır. Ara adımları gösteren LLM izlerini toplayarak, geliştiriciler kök neden analizini verimli bir şekilde gerçekleştirebilir ve davranışın saptığı tam aşamayı belirleyebilir. Bu, insan müdahalesi ihtiyacını azaltır ve hata takip süresini kısaltır.
• Optimizasyon: Sistem performansını, kaynak kullanımını ve token kullanımını izlemek, kuruluşların darboğazları belirlemesine ve LLM performansını iyileştirmesine yardımcı olur. Ekipler, LLM'lerin değişen yük seviyeleri altında nasıl davrandığını anlamak için gecikme süresini, verimi, bellek kullanımını ve hata oranlarını ölçebilir. Ayrıca maliyetleri kontrol etmek için token'ları takip edebilir ve performans ile maliyet verimliliğini artırmak için kullanım kalıplarını inceleyebilirler. Bu temel metriklerin sürekli izlenmesi, performans darboğazlarının genellikle verimsiz araç çağrılarından veya akıl yürütme sırasındaki gereksiz gidiş-gelişlerden ortaya çıktığı getiri-çoğaltmalı üretim ve ajan iş akışlarında özellikle değerlidir.

Temel metrik kategorileri

LLM gözlemlenebilirlik araçları, ilgili metrikleri genellikle hem yazılım geliştirme ekiplerini hem de operasyonel ekipleri destekleyen üç kategoriye ayırır.

Sistem performans metrikleri

• Gecikme süresi: Bir prompt'un alınması ile yanıtın iletilmesi arasındaki süreyi ölçer.
• Verim: Modelin belirli bir süre içinde kaç isteği işleyebileceğini gösterir.
• Hata oranları: Sistemin ne sıklıkla geçersiz veya başarısız yanıtlar döndürdüğünü ortaya çıkarır.

Kaynak kullanım metrikleri

• CPU ve GPU tüketimi: Sistemin donanımı ne kadar verimli kullandığını anlamaya yardımcı olur.
• Bellek kullanımı: Ölçeklendirme kararlarını ve kapasite planlamasını etkiler.
• Token kullanımı: Maliyet verimliliğini etkiler ve yoğun LLM kullanımı sırasında ekiplerin maliyetleri kontrol etmesine yardımcı olur.
• Verim-gecikme süresi ödünleşimleri: Sistemin hız ve işlem hacmini nasıl dengelediğini gösterir.

Model davranış metrikleri

• Doğruluk, olgusallık ve yanıt kalitesi: Düşük kaliteli çıktıları belirlemek için.
• Kullanıcı etkileşimi ve kullanıcı geri bildirimi: Modelin kullanıcı ihtiyaçlarını ne kadar iyi karşıladığına dair içgörüler sağlar.
• Sadakat ve temellendirme metrikleri: Modelin kaynak materyale ne kadar yakın bağlı kaldığını yansıtır.

Manuel ve otonom gözlemlenebilirlik karşılaştırması

Manuel gözleme güvenmek çeşitli zorluklar sunar. Büyük dil modelleri yüksek hacimli veri üretir ve çok adımlı akıl yürütme zincirleri çok sayıda günlük ve iz üretir. Gerçek zamanlı izleme ihtiyacı operasyonel karmaşıklığı artırır ve deneyimli ekipler bile temel sinyalleri kaçırmadan her LLM çağrısını incelemekte zorlanır. Manuel iş akışları, kullanıcı davranışındaki ve prompt varyasyonlarındaki sürekli değişikliklere ayak uydurmayı da zorlaştırır.

Otonom gözlemlenebilirlik sistemleri, LLM aktivitesini sürekli olarak analiz eden yazılım ajanları kullanarak bu zorlukları ele alır. Bu ajanlar, sürekli insan müdahalesi olmadan anomalileri tespit eder, sorunları teşhis eder ve kök neden analizi gerçekleştirir. Otomatik değerlendirmeler ayrıca prompt enjeksiyonu gibi riskli davranışları belirlemeye yardımcı olur.

Bu tür bir sistem, sürekli izlemeyi destekler ve tüm model genelinde değerlendirme metriklerinin tutarlı bir şekilde takip edilmesini sağlar. Sonuç olarak, kuruluşlar daha hızlı sorun giderme, iyileştirilmiş uygulama performansı ve operasyonel riskler üzerinde daha iyi kontrol elde eder.

LLM gözlemlenebilirlik araçlarında nelere dikkat edilmeli

Kalite ve güvenlik değerlendirmeleri

• Modelin güvenilir verilerden saptığını belirlemek için halüsinasyon tespiti.
• Güvenlik endişelerini ele almak için prompt enjeksiyonu ve jailbreak tespiti.
• Uyumluluğu ve risk azaltmayı destekleyen toksisite puanlaması ve güvenlik değerlendirmeleri.
• Zaman içindeki sürüklenmeyi belirlemek için benzer LLM çıktılarını gruplandıran kümeleme.

Deney özellikleri

• Prompt yönetimi ve yapılandırma değişiklikleri için A/B testi.
• Birden fazla LLM modeli veya parametre arasında hızlı karşılaştırma.
• Dağıtımdan önce doğruluk, token tüketimi ve gecikme süresinin değerlendirilmesi.
• Üretim benzeri veriler kullanarak model değişikliklerinin gerçek dünya senaryolarına karşı test edilmesi.

Altyapı ile korelasyon

• LLM izlerini arka uç uygulama performans izleme verilerine bağlama.
• Yanıt süresi ve yanıt kalitesini gerçek kullanıcı oturumlarına bağlama.
• Sistem performansının LLM performansını ve uygulama kararlılığını nasıl etkilediğini belirleme.

Yerinde LLM dağıtımları için bu korelasyon genellikle GPU seviyesindeki telemetriye kadar uzanır. GenAI ve LLM uygulamaları için OpenTelemetry-native bir gözlemlenebilirlik aracı olan OpenLIT, NVIDIA ve AMD Radeon donanım desteğiyle yerleşik GPU izleme içerir; inference sırasında kullanım, bellek kullanımı, sıcaklık ve güç çekişi gibi metrikleri yakalar.

Bu metrikleri model verimiyle ilişkilendirmek, operatörlerin güç veya termal sınırların inference performansını ne zaman düşürdüğünü belirlemesine olanak tanır ve güvenilir AI iş yüklerini sürdürmek için donanım ayarlarının ince ayarlanmasına yardımcı olur.^{11 12}

LLMOps ve yönetişim

• Güvenli olmayan prompt'ları filtreleyen ve zararlı yanıtları engelleyen koruma bariyerleri.
• PII maruziyetini, halüsinasyonları ve güvenlik ihlallerini izlemek için panolar.
• Uyumluluğu, raporlamayı ve güvenlik olaylarının analizini destekleyen araçlar.

Birkaç ürün, özellikle bu yönetişim ve uyumluluk ihtiyaçları etrafında inşa edilmiştir:

Databricks Unity AI Gateway, ajanlar, LLM endpoint'leri ve Model Context Protocol (MCP) sunucuları için merkezi bir kontrol katmanıdır. Yetenekleri şunlardır:

• Erişim ve politika kontrolleri: endpoint'ler genelinde izinleri yapılandırır ve koruma bariyerlerini uygular
• Kapasite yönetimi: sağlayıcılar arasında kapasiteyi yönetir ve endpoint'leri hız sınırlar
• Yük günlüğü: denetim için istek ve yanıt yüklerini günlüğe kaydeder
• Kullanım ve maliyet izleme: sistem tabloları aracılığıyla kullanımı ve maliyeti izler
• MCP sunucu yönetişimi: Unity Catalog izinleri aracılığıyla MCP sunucularını yönetir^{13 14}

Openlayer, düzenlenmiş endüstrileri hedefleyen bir AI yönetişim ve gözlemlenebilirlik platformudur. Yetenekleri şunlardır:

• Dağıtım öncesi test: halüsinasyonlar, önyargı, toksisite ve sağlamlık genelinde yapılandırılmış testler
• Gerçek zamanlı gözlemlenebilirlik: LLM çağrıları, getiri ardışık düzenleri ve çok adımlı ajanlar için izleme ve takip
• Koruma bariyerleri: prompt enjeksiyonu ve PII sızıntısına karşı koruma
• Uyumluluk desteği: AB AI Yasası ve ISO/IEC 42001 gibi çerçevelerle uyumlu, sürekli kanıt yakalama ve denetime hazır raporlama ile otomatik uyumluluk eşleştirme¹⁵

Gelişmekte olan bir standart olarak OpenTelemetry

OpenTelemetry, yazılım sistemlerinden izleri, metrikleri ve günlükleri toplamak için açık kaynaklı, satıcıdan bağımsız bir çerçevedir. LLM gözlemlenebilirliği için önemlidir çünkü AI uygulamaları modeller, vektör veritabanları, araçlar ve ajan framework'leri gibi birçok hareketli parçayı birleştirir ve paylaşılan bir standart olmadan her bileşen kendi formatında veri yayar; bu da uçtan uca hata ayıklamayı zorlaştırır ve ekipleri ilk olarak enstrümantasyon yaptıkları izleme sağlayıcısına kilitler.

OpenTelemetry'nin GenAI anlamsal kuralları, model çağrıları, token kullanımı, araç çağrıları ve ajan iş akışları için ortak bir şema tanımlar, böylece farklı kütüphanelerden gelen izler tutarlı bir şekilde yakalanabilir ve analiz edilebilir.¹⁶

Arize Phoenix, Langfuse ve Honeycomb dahil olmak üzere çoğu büyük LLM gözlemlenebilirlik platformu, OpenTelemetry verilerini yerel olarak alır; bu da ekiplerin uygulamalarını bir kez enstrümante etmelerine ve izleme kodlarını yeniden yazmadan daha sonra arka uçları değiştirmelerine olanak tanır.¹⁷

Çoklu ajan iş akışı gözlemlenebilirliği

LLM'ler çok adımlı ajan iş akışlarını güçlendirdikçe, gözlemlenebilirlik gereksinimleri tek istek-yanıt çiftlerinin ötesine genişler. Ajanik uygulamalar, özel izleme yaklaşımları gerektiren ek karmaşıklık katmanları getirir.

Ajanlar için temel gözlemlenebilirlik boyutları:

• Planlama ve akıl yürütme izleri: Ajanın görevleri nasıl parçaladığına, eylemleri nasıl seçtiğine ve ara sonuçlara dayanarak yaklaşımını nasıl iyileştirdiğine dair görünürlük
• Araç çağrısı izleme: Gecikme süresi darboğazlarını veya hataları belirlemek için harici API çağrılarının, veritabanı sorgularının ve işlev yürütmelerinin takibi
• Devir izleme: Çoklu ajan sistemleri için, görevlerin ajanlar arasında nasıl aktarıldığının ve bağlamın doğru şekilde korunup korunmadığının izlenmesi
• Durum evrimi: Bir oturum içinde birden fazla tur boyunca bellek ve bağlamın nasıl değiştiğinin anlaşılması

Together, bu boyutlar ajanik izlemenin temelini oluşturur. Langsmith, Langfuse, AgentOps ve Weights & Biases gibi LLM gözlemlenebilirlik araçları, tam yürütme grafiklerini görüntüleyen ajana özgü izleme görünümleri sağlar.

Bu genel amaçlı araçların ötesinde, bazı ürünler özellikle ajan güvenilirliğine odaklanır. Bir örnek, kendisini üretimdeki AI ajanları için özel olarak inşa edilmiş bir gözlemlenebilirlik ve güvenilirlik ürünü olarak konumlandıran Omium'dur.¹⁸

 Ana yetenekleri şunlardır:

• Yapılandırılmış span'lar: Her LLM çağrısı, araç kullanımı ve ajan kararı için span'ları yakalar
• Çoklu ajan izleme: Gerçek zamanlı teşhis için ajanlar arası çağrıları tek bir birleşik izde birleştirir
• Hata sınıflandırması: Hataları halüsinasyon, sonsuz döngü, araç hatası ve bağlam düşmesi gibi kategorilere otomatik olarak etiketler
• Kontrol noktası kurtarma: Her araç çağrısında ve LLM yanıtında ajan durumunun anlık görüntüsünü alır, iş akışlarının sıfırdan yeniden başlamak yerine herhangi bir kontrol noktasından devam etmesine olanak tanır
• Framework desteği: TypeScript, Python ve Go için SDK'lar; LangChain, LangGraph, OpenAI ve Anthropic için otomatik-detection ile

SSS'ler

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{LLM Gözlemlenebilirlik Araçları: Weights & Biases, Langsmith}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/llm-observability}},
  note   = {AIMultiple. Erişim tarihi: 9 Haziran 2026}
}

Referans Linkleri

1.

ClickHouse raises $400M Series D led by Dragoneer to accelerate expansion across analytics and AI infrastructure | ClickHouse

ClickHouse

2.

Open-Source AI Observability Platform | Opik by Comet

3.

GitHub - comet-ml/opik: Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards. · GitHub

4.

What is Arize Phoenix? - Phoenix

Mintlify

5.

Monitor, troubleshoot, improve, and secure your LLM applications with Datadog Agent Observability | Datadog

Datadog

6.

Agent Observability | LLM Observability | Datadog

7.

IBM Instana Observability

8.

OpenObserve — Open Source Observability Platform

OpenObserve

9.

Observability for AI & LLMs | Honeycomb

Honeycomb

10.

New Relic Unveils Platform Innovations that Align Technical Performance to Business Outcomes, Making Observability a Value Driver | New Relic

New Relic

11.

Open Source Platform for AI Engineering | OpenLIT | OpenTelemetry-native GenAI and LLM Application Observability

OpenLIT

12.

GPU Performance Monitoring - OpenLIT

Mintlify

13.

AI governance with Unity AI Gateway | Databricks on Google Cloud

14.

Model Context Protocol (MCP) on Databricks | Databricks on AWS

15.

AI governance and observability platform | Openlayer

16.

Moved: Generative AI semantic conventions | OpenTelemetry

17.

LLM observability with ClickStack, OpenTelemetry, and MCP | ClickHouse

ClickHouse

18.

Omium — AI Agent Observability & Reliability for Production

Omium

Sıla Ermut

Sektör Analisti

Takip Et

Sıla Ermut, AIMultiple'ta e-posta pazarlama ve satış videolarına odaklanan bir sektör analistidir. Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalıştı. Sıla, Sosyal Psikoloji alanında Yüksek Lisans ve Uluslararası İlişkiler alanında Lisans derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'de veri analistidir. Çeşitli sektörlerde veri analizi konusunda önceden deneyime sahip olup, karmaşık dataset'leri eyleme dönüştürülebilir içgörülere dönüştürme üzerine çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder