Yapay Zeka Ajanlarının Performansı: in '26'te Başarı Oranları ve Yatırım Getirisi
Yapay zeka ajanı pazarı 2024 yılında 5,4 milyar dolara ulaştı ve 2030 yılına kadar yıllık %45,8 oranında büyümesi öngörülüyor. 1 Bu nedenle, yapay zeka ajanlarının dağıtımında uzmanlaşan şirketler, önemli ölçüde daha yüksek yatırım getirisi elde edeceklerdir.
Son araştırmalar, yapay zekâ performansının öngörülebilir üstel düşüş modellerini izlediğini ortaya koyuyor. 2 İşletmelerin kapasitelerini öngörmelerini ve maliyetli başarısızlıklar ile başarılı, yatırım getirisi sağlayan uygulamalar arasında ayrım yapmalarını sağlar.
İşletmeye özgü görevlerdeki başarı oranını test etmek amacıyla, karmaşıklığı artan ve insan için daha fazla zaman alan beş görevden oluşan bir kıyaslama ölçütü oluşturduk.
Yapay zeka ajanı performans karşılaştırma sonuçları
Sonuçlarımız, her yapay zeka ajanının, göreve insan müdahalesiyle geçen 35 dakikadan sonra başarı oranında bir düşüş yaşadığını gösterdi. Bu görevlerle test ettiğimiz modeller arasında, ajan olarak kullandığımız en başarılı büyük dil modeli , en düşük başarı düşüş oranıyla Grok-3-beta oldu.
Aşağıda, test ettiğimiz her modelin ortalama sonuçlarını ve davranış eğrisini görebilirsiniz.
Aşağıdaki grafikte, her modelin farklı görevlerdeki başarı oranını görebilirsiniz. Çalışmayı daha iyi anlamak için lütfen metodolojimizi inceleyin.
Gözlemlerimiz büyük ölçüde Toby Ord'un çalışmasını desteklemektedir. 3 Yapay zekâ ajanlarının performansı, bir insanın aynı görevi yerine getirmek için harcayacağı süre (insan süresi olarak adlandırılır) arttıkça kötüleşir.
Çalışmamızda, LLM tabanlı yapay zeka ajanlarının çoğunun, yaklaşık 35 dakika insan zamanı gerektiren görevlerde en iyi performansı gösterdiğini ve performansın bundan sonra sürekli olarak düştüğünü gözlemledik. Bu sonuca dayanarak, LLM tabanlı yapay zeka ajanlarını kullanan işletmelerin yaklaşık 30-40 dakika insan çabası gerektiren görevlere odaklanmalarını öneriyoruz.
Toby Ord'un çalışmasında, yapay zekâ ajanları daha kısa görevlerde daha iyi performans gösteriyor. Ancak, bizim odak noktamız iş uygulamaları ve ilk görevimiz esas olarak karmaşık faturaları okumayı ve belgelemeyi gerektiren optik karakter tanıma (OCR) işini içeriyor; bu da ajanların özellikle etkili olmadığı bir alan. İkinci görevimizde, ajanlar müşteri etkileşimlerini analiz etmede mükemmel performans gösteriyor; ancak, sonraki adım önerileri çok belirsiz ve genel olup, vakalara özgü bir özellikten yoksun; oysa başarılı bir yapay zekâ ajanından beklediğimiz şey budur.
Çalışmamız, insan tarafından yaklaşık 30 dakika süren ayrı görevlerden oluşan iş akışları oluşturarak yapay zekâ ajanınızın performansını optimize etmenin başarı oranınızı artırabileceğini göstermektedir. Bu da, yapay zekâ ajanının çıktısında çok az veya hiç düzeltme yapmanıza gerek kalmayacağı için verimliliğinizi artıracaktır.
Yapay zeka ajanı performansının ölçülmesi ve etkili faktörler
Son yıllarda, yapay zeka araştırma topluluğu yapay zeka ajanları için çeşitli kıyaslama ölçütleri geliştirmiştir; ancak bu kıyaslama ölçütleri, özellikle tek turlu etkileşimler yerine çoklu dinamik etkileşimlerdeki performansı değerlendirirken önemli yönlerden yoksundur.
2023 yılında araştırmacılar, gelişmiş yapay zeka sistemlerinin yeteneklerini değerlendirmek için yeni kıyaslama ölçütleri tanıttılar. Bir yıl sonra performans önemli ölçüde iyileşti: MMMU, GPQA ve SWE-bench'te puanlar sırasıyla %18,8, %48,9 ve %67,3 arttı. 4
Görev karmaşıklığı ve performans arasındaki ilişkiyi anlamak
Yarı ömür çalışması, bazı yapay zeka uygulamalarının neden başarısız olurken diğerlerinin olağanüstü başarılar elde ettiğini açıklıyor. Bir görevin zorluğu doğrusal değil, üsteldir.
Görevler, her biri girişimi sonlandırma potansiyeline sahip bir dizi eylemin tamamlanmasını içerir; daha uzun süreli görevler daha fazla aşama gerektirir. Bu, görev süresinin iki katına çıkarılmasının, zorluğu iki katına çıkarmanın yanı sıra başarısızlık oranını da dört katına çıkardığını gösterir.
İşletme üzerindeki etki: Yatırım getirisi ve performans ölçütleri
Yapay zekâ ajanlarının yatırım getirisini ölçmek için kapsamlı çerçeveler uygulayan işletmeler, önemli iş metriklerinde rakiplerinden düzenli olarak daha iyi performans gösterirler.
Önde gelen B2B SaaS sağlayıcılarının araştırmasına göre, güçlü yapay zeka yatırım getirisi (ROI) takibi yapan şirketler, gelir artışı ve diğer önemli göstergelerde geleneksel ölçüm yöntemlerine güvenen şirketleri geride bırakıyor. 5
Başlıca yatırım getirisi faktörleri:
- Zaman tasarrufu ve maliyet düşüşü: Yapay zekâ ajanlarının uygulanması genellikle kuruluşlar için önemli verimlilik artışlarına ve işletme maliyetlerinde düşüşe yol açar; bazıları her yıl milyonlarca dolar tasarruf sağlar.
- Kalite ve doğrulukta iyileştirmeler: SLA uyumluluğunda önemli artışlar ve Ortalama Çözüm Süresinde (MTTR) azalma.
- Gelir yaratma : Yapay zeka destekli ek satış, genişleme gelirlerini artırır ve ilk yıl içinde dönüşüm oranlarını yükseltir.
Geleneksel yatırım getirisi (ROI) ötesinde:
- İnovasyon hızı : Yeni yeteneklerin ne kadar hızlı bir şekilde kullanıma sunulduğu.
- Pazara duyarlılık : Yeni ürünlerin piyasaya sürülme süresini kısaltmak.
- Rekabet avantajı : Yapay zeka girişimlerinin tetiklediği pazar payındaki değişiklikler.
- Risk azaltma : Operasyonel risklerin ve uyumluluk sorunlarının azalması.
Yapay zeka ajanı performans kıyaslama metodolojisi
Karşılaştırma testimiz, zorluk ve karmaşıklığı artan 5 görevi içermektedir. Karşılaştırma testinin amacı, yapay zeka ajanları tarafından belge işlemeyi gerçekleştirmektir. Yapay zeka ajanları olarak 18 farklı büyük dil modeli kullandık.
Önyargıyı önlemek için tüm ajan çalıştırmaları ve değerlendirmeleri tüm modeller için aynı kodla gerçekleştirilir.
Yapay zekâ performansını değerlendirmek için kullanılan kod, LLM'ye bir komut istemi olarak sağlanan, yapay zekâdan ne istediğimizi açıklayan ayrıntılı talimatlar içeriyordu.
Ajanlardan gelen sonuçlar, gerekli kelime ve ifadelerden oluşan bir değerlendirme ölçütü kullanılarak değerlendirilir ve daha sonra cevaplar, mantıklı olup olmadıklarını belirlemek için bir LLM (Lights Learning Method) ile incelenir; çünkü cevap doğru kelimeleri içerse bile uygun bir yapıya sahip değilse, iş uygulaması için daha az değerlidir.
Her görevin ataması ve veri seti aşağıda listelenmiştir.
Görev 1: Tek belge çıkarma (5 insan dakikası)
- Görev: Faturalardan bilgi çıkarmak.
- Veri seti: Sektör dokümanları sitesinden elde edilen iki faturayı kullandık. 6
Görev 2: Özet oluşturma ve müşteri etkileşim analizi (15 insan dakikası)
- Ödev: Dosyalarda belirtilen sorunu özetleyin, temel nedenini belirleyin ve sonraki adımları önerin.
- Veri kümesi: Müşteri şikayeti, şirket içi görüşmeler ve çözüm girişimlerini içeren sentetik e-posta yazışması.
Görev 3: Belgeler arası analiz ve sözleşme uyumluluğu kontrolü (35 insan dakikası)
- Görev: Uyumluluğu değerlendirin, cezaları hesaplayın ve alınacak önlemleri önerin.
- Veri kümesi: Devletin açık kaynaklarından elde edilen gerçek bir şirkete ait hizmet sözleşmesi; üç aylık performans raporları ve cezai şart maddelerini içeren bir belge.
Görev 4: Çok kaynaklı derleme ve pazarlama kampanyası yatırım getirisi değerlendirmesi (90 insan dakikası)
- Ödev: Dosyalarda belirtilen sorunu özetleyin, temel nedenini belirleyin ve sonraki adımları önerin.
- Veri kümesi: Kaggle'dan rastgele bir pazarlama kampanyası analizi seçildi. 7 ve şu dosyaları oluşturdu: kampanya özeti, bütçe tahsisi, analiz raporu, satış verileri ve müşteri geri bildirimi.
Görev 5: Karmaşık çok alanlı analiz ve kurumsal yazılım arıza analizi (4+ insan saati)
- Görev: Temel neden analizi, sorumluluk değerlendirmesi ve kurtarma stratejisi uygulamak.
- Veri kümesi: Tüm bu dosyalar, otopsi raporlarının derlenmesiyle oluşturulmuştur. 8 : Gereksinimler belgesi, sistem tasarımı, test sonuçları, olay raporları, kullanıcı geri bildirimleri, tedarikçi yazışmaları ve kurtarma planı.
Başarılı yapay zeka ajanlarının uygulanmasına yönelik en iyi uygulamalar
Yapay zekâ ajanlarının başarılı bir şekilde uygulanması, iddialı hedefleri gerçekçi beklentilerle dengeleyen stratejik bir yaklaşım gerektirir. Modern ajanlar, doğruluklarının yanı sıra, karmaşık gerçek dünya senaryolarında ve dinamik konuşmalarda anlamlı katkılar sağlama yetenekleri açısından da değerlendirilmelidir.
1. Değerlendirme ve başlangıç durumunun belirlenmesi
Aracınızın yeteneklerini değerlendirmek, dağıtım için çok önemlidir. Bu, görevleri karmaşıklık ve değere göre eşleştirerek temel kullanım durumlarını belirlemeyi içerir. Değerlendirme, başarı oranı, yanıt süresi ve davranış tutarlılığına odaklanır. Performansın %50'ye düştüğü yarı ömrü bulmak için pilot testler yapın. Bu veriler, beklentileri belirlemeye ve dağıtım kararlarını yönlendirmeye yardımcı olur.
2. Stratejik konuşlandırma ve optimizasyon
Akıllı görev ayrıştırması, daha kısa görevlerin katlanarak artan faydalarını en üst düzeye çıkarmak için stratejik konuşlandırmayı mümkün kılar. Karmaşık prosedürler yönetilebilir parçalara ayrıldığında, ajanlar optimum performans bölgelerinde çalışırken yüksek doğruluk seviyelerini koruyabilirler. Başlıca konuşlandırma stratejileri şunlardır:
- Yüksek olasılıklı görevler için insan gözetimi ile yapay zekayı birleştiren hibrit iş akışları .
- Performans sorunlarını belirlemek ve stratejileri gerçek zamanlı olarak uyarlamak için izleme özelliklerine sahip sürekli izleme sistemleri .
- Çeşitli görev karmaşıklıkları için uzmanlaşmış ajanlar içeren ve akıllı geçiş mekanizmalarına sahip çoklu ajan mimarileri .
3. Uygulama zorluklarının üstesinden gelme
En yaygın sorunlar yetersiz değişim yönetimi ve ölçümünden kaynaklanmaktadır. Duygu analizini ve genel etkinliği değerlendirmek için kuruluşların, farklı zaman dilimlerinde performansı izleyen ve kullanıcı geri bildirimlerini toplayan kapsamlı bir izleme sistemiyle başlamaları gerekir. Başlıca başarı faktörleri şunlardır:
- Alt görev hatalarını giderebilen ve daha uzun süreçler için kontrol noktası sistemleri uygulayabilen hata kurtarma mekanizmaları.
- Performans optimizasyonunda, API maliyetleri, token kullanımı ve çıkarım hızları gibi maliyet-etkinlik ölçütlerine öncelik verilmelidir.
- DSPy gibi çerçeveler de dahil olmak üzere gelişmiş optimizasyon tekniklerinin kullanılması, maliyetleri minimumda tutarken az sayıda örnek içeren işlemleri optimize etmeye yardımcı olur.
4. Modern değerlendirme stratejilerinin uygulanması
Geleneksel ölçütlerin ötesine geçmek, gerçek dünya koşullarını simüle eden değerlendirme yöntemlerini gerektirir. Modern stratejiler, üretken yapay zeka becerilerini, dinamik diyalogları ve ajanın problem çözme mantığını dikkate almalıdır.
Büyük dil modellerini hakem olarak kullanan otomatik değerlendirme sistemleri, sürekli iyileştirmeyi teşvik ederek doğruluk ve verimlilik arasında bir denge kurar. Bu bütüncül yaklaşım, yapay zeka ajanlarının doğru yanıtlar vermesini, gelişen ihtiyaçlara uyum sağlamasını ve kullanıcılara gerçek değer sunmasını sağlar.
SSS'ler
Sağlam bir değerlendirme için gerekli olan üç temel ölçüt, görev tamamlama doğruluğu, yanıt süresi verimliliği ve farklı görevler arasında ajan davranışının tutarlılığıdır. Ajanları değerlendirirken, optimize edilmiş API çağrıları ve kaynak kullanımı yoluyla maliyet tasarrufu sağlarken doğru yanıtlar verebilme yeteneklerine odaklanın. Kapsamlı bir bakış açısı, yapay zeka sistemlerinin karmaşık görevleri yerine getirebildiğinden ve üretim ortamlarında gerçek değer sağlayabildiğinden emin olmak için çeşitli test senaryolarında performansı değerlendirmeyi gerektirir.
Ajan değerlendirmesi, ajanın gerçek dünya görevlerini kabul edilebilir zaman dilimleri içinde tamamlama yeteneğini izleyen değerlendirme yöntemleri kullanılarak temel ölçümlerin belirlenmesiyle başlamalıdır. Bu sürekli süreç, hata oranını, karar verme kalitesini ve genel verimliliği izlerken farklı senaryolarda değerlendirme çalışmaları yürütmeyi içerir. Önemli olan, gelecekteki optimizasyon stratejilerini bilgilendirecek temel verileri ve içgörüleri toplamak için ilk günden itibaren kapsamlı bir izleme uygulamaktır.
Sık karşılaşılan zorluklar arasında, karmaşık senaryolarda ajanın yeteneklerinin abartılması ve gerçek dünya uygulamalarındaki sorunları ele almayan yetersiz ölçüm çerçeveleri yer almaktadır. Kuruluşlar genellikle değerlendirme için doğru aracı seçmekte ve yapay zeka modellerinin dinamik durumlara uyum sağlarken doğruluğunu koruyabilmesini sağlamakta zorlanırlar. Başarı, ajan operasyonlarının farklı yönlerinde gerçek performansı yansıtan değerlendirme sonuçları oluşturmak için insan gözetimiyle birlikte bir yargıç yaklaşımı olarak LLM'nin uygulanmasını gerektirir.
Sorumlu yapay zeka uygulaması, duygu analizi ve birden fazla değerlendirme çalışması boyunca performans takibi yoluyla ajan davranışının sürekli izlenmesini gerektirir. Odak noktası, kritik karar alma süreçlerinde insan gözetimini korurken, otomatik araçlar kullanarak kendilerini değerlendirebilen sistemler oluşturmak olmalıdır. Bu yaklaşım, ajanların açık uçlu çıktıları etkili bir şekilde ele alabilmelerini sağlarken, ölçülebilir maliyet tasarrufları ve verimlilik kazanımları yoluyla gerçek değer gösteren ve iş hedeflerini destekleyen tutarlı sonuçlar sunmalarını sağlar.
Daha fazla okuma
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.