RELC-Bench: Uzun Bağlamda Erişim Benchmark'ı

RELC-Bench (RELC-Bench: Uzun Bağlamda Erişim Benchmark'ı), bir model'in bağlamındaki bir veya daha fazla belgeden belirli bir sayısal değeri bulma ve çıkarma becerisini ölçmeyi amaçlar. Modelin, girdide az önce gördüğü belirli bir olguyu hatırlayıp getirip getiremediğini test eder.

Sonuçlar

claude-fable-5 %97,0 puan alır ve 100 doğrudan hatırlama maddesinde saman yığını konumlarına göre değişmez (başlangıçta %97,0, ortada %97,1, sonda %97,0).

Yöntem

Question format

Tek bir sayısal metriği soran doğal dilde bir soru. Örnek:

Soru: Q1 2026 Adobe (ADBE) için gelir neydi?
Beklenen: $6,40 milyar

Veri kaynağı

Script, her Motley Fool gelir transkriptinin Takeaways bölümünü ayrıştırır ve tüm sayısal metrikleri çıkarır. Script, her metrik için sayının post-Takeaways transkript gövdesinde (gerçek konferans görüşmesi metni) birebir geçtiğini doğrular; böylece model özet maddeyi değil, gerçek konuşmayı okumak zorunda kalır. Özet maddeler metinlerden çıkarılır.

Puanlama kuralı

• Her madde bir hedef değer listesi içerir; ilki birincil hedeftir (sorunun ana cevabı).
• Puan = 1.0 birincil hedef tahmindeki herhangi bir sayıyla eşleşirse.
• Aksi takdirde puan = 0.0.
• Reddetmeler (“Bilmiyorum”) 0.0 puan alır.
• claude-fable-5, Claude Code aracılığıyla test edilir: saman yığını dosya olarak sağlanır ve model bağlam penceresinden okumak yerine arama araçlarıyla ondan getirir. Puanları, modeli Claude Code koşum takımıyla birlikte ölçer ve bu kurulumda konum değişmezliği beklenir çünkü hedef derinliği dosya araması için geçerli değildir.

İyi performans nasıl görünür?

Faz 1 ≥ %85 (model tek bir belgedeki metrikleri güvenilir şekilde bulur).
Faz 2 ≥ %90 (model saman yığınındaki hedefe dikkati dağılmadan yönelir).
Konumdan bağımsız puanlar gerçek uzun bağlam yeteneğini gösterir; derinliğe göre azalan puanlar “ortada kaybolma” durumunu gösterir.

Madde sayısı

100 doğrudan hatırlama maddesi 14 transkripte yayılmıştır.

Yapay zeka belleği nedir?

Yapay zeka belleği, bir yapay zeka sisteminin karar vermeyi, algıyı ve genel performansı iyileştirmek için geçmiş deneyimleri saklama ve hatırlama yeteneğidir.¹ Öznel ve seçici olan insan belleğinden farklı olarak yapay zeka belleği, sinir ağları veya harici veritabanları içinde yapılandırılmış bir bilgi deposu olan teknik bir mimaridir.

Kavram, inference sırasında çalışma belleği görevi gören sonlu, oturuma bağlı token tamponu olan model'in bağlam penceresinden farklıdır.² Bağlam penceresi oturumlar arasında sıfırlanırken ve token'lar kesildiğinde bilgiler kaybolurken, yapay zeka belleği harici depolama aracılığıyla oturumlar boyunca kalıcı olur.³ Ayrıca, salt okunur olan ve ilgililiği kullanıcıdan ziyade içeriğin bir özelliği olarak ele alan getiri artırımlı üretimden (RAG) de farklıdır; yapay zeka belleği, konuşmalardan olguları çıkaran ve bilgiler değiştiğinde depolamayı güncelleyen bir yazma yolu gerektirir.⁴

Alan iki temel katmanı tanır. Kısa süreli bellek veya çalışma belleği, bir oturum içinde devam eden konuşmayı izlerken uzun süreli bellek, oturumlar boyunca kullanıcıya özgü veya uygulama düzeyindeki verileri saklar.⁵ Bazı framework'ler üçüncü bir kategori olan epizodik belleği ekler; bu, ajanların, insanların bireysel olayları hatırlama biçimine benzer şekilde belirli geçmiş deneyimleri hatırlamasını sağlar.

Tüketici ürünlerinde “sohbet belleği”, otomatik olarak yüzeye çıkarılan kullanıcı tercihleri ve konuşma özetine atıfta bulunur; bu, geliştirici framework'lerinde kullanılan “ajan belleği”nden mimari olarak daha dardır; ikincisi görev durumunu, araç çağrısı geçmişini ve öğrenilmiş prosedürleri kapsar.⁶

Yapay zeka belleği nasıl çalışır?

Yapay zeka belleği sistemleri, statik getiriden farklı olan ortak bir yazma/getirme/birleştirme pipeline'ında birleşir. Yeni bilgiler, mesaj çiftlerini işleyerek aday olguları belirleyen bir çıkarma aşamasından girer, bir LLM'in her olguyu eklemeye, güncellemeye, silmeye veya yok saymaya karar verdiği bir güncelleme aşamasından geçer ve sorgu zamanında semantik arama yapan bir getirme aşamasından çıkar.⁷

Yapay zeka belleğinin gerçek dünyadaki uygulamaları

Kişisel yapay zeka asistanları

OpenAI'nin ChatGPT bellek özelliği; kullanıcı konuşmalarından, dosyalardan ve bağlı uygulamalardan kalıcı profiller oluşturur. 2026'daki “Dreaming” güncellemesi, birçok konuşma arasında arka planda sentez yapılmasını sağlayarak belleklerin zaman içinde kendini güncellemesine olanak tanıdı; örneğin, “kullanıcı Temmuz'da Singapur'a gidiyor” diyen kayıtlı bir bellek, yolculuk geçtikten sonra otomatik olarak “kullanıcı Temmuz 2026'da Singapur'a gitti” olarak yeniden yazılır.⁸ Kullanıcılar belleği Ayarlar > Kişiselleştirme > Bellek üzerinden yönetir; ancak OpenAI, görünür özetin depolanan her şeyi kapsamadığını belirtir.

Anthropic'in Claude belleği, Eylül 11 2025'te Team planı kullanıcıları için kullanıma sunuldu; Eylül 18 2025'te Enterprise'a genişletildi ve ücretsiz katman da dahil 2 Mart 2026'da tüm kullanıcılara ulaştı.⁹ Temmuz 10 2026'da Anthropic, özelliği Claude'un konuşmalar sırasında okuduğu ve güncellediği kategorize edilmiş girdilere dönüştürerek eski tek günlük özetin yerini aldı.

Google'ın Gemini'si, Kişisel bağlam etkinleştirildiğinde kullanıcıların hatırlamasını istediği bilgileri ve geçmiş konuşmalardan çıkarılan ayrıntıları saklar.¹⁰ Ayrı “Personal Intelligence” yükseltmesi, katılım sağlandığında, bu içerik üzerinde model eğitmeden Gmail ve Photos'a bağlanır.¹¹

Kurumsal ajanlar ve müşteri desteği

Decagon'un Rippling ile dağıtımı, yapay zeka ajanını dahili API'lere bağlayarak ajanın genel yanıtlar vermek yerine bireysel çalışan hesap verilerini çekmesini sağladı; sohbet yönlendirme oranını %38'den %50'nin üzerine çıkararak %32 göreli iyileşme sağladı.¹² Decagon'un Chime ile çalışması; kart değiştirme ve depozito durumu kontrolleri gibi yüksek sürtünmeli görevleri otomatikleştirdi, üye memnuniyeti puanlarını ikiye katlarken müşteri destek maliyetlerini %60 azalttı.¹³

Robotik, sağlık hizmetleri ve bedenlenmiş yapay zeka

Diligent Robotics'in hastane lojistik robotu Moxi, 2026 itibarıyla 25'ten fazla ABD tesisinde faaliyet göstermekte ve 1.25 milyondan fazla otonom teslimat tamamlamıştır; her hastane ortamını araç üstü sensörlerle haritalandırmakta ve yaka kartı erişimli kapılar dahil dinamik engellerde gezinmektedir.¹⁴ Moxi 2.0, orijinalin 10 katı işlem kapasitesine sahip NVIDIA IGX Thor hesaplama üzerinde çalışır ve üç yıllık gerçek dünya hastane teslimat verileriyle eğitilmiştir.

NVIDIA'nın ReMEmbR framework'ü, mobil robotlara navigasyon görevleri için gördüklerinin sürekli kayıtlarını oluşturma ve bunlar üzerinde akıl yürütme amacıyla uzun ufuklu uzamsal-zamansal bellek sağlar.¹⁵ Haziran 29 2026'da yayınlanan ASPIRE, doğrulanmış her hata ayıklama düzeltmesini adlandırılmış, yeniden kullanılabilir bir kod deseni olarak saklar ve yalnızca yinelemeli hata ayıklama yoluyla Robosuite'in iki elle nesne devretme benchmark'ında başarı oranını %20'den %92'e çıkarır.¹⁶

Sağlık hizmetlerinde, Abridge'in ortam yapay zeka dokümantasyon platformu, klinik dokümantasyon yükünü azaltmak için Northwell Health tarafından 28 hastanede devreye alınmıştır.¹⁷ Riverside Health, genişletilmiş dağıtım için Abridge'i seçmeden önce ortam dokümantasyon araçlarını iki ay boyunca pilot olarak kullandı.¹⁸

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Yapay zeka belleğinin faydaları

Bellek sistemleri, tam bağlam yeniden oynatmaya kıyasla uzun ufuklu benchmark'larda token maliyetini ve gecikmeyi azaltır. Ortalama 300 tur süren ve 35 oturuma kadar çıkan konuşmaları test eden LoCoMo benchmark'ında Mem0, tam konuşma geçmişini yeniden oynatmaya kıyasla token maliyetinde %90'dan fazla tasarruf sağladığını, p95 gecikmesini %91 azalttığını (1.44s vs. 17.12s) ve OpenAI'nin bellek taban çizgisine göre LLM-as-a-Judge puanında %26 göreli iyileşme elde ettiğini raporlar.⁷

Zep, Deep Memory Retrieval benchmark'ında %94,8 doğruluk bildiriyor; MemGPT için ise %93,4'tür; GPT-4o ile eşleştirilmiş LongMemEval'de %18,5'e varan toplam doğruluk kazanımları ve tam bağlam taban çizgilerine kıyasla yanıt gecikmesinde %90 azalma sağlıyor; medyan yanıt süresi 28,9 saniyeden 2,58 saniyeye düşerken bağlam token'ları yaklaşık 115.000'den 1.600'e düştü.¹⁹²⁰

10 milyon token'a kadar test eden BEAM benchmark'ı, LIGHT bellek framework'ünün performansı en güçlü mevcut taban çizgilerine kıyasla ortalama 3.5 ila 12.69 yüzde puanı artırdığını ve 1 milyon token'lık bağlam penceresine sahip LLM'lerin bile konuşma uzunluğu arttıkça önemli ölçüde bozulduğunu buldu.²¹

OpenAI'nin Dreaming mimarisi ChatGPT için zamana duyarlı bellek doğruluğunu %9,4'ten %75,1'e çıkardı; olgusal hatırlama oranı %82,8 ve tercih uyumu %71,3 olurken hesaplama maliyetini yaklaşık 5x azalttı.⁸

Yapay zeka belleğinin zorlukları ve riskleri

Bellek zehirlenmesi ve güvenlik

Bellek zehirlenmesi, OWASP Top 10 for Agentic Applications içinde ASI06, “Memory and Context Poisoning” olarak sınıflandırılır; kalıcı ajan belleğinin bozulması sonucu oturumlar arasında yanlış hizalanma ve kötü niyetli davranışlara yol açması olarak tanımlanır.²²²³ Şubat 2025'te araştırmacı Johann Rehberger, Google Gemini'ye karşı sistemin yanlış bilgileri uzun süreli belleklere, yanlış yaş bilgisi dahil, kaydetmesine neden olan bir “gecikmeli araç çağrısı” saldırısı gösterdi.²⁴

NeurIPS 2025'te kabul edilen MINJA (Memory INJection Attack), yalnızca sıradan sorgu-yanıt etkileşimine sahip saldırganların uzun süreli belleği zehirleyebildiğini; test edilen ajanlar arasında ortalama %98,2 enjeksiyon başarı oranına ve %76,8 saldırı başarı oranına ulaştığını gösteriyor.²⁵ NeurIPS 2024'te yayınlanan AgentPoison, bellek kayıtlarının %0,1'inden daha azını zehirlerken %80'in üzerinde saldırı başarı oranına ulaşır ve zararsız görev performansını %1'den daha az düşürür.²⁶

Gizlilik ve veri yönetişimi

Kara kutu bir Memory EXTRaction Attack olan MEXTRA, depolanan özel verileri çıkarmak için sorgular oluşturur; EHRAgent'a karşı %83, web alışverişi ajanlarına karşı %87 tam çıkarma oranına 30 saldırı prompt'u kullanarak ulaşır.²⁷ Erişim derinliğini veya toplam bellek boyutunu artırmak sızıntı oranlarını da artırır.²⁷

İtalya'nın veri koruma otoritesi, yeterli yasal dayanak olmadan ChatGPT'yi eğitmek için kişisel verileri işlediği gerekçesiyle Aralık 2024'te OpenAI'ye €15 milyon para cezası kesti; ancak Roma Mahkemesi, baş AB denetim otoritesi olarak İrlanda Veri Koruma Komisyonu'nun yetkili olduğuna hükmederek Mart 2026'da cezayı iptal etti.²⁸²⁹

OpenAI'nin belgeleri, belleği kapatmanın daha önce saklanan anıları otomatik olarak silmediğini; tam sıfırlamanın hem belleği devre dışı bırakmayı hem de mevcut girdileri ayrıca temizlemeyi gerektirdiğini belirtir.

Teknik sınırlılıklar

LoCoMo benchmark'ında değerlendirilen on bellek yaklaşımının çoğu, tek atlamalı olgusal getiride olduğundan zamansal akıl yürütme sorularında daha düşük puan alır; en az bir yaklaşım bu örüntüyü tersine çevirir.⁷

Bellek bayatlaması çözülmemiş bir başka sorun sunar: depolanan olgular yeni bilgilerle çeliştiğinde sistemler güncel verileri güncel olmayanlardan ayırt etmekte zorlanır. MemConflict benchmark'ı, depolanan olguların güncelliğini yitirdiği veya doğrudan çeliştiği senaryoları değerlendirir ve mevcut sistemlerin bu çelişkileri güvenilir şekilde çözemediğini bulur.³⁰

Ayrıca, standartlaştırılmış benchmark'lardaki performans, sentetik ortamlar gerçek kullanımı aşırı basitleştirdiği için üretim güvenilirliğine güvenilir biçimde yansımaz.³¹

İleri okuma

• 5 Açık Kaynaklı Agentic Yapay Zeka Framework'ü
• MCP ile Kod Yürütme: Yapay Zeka Ajanı Verimliliğine Yeni Bir Yaklaşım

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Alper, Şevval},
  title  = {{RELC-Bench: Uzun Bağlamda Erişim Benchmark'ı}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/ai-memory}},
  note   = {AIMultiple. Erişim tarihi: 21 Ağustos 2026}
}

Değişiklik günlüğü

10 güncelleme

Tümü10Genel7Metodoloji3

20262025

1. 7 Tem

   Metodoloji bölümüne claude-fable-5 sonuçları eklendi.

2. 26 May

   26 modelli yapay zeka bellek kıyaslaması, RELC-Bench uzun bağlam erişim sonuçları ve metodoloji bölümleriyle değiştirildi.

3. 23 Şub

   Giriş bölümündeki "GPT-5 hariç tutma" verileri güncellendi.

4. 26 Oca

   Mimari çözümlerle "Büyük Modeller Neden Bellek Konusunda Zorlanıyor?" bölümü genişletildi.

5. 26 Oca

   Yapay zeka bellek karşılaştırma metodolojisi soru türleri ile değiştirildi.

Referans Linkleri

1.

What Is AI Agent Memory? | IBM

2.

Context windows - Claude Platform Docs

3.

What Is Agent Memory? A Guide to Enhancing AI Learning and Recall | MongoDB

MongoDB

4.

RAG vs. Memory: What AI Agent Developers Need to Know

Mem0

5.

Memory overview - Docs by LangChain

Docs by LangChain

6.

Memory in ChatGPT | OpenAI Help Center

7.

[2504.19413] Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

8.

Dreaming: Better memory for a more helpful ChatGPT | OpenAI

9.

Release notes | Claude Help Center

10.

Get personalization with memory of your past Gemini chats - Computer - Gemini Apps Help

11.

Gemini gets personal as Google rolls out a big memory upgrade- Android Authority

Authority Media

12.

Rippling Customer Success Story | Decagon AI

Decagon AI

13.

Chime Customer Success Story | Decagon AI

Decagon AI

14.

Diligent Robotics Unveils Moxi 2.0, Advancing The Largest Fleet of Deployed AI-Powered Mobile Manipulation Robots Operating in Unstructured, Human-Centric Work Environments

15.

ResearchGate - Temporarily Unavailable

16.

Robot Skill Library ASPIRE Gives Robots Memory: Handover Climbs to 92%

Tech Times

17.

Northwell Leverages Abridge to Drive Digital Transformation

18.

Riverside Health Case Study | Abridge

19.

[2501.13956] Zep: A Temporal Knowledge Graph Architecture for Agent Memory

20.

Zep Is The New State of the Art In Agent Memory | Zep Blog

Zep Software, Inc.

21.

[2510.27246] Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs

22.

OWASP Foundation

23.

OWASP Top 10 for Agentic Applications - The Benchmark for Agentic Security in the Age of Autonomous AI - OWASP Gen AI Security Project

OWASP Top 10 for LLM & Generative AI Security

24.

Google Gemini's Long-term Memory Vulnerable to a Kind of Phishing Attack - InfoQ

InfoQ

25.

[2503.03704] Memory Injection Attacks on LLM Agents via Query-Only Interaction

26.

[2407.12784] AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases

27.

[2502.13172] Unveiling Privacy Risks in LLM Agent Memory

28.

Italy fines OpenAI over ChatGPT privacy rules breach By Reuters

Investing.com

29.

Italian court scraps 15-million-euro privacy watchdog fine on ChatGPT-maker OpenAI

Yahoo! Finance

30.

MemConflict: Evaluating Long-Term Memory Systems UnderMemory Conflicts

31.

A Survey of Agent Memory in the Second Half: TowardsSelf-Evolving and Long-Horizon Agents

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple bünyesinde baş analisttir. Cem'in AIMultiple'daki çalışmaları; Business Insider, Forbes, Morning Brew ve Washington Post gibi önde gelen küresel yayınlar, Deloitte ve HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır. [1], [2], [3], [4], [5] Kariyeri boyunca Cem; teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yaptı. On yılı aşkın süre boyunca McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yaptı. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımladı. CEO'ya rapor verirken bir telekom şirketinin teknoloji stratejisini ve satın alma süreçlerini yönetti. Ayrıca 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetti. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alındı. Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun oldu ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Teknik olarak inceleyen

Şevval Alper

Yapay Zeka Araştırmacısı

Takip Et

Şevval, AIMultiple'da bir yapay zeka araştırmacısıdır. Kaotik sistemler kullanarak sözde rastgele sayı üretimi konusunda daha önce araştırma deneyimine sahiptir.
Şevval, yapay zeka kodlama araçları, yapay zeka ajanları ve kuantum teknolojilerine odaklanmaktadır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder