RL Ortamları: Ajan Tabanlı Yapay Zekanın Arkasındaki Altyapı

Takviyeli öğrenme ortamları, yapay zeka ajanlarının eylemlerde bulunduğu, sonuçları gözlemlediği ve geri bildirim aldığı kontrollü ortamlardır. Modeller, kodlama, tarayıcı görevleri, müşteri desteği ve iş yazılımlarında tek seferlik yanıtlardan çok adımlı çalışmalara doğru ilerledikçe, bu ortamlar daha da kullanışlı hale gelmektedir.

RL çevre şirketleri

Bazı şirketler kodlama, finans, kurumsal iş akışları veya bilgisayar kullanım görevleri için özel ortamlar satmaktadır. Diğerleri ise bu ortamları kendiniz oluşturmak ve çalıştırmak için gereken açık kaynaklı çerçeveleri ve çalışma zamanı yığınını sağlamaktadır. Aşağıdaki tablolar bu iki katmanı birbirinden ayırmaktadır: ortamlar oluşturan ve satan ticari satıcılar ve kendi ortamınızı oluşturmak için altyapı sağlayan açık kaynaklı çerçeveler.

RL ortam tedarikçileri

*Satıcılar alfabetik sırayla listelenmiştir. Listeye dahil edilmek, onay veya sıralama anlamına gelmez.

Bu tedarikçiler farklı ihtiyaçlara hizmet ediyor: AfterQuery, AIChamp, Andromede, Collinear, Deeptune, Halluminate ve Refresh daha çok yönetilen ortamlara odaklanırken, BenchFlow daha çok bir değerlendirme altyapısı, Chakra Labs ise daha çok bir merkez/platform niteliğinde. ¹

Açık kaynaklı çerçeveler ve altyapı

Açık kaynaklı çerçeveler farklı bir sorunu çözüyor. Hazır ortamlar satmıyorlar; ekiplerin bu ortamları oluşturmak, çalıştırmak ve değerlendirmek için kullandıkları altyapıyı sağlıyorlar.

*Satıcılar alfabetik sırayla listelenmiştir. Listeye dahil edilmek, onay veya sıralama anlamına gelmez.

`Verifiers`, OpenEnv ve Atropos gibi çerçeveler önemlidir çünkü bunlar, ortamları sıfırdan oluşturmanın maliyetini düşürür ve görev tanımlarının, doğrulayıcıların ve dağıtım altyapısının eğitim ve değerlendirme genelinde yeniden kullanılmasını kolaylaştırır. ^{2 3 4} Gymnasium, LLM ajanları için tasarlanmamış olmasına rağmen, birçok RL aracının temel aldığı arayüzü hala sağlamaktadır.

Çoğu ekip için pratik seçim, bunların hepsini birden seçmek değildir. Seçim, alana özgü ortamlar satın almak, mevcut bir çerçeveyi uyarlamak veya her ikisini birleştirmek arasındadır.

RL ortamı nedir?

Pratikte bir RL ortamının anlamı nedir?

Takviyeli öğrenme ortamı, bir ajanın hareket ettiği, dünyanın tepki verdiği ve sonucun ölçülebildiği kontrollü bir sistemdir. Ortam, CartPole gibi basit olabilir. ⁵ veya karmaşık, örneğin bir kodlama sanal ortamı, bir tarayıcı iş akışı veya simüle edilmiş bir kurumsal araç yığını gibi olabilir. Bir oyuna benzemesi gerekmez. Ancak ajanın hareket etmesine, dünyadan bir yanıt üretmesine ve başarı veya başarısızlığın ölçülebilir olmasına izin vermesi gerekir.

Bu nedenle, RL ortamları modern ajanlar için önemlidir. Statik komut istemleri tek seferlik yanıtları test edebilir, ancak araç kullanımını, hata kurtarmayı ve çok adımlı yürütmeyi test etmede zayıftırlar. Ortamlar bu davranışları gözlemlenebilir ve ölçülebilir hale getirir. Örneğin, bir tarayıcı ajanı, yalnızca komut istemi içeren bir testte doğru adımları açıklayarak yetkin görünebilir. Bir ortamda ise, sayfalarda gezinmesi, araçları kullanması, başarısız eylemlerden kurtulması ve iş akışını tamamlaması gerekir.

Standart RL arayüzlerinde, ortam bir sonraki gözlemi, bir ödülü ve bölümün sona erip ermediğini gösteren sinyalleri döndürür. Pratikte bu, bir ortamın izin verilen eylemlere, dünya dinamiklerine ve bir puanlama mekanizmasına ihtiyaç duyduğu anlamına gelir. Birçok ortam ayrıca, hata ayıklama, değerlendirme ve karşılaştırma için aynı görevin yeniden çalıştırılabilmesi için sıfırlama desteğine de ihtiyaç duyar. Bazı modern LLM RL çerçevelerinde, bu kısımlar, doğrudan bir step() API'si olarak sunulmak yerine, dağıtım oluşturma ve doğrulayıcı mantığı olarak paketlenebilir.

Eğitim ortamları ve değerlendirme ortamları

Aynı ortam farklı şekillerde kullanılabilir. Eğitim ortamında, ajan zaman içinde gelişmek için ortamdan gelen geri bildirimi kullanır. Değerlendirme ortamında ise ortam, modeli güncellemek için değil, performansı ölçmek için kullanılır. Modern dil modeli takviyeli öğrenmede ortamlar ve görevler için üç yaygın kullanım alanı şunlardır: takviyeli öğrenme, kıyaslama ve başarılı yörüngeler üzerinde denetimli ince ayar. ⁶

Bu önemlidir çünkü eğitim ve değerlendirme ortamları farklı amaçlar için tasarlanmıştır. Eğitim ortamları, ajanın kolayca manipüle edilememesi koşuluyla gelişmesine yardımcı olacak bir ödül sinyaline ihtiyaç duyar. Değerlendirme ortamları ise istikrarlı puanlama, tekrarlanabilirlik ve net geçme-kalma veya derecelendirilmiş kriterlere ihtiyaç duyar. Aynı kurulum her ikisini de destekleyebilir, ancak ekiplerin hangi modu kullandıkları konusunda net olmaları gerekir.

Bu kurulumda, ortam etkileşimli dünyadır, doğrulayıcı puanlama mantığıdır ve değerlendirme ise bu dünya içinde gerçekleştirilen ölçüm işlemidir. Kıyaslama ise standartlaştırılmış görevler kümesi ve bunların üzerine inşa edilmiş puanlama kurallarıdır.

Her ajan döngüsü standart bir RL ortamı değildir. Bazı depolar, orkestrasyon çerçeveleri veya özerk araştırma döngüleri olarak daha iyi anlaşılabilir. Bunlar görevler, araçlar ve geri bildirim içerebilir, ancak her zaman açıkça tanımlanmış geçişler, bölüm sınırları ve puanlama mantığı ile yeniden kullanılabilir bir ortam sunmazlar.

RL ortamlarını önemli kılan nedir?

Takviyeli öğrenme ortamları, ajan tabanlı yapay zeka performans testlerini nasıl iyileştirebilir?

RL ortamları, sistemleri tek seferlik komutlar yerine etkileşimli bir döngü içinde test ettikleri için ajan tabanlı yapay zeka performans testlerini daha gerçekçi hale getirebilir. Bu, özellikle tarama yapan, araç kullanan, kod yazan veya çok adımlı iş akışlarını tamamlayan ajanlar için faydalıdır. WebArena ve WorkArena gibi performans testleri bu fikir üzerine kurulmuştur: ajan kontrollü bir ortamda hareket etmeli ve performans yalnızca cevap eşleştirmesi yerine görev tamamlama ile ölçülmelidir. ⁷

Bu, kıyaslama testlerinin yalnızca komut istemiyle yapılan testlerin genellikle gözden kaçırdığı davranışları yakalamasına olanak tanır. Etkileşimli bir ortam, ajanın doğru araçları seçip seçmediğini, hatalardan kurtulup kurtulmadığını, iş akışı kurallarına uyup uymadığını ve görevi sınırlı sayıda adımda tamamlayıp tamamlamadığını ölçebilir. PaperArena gibi araç kullanan kıyaslama testleri buna örnek verilebilir. ⁸ Aynı yönde ilerlemek için, aracıların harici araçlar ve yinelemeli iş akışlarıyla karmaşık görevleri nasıl ele aldığını değerlendirin.

Doğrulayıcı kalitesinin, ortam gerçekçiliği kadar önemli olmasının nedenleri

Puanlama mantığı zayıfsa, gerçekçi bir ortam yeterli değildir. Takviyeli öğrenme ve ajan kıyaslamasında, doğrulayıcı, görevin gerçekten çözülüp çözülmediğine karar veren mekanizmadır. Doğrulayıcı çok gevşekse, ajan amaçlanan işi yapmadan puan alabilir. Çok katıysa, doğru çözümler yine de yanlış olarak işaretlenebilir. SWE-bench tarafından doğrulanmıştır. ⁹ sürüm bu nedenle oluşturulmuştur. Değerlendirme güvenilirliğini artırmak için tasarlanmış, insan tarafından doğrulanmış bir alt kümedir.

Ajanlar birçok adım atıp birden fazla strateji deneyebildiklerinde, değerlendirmedeki küçük hatalar çok daha büyük hasara yol açar. Ödül manipülasyonu bu sistemdeki en belirgin risklerden biridir. ¹⁰ Pratikte bu, doğrulayıcı tasarımının önemsiz bir uygulama detayı olmadığı anlamına gelir. Bu, kıyaslama testinin kendisinin bir parçasıdır.

Kurumsal iş akışlarının neden önemli bir büyüme alanı haline geldiği

Tarayıcı aracıları, verimlilik iş akışları, kodlama sistemleri, müşteri işlemleri ve dahili yazılım görevleri, soyut akıl yürütme gösterilerinden daha kolay bir şekilde iş değeriyle ilişkilendirilebilir. WorkArena ¹¹ bu değişimin iyi bir örneğidir. Bu sürüm, ajanları genel tarama yerine ServiceNow tarzı kurumsal yazılım görevleri üzerinden değerlendirir.

İşte bu noktada ajan hataları maliyetli ve görünür hale geliyor. Bir kıyaslama sorusunu yanlış yanıtlayan bir model puan kaybedebilir. Bir elektronik tabloyu, müşteri iş akışını veya dahili sistemi yanlış ele alan bir model bir süreci bozabilir. Bu da gerçek araçları, gerçekçi kısıtlamaları ve denetlenebilir sonuçları modelleyebilen ortamların değerini artırıyor. OpenAI'nin son ajan araçları da aynı yöne işaret ediyor; çok adımlı görevler ve iş akışı otomasyonu için web araması, dosya araması ve bilgisayar kullanımına yönelik yerleşik destek sunuyor.

Sınır ötesi laboratuvarlar için takviyeli öğrenme ortamlarının önemi neden büyük?

RL ortamları, eğitim ve ölçüm olanaklarını genişlettiği için öncü laboratuvarlar için önemlidir. Bir görev, net geri bildirim sağlayan bir ortamın içine yerleştirilebiliyorsa, eğitim sonrası aşamanın bir parçası haline gelebilir. Laboratuvarlar modelleri kodlama, internette gezinme, araç kullanımı ve diğer çok adımlı görevlere doğru yönlendirdikçe, ortamlar eğitim yığınının daha önemli bir parçası haline geliyor.

Ayrıca yetenek gelişimini izlemeyi de kolaylaştırıyorlar. Frontier laboratuvarları sadece modellerin daha iyi yanıt vermesini sağlamaya çalışmıyor; kodlama, internette gezinme, araç kullanımı ve uzun vadeli görevlerde daha iyi davranmalarını sağlamaya çalışıyorlar. Ortamlar, bu görevleri tekrar tekrar çalıştırmak, çalıştırmaları karşılaştırmak ve başarılı yörüngeleri eğitime geri beslemek için kontrollü ayarlar sağlar.

Yüksek kaliteli bir ortamın nasıl göründüğü

Gerçekçi bir dünya ve kullanılabilir araçlar

Güçlü bir RL ortamı, anlamlı bir iç dünyaya ihtiyaç duyar. Eylemler, test edilen görevi yansıtacak şekilde ortamı değiştirmelidir. Eğer ajan bir düğmeye tıklarsa, bir form gönderirse, kodu düzenlerse veya bir araç çağırırsa, sonucun anlamlı olması için ortam gerçek iş akışına yakından uyan bir şekilde yanıt vermelidir. OpenAI'nin Evreni ¹² ajanların basitleştirilmiş kısayollar yerine pikseller, klavye ve fare aracılığıyla etkileşim kurduğu oyunları, web sitelerini ve uygulamaları paketleyerek bu fikri açıkça ortaya koydu.

Bu durum, hem ajanların neler öğrenebileceğini hem de kıyaslama testlerinin neler ölçebileceğini şekillendirir. Gerçek testlerin, dosya durumunun ve anlamlı araç geri bildiriminin olmadığı bir kodlama ortamı, kodlama yeteneği hakkında size fazla bir şey söylemez. Sahte etkileşimler ve zayıf kısıtlamalar içeren bir tarayıcı ortamı, bilgisayar kullanımı hakkında size fazla bir şey söylemez. Yüksek kaliteli bir ortamın tüm dünyayı simüle etmesi gerekmez. Ancak, görev başarısını gerçekten belirleyen dünyanın bölümlerini modellemesi gerekir.

Ödül hırsızlığını önleme

İyi bir ortam, bir ajanın amaçlanan işi yapmadan puan kazanmasını zorlaştırmalıdır. Bu, sağlamlık problemidir. Ödül sinyali veya değerlendirici istismar edilebilir ise, ajan görevi çözmek yerine puanı maksimize etmeyi öğrenebilir. Ödül manipülasyonu, takviyeli öğrenmede bilinen bir başarısızlık modudur ve modeller görevlerdeki ve puanlama kurallarındaki boşlukları bulmada daha iyi hale geldikçe daha da önem kazanır. ¹³

Ortam kalitesi sadece gerçekçilikle ilgili değildir. Değerlendirme mantığı da gerçek hedefle uyumlu olmalıdır. Denetleyici zayıfsa, kıyaslama yanlış davranışı ödüllendirebilir. Bazı durumlarda, ekiplerin gizli veya kısmen gizli kontroller de yapması gerekir, böylece ajan doğrudan görünür kabul koşullarına göre optimizasyon yapamaz. Sağlam bir ortam, görevi geçmeyi, altta yatan hedefi tamamlamaya yakından bağlar.

Tekrarlanabilirlik, yeniden oynatma ve gözlemlenebilirlik

Yüksek kaliteli bir ortam, yeniden çalıştırmaları, hata ayıklamayı ve incelemeyi desteklemelidir. Ekiplerin aynı görevi sıfırlayabilmesi, aynı bölümü kontrollü koşullar altında yeniden çalıştırabilmesi ve sonuçları modeller veya sürümler arasında karşılaştırabilmesi gerekir. Standart RL sistemlerinde, sarmalayıcılar ve günlükler, bölüm istatistiklerini ve yürütme verilerini yakalamaya yardımcı olur. Modern ajan ortamlarında bu fikir daha da genişler: ekiplerin araç çağrılarının, durum değişikliklerinin, zamanlamanın, doğrulayıcı çıktılarının ve nihai sonuçların izlerine ihtiyacı vardır. Gymnasium'un ekosistemi, bölüm istatistikleri, zaman sınırları ve çalıştırmaların daha sonra incelenmesini kolaylaştıran kayıt sarmalayıcıları aracılığıyla bunun bir kısmını göstermektedir. ¹⁴

Başarısızlık genellikle yalnızca nihai çıktıdan anlaşılamaz. Aracının hangi araçları kullandığını, nerede takıldığını, kestirme yol kullanıp kullanmadığını ve olayın ne kadar sürdüğünü bilmeniz gerekir. Gözlemlenebilirlik, bir ortamı kara kutudan, kıyaslama yapabileceğiniz, hata ayıklayabileceğiniz ve geliştirebileceğiniz bir şeye dönüştürür. Bu aynı zamanda operasyonel bütünlük sorunudur: iyi bir ortam, model zayıflığını bozuk kimlik doğrulama, eski durum, sarmalayıcı hataları veya sanal alan kaymasıyla karıştırmamalıdır.

Görev sayısının tek başına neden zayıf bir kalite göstergesi olduğu

Çok sayıda görev, otomatik olarak yüksek kaliteli bir ortam anlamına gelmez. Daha önemli olan, bu görevlerin iyi tanımlanmış, gerçekçi temellere dayalı ve güvenilir bir şekilde puanlandırılmış olmasıdır. PaperBench ¹⁵ bu ayrımın iyi bir örneğidir. Değeri yalnızca görev sayısından kaynaklanmaz. Görevleri açık değerlendirme ölçütleriyle derecelendirilebilir bileşenlere ayırmaktan ve derecelendirme sisteminin kendisini değerlendirmekten kaynaklanır.

Görev sayısı pazarlaması kolay bir yöntemdir, ancak daha zor bir soruyu gizler: Bu görevler gerçek bir şeyi ölçüyor mu ve puanlamaya güvenilebilir mi? Daha güçlü görev tasarımı, daha iyi notlandırma ve daha iyi gözlemlenebilirlik sağlayan daha küçük bir ortam, kırılgan veya tekrarlayan görevlerle dolu çok daha büyük bir ortamdan daha faydalı olabilir.

RL ortamları oluşturmaya nasıl başlanır?

Eğitime değil, değerlendirmeye başlayın.

Pratik bir başlangıç yolu, bir model eğitmek değil, onu güvenilir bir şekilde değerlendirebilecek bir ortam oluşturmaktır. Bu, maliyeti düşürür, yineleme süresini kısaltır ve ekipleri RL'yi eklemeden önce görevi net bir şekilde tanımlamaya zorlar. Prime Intellect'in doğrulayıcıları ¹⁶ doküman, ortamları geniş bir çerçevede ele alıyor: bunlar yalnızca tam eğitim çalışmaları için değil, değerlendirme, sentetik veri üretimi, ajan testleri veya takviyeli öğrenme eğitimi için de kullanılabilir.

Bu, çoğu ekip için en pratik başlangıç noktasıdır. Bir ekip, bölümü, doğrulayıcıyı ve tekrar oynatma öğelerini net bir şekilde tanımlayamıyorsa, eğitim için henüz çok erkendir. Uygulamada, bir ortamla değerlendirme, aynı görevi bir veya daha fazla model üzerinde çalıştırmak, eylemlerini kaydetmek ve sonucu bir doğrulayıcı ile puanlamak anlamına gelir. İlk ölçütler genellikle görev başarısı, adım sayısı, araç hataları, tamamlanma süresi ve tekrar çalıştırmalar arasındaki tutarlılıktır.

Bir iş akışı seçin ve görev döngüsünü tanımlayın.

Geniş kapsamlı bir platformla başlamayın. Tek bir iş akışıyla başlayın. Bu bir tarayıcı görevi, bir kodlama görevi, bir müşteri destek akışı veya bir finansal işlem olabilir. Amaç, tekrarlanabilir bir döngü tanımlamaktır: ajanın ne gördüğü, ne yapmasına izin verildiği, dünyanın nasıl değiştiği ve neyin başarı olarak sayıldığı. Gymnasium'un ortam oluşturma belgeleri, bunu klasik takviyeli öğrenmede gözlemler, eylemler, geçişler ve bölüm sınırları aracılığıyla resmileştirir.

Pratikte bu, tek bir dar görev ailesi seçmek ve başka bir şey inşa etmeden önce tüm bölüm yapısını yazmak anlamına gelir. İyi bir ilk ortam genellikle insanların beklediğinden daha küçüktür. Sadece görevin başarılı olup olmadığını belirleyen iş akışının bölümlerini modellemesi gerekir.

Görev kümesini ölçeklendirmeden önce doğrulayıcıyı oluşturun.

Doğrulayıcı, ajanın görevi gerçekten çözüp çözmediğine karar veren kısımdır. Bu mantık zayıfsa, görev sayısını artırmak pek yardımcı olmaz. Sadece daha gürültülü sonuçlar verir. Prime Intellect'in ortam belgeleri, ortamları üç temel unsur etrafında tanımlar: görev girdileri, test ortamı ve ödül fonksiyonu veya değerlendirme ölçütü.

Bu, başlangıçta yapılabilecek en kolay hatalardan biridir. Ekipler genellikle güvenilir bir değerlendirme sistemine sahip olmadan önce daha fazla görev eklerler. Daha iyi sıra bunun tam tersidir: önce bir doğrulayıcıyı iyi çalışır hale getirin, sonra kapsamı genişletin. Güçlü puanlamaya sahip daha küçük bir görev seti, genellikle zayıf puanlamaya sahip daha büyük bir görev setinden daha kullanışlıdır.

Sıfırlama, tekrar oynatma ve hata kaydı işlemlerini ilk günden itibaren ekleyin.

Kullanılabilir bir ortam, bir görev ve bir puandan daha fazlasına ihtiyaç duyar. Aynı bölümü tekrar çalıştırmanın, neler olduğunu incelemenin ve modeller veya sürümler arasında çalıştırmaları karşılaştırmanın bir yoluna da ihtiyaç duyar. Standart RL kurulumlarında bu, sıfırlama mantığı, bölüm meta verileri ve kayıt yardımcı programları olarak ortaya çıkar. Ajan ortamlarında ise araç izleri, durum değişiklikleri, zamanlama, ham çıktılar ve doğrulayıcı sonuçları da içermelidir. Gymnasium'un ortam araçları, sıfırlama mantığı, sarmalayıcılar ve yapılandırılmış bölüm verileri aracılığıyla bunun bazı kısımlarını kapsar, ancak modern ajan izleri genellikle daha fazla ayrıntıya ihtiyaç duyar.

Bu önemlidir çünkü birçok hata yalnızca nihai cevaptan anlaşılamaz. Tekrar oynatma ve kanıtlar olmadan, hata ayıklama tahmine dayalı bir süreç haline gelir. Günlük kaydı ayrıca, ortamın araç sarmalayıcılarına, sanal ortamlara, kimlik bilgilerine veya harici hizmetlere bağlı olduğu durumlarda kritik önem taşıyan, aracı hatası ile altyapı hatasını birbirinden ayırmaya yardımcı olur.

Kendi ortamınızı oluşturmak yerine mevcut bir ortamı ne zaman kullanmalısınız?

Her zaman sıfırdan başlamanız gerekmez. Amacınız mevcut bir görev ailesindeki modelleri değerlendirmekse, genellikle yeni bir ortam oluşturmaktan ziyade mevcut bir ortamı kurmak veya uyarlamak daha hızlıdır. Prime Intellect'in ortam araçları, ortamların kurulması ve daha büyük ölçekli takviyeli öğrenmeye geçmeden önce API modelleriyle değerlendirmelerin yapılması da dahil olmak üzere bu iş akışı için tasarlanmıştır.

İş akışınız alana özgü olduğunda, doğrulama mantığınız alışılmadık olduğunda veya mevcut ortamlar doğru kısıtlamaları modellemediğinde kendi ortamınızı oluşturmak daha mantıklıdır. Görev sınıfı zaten ihtiyacınız olana yakın olduğunda yeniden kullanım en iyisidir. İş mantığı ölçüt olduğunda özel çalışma en iyisidir.

GPU'lara gerçekten ihtiyaç duyduğunuzda

Ortam oluşturmaya veya değerlendirmeye başlamak için GPU'lara ihtiyacınız yok. Verifiers, API modelleriyle CPU tabanlı ortam geliştirme ve değerlendirmeyi desteklerken, daha büyük ölçekli RL eğitimi daha sonra prime-rl veya diğer eğiticiler aracılığıyla eklenebilir.

Açık ağırlıklı bir modelin değerlendirilmesinden eğitimine geçildiğinde, özellikle büyük ölçekte, GPU'lar gerekli hale gelir. Bu, daha sonraki bir aşamada alınan bir karardır. Çoğu ekip için ilk dönüm noktası GPU kiralamak değil, görev döngüsünün, doğrulayıcının ve ortam izlerinin eğitimi haklı çıkaracak kadar güvenilir olduğunu kanıtlamaktır.

Kıyaslama noktalarından eğitim alanlarına

Modeller daha uzun, daha karmaşık ve daha gerçekçi görevlere itildikçe, takviyeli öğrenme ortamları daha kullanışlı hale geliyor. Zor olan sadece etkileşimli bir görev oluşturmak değil; gerçekçi iş akışlarına, güvenilir puanlamaya, güçlü gözlemlenebilirliğe ve model hatası ile ortam hatası arasında net sınırlara sahip bir görev oluşturmaktır.

Bu alana giren ekipler için fırsat, yalnızca model değerlendirmesinden çok daha büyüktür. Takviyeli öğrenme ortamları, kıyaslama araçları, eğitim alanları veya her ikisi birden olabilir. En önemli sistemler, gerçek iş ortamını yansıtacak kadar gerçekçi, güvenilecek kadar güvenilir ve zaman içinde gelişebilecek kadar yapılandırılmış olanlardır.

Referans Linkleri

1.

Pavlov's List: A List of RL Environment Startups

2.

https://docs.primeintellect.ai/verifiers/overview/

3.

https://github.com/meta-pytorch/OpenEnv/

4.

https://nousresearch.com/introducing-atropos/

5.

Cart Pole - Gymnasium Documentation

6.

An FAQ on Reinforcement Learning Environments | Epoch AI

7.

GitHub - ServiceNow/AgentLab: AgentLab: An open-source framework for developing, testing, and benchmarking web agents on diverse tasks, designed for scalability and reproducibility. · GitHub

8.

PaperArena - An Evaluation Benchmark for Tool-Augmented Agentic Reasoning on Scientific Literature

arXiv

9.

[2310.06770] SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

10.

An FAQ on Reinforcement Learning Environments | Epoch AI

11.

[2403.07718] WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?

12.

Universe | OpenAI

13.

Detecting misbehavior in frontier reasoning models | OpenAI

14.

Misc Wrappers - Gymnasium Documentation

15.

[2504.01848] PaperBench: Evaluating AI's Ability to Replicate AI Research

16.

Overview - Prime Intellect Docs

Mintlify

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Berk Kalelioğlu

Yapay Zeka Araştırmacısı

Takip EtTam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder