AGI Kıyaslaması: Yapay Zeka Ekonomik Değer Üretebilir mi?

Yapay zekâ sistemleri otonom olarak ekonomik değer yaratmaya başladığında en büyük etkisini gösterecektir.

Yenilikçi modellerin ekonomik değer üretebilip üretemeyeceğini değerlendirdik. Onlardan, SaaS veya reklam tabanlı bir modelle para kazanılabilen yeni bir dijital uygulama (örneğin, web sitesi veya mobil uygulama) geliştirmelerini istedik. Değerlendirilen modeller şunlardır:

1. Anthropic Claude Sonnet 3.5
2. OpenAI ChatGPT-o1

Sonuçlar

Her iki model de sorduğumuz sorulara kapsamlı yanıtlar verdi, web sitesinin odak alanını belirledi ve Cursor AI kod düzenleyicisinin web sitesini oluşturması için talimatlar sağladı.

Her iki modele de adil olmak adına, başka hiçbir ayarlama yapmadan bu uyarıya güvendik. Tek istisna, Cursor bize devam edip etmeyeceğimizi sorduğunda, "evet, lütfen devam edin" gibi ifadelerle uyarıda bulunmamızdı.

Her iki web sitesi de Cursor ile tam olarak kodlanamadı. Kod, temel işlevlerin çoğunu içermesine rağmen, Cursor tam işlevli bir web sitesi oluşturmayı başaramadı. Bu nedenle, sonraki adımlara devam edemiyoruz. Her ikisi de kilometre taşlarımızın %2'sini tamamladı.

Bu araçları nasıl ölçtüğümüzü görmek için metodolojiyi okuyun.

Adım 1: Web sitesinin odak noktasını seçmek

Öncü modellerden uygulamaları için bir alan seçmelerini istedik:

Claude Sonnet 3.5'in yanıtı

Serbest çalışanlar için proje yönetim aracı:

Fiyatlandırma Yapısı

• Ücretsiz Katman:
  • 2 aktif proje
  • 1 müşteri
  • Temel faturalama
• Profesyonel Seviye (aylık 15 dolar):
  • Sınırsız proje
  • Sınırsız müşteri
  • Özel faturalama
  • Öncelikli destek
  • Gelişmiş analitik

Değerlendirmemiz

Rakiplerin sundukları: Bölgedeki en büyük rakiplerden biri olan ClickUp, aynı özellikleri daha uygun fiyata sunuyor. Bölgedeki bir diğer önde gelen satıcı olan Asana ise ücretsiz planında sınırsız görev, proje, mesaj, etkinlik günlüğü ve dosya depolama alanı (dosya başına 100 MB) sunuyor.

Claude Sonnet 3.5 numaralı ürünün çıktısı, rekabetçi fiyatlandırma veya alandaki mevcut satıcılardan farklılaşmasını sağlayacak cazip bir özellik sunamadı.

ChatGPT-o1

Yapay zekâ konusunda bilgili içerik oluşturucular (yazarlar, pazarlamacılar, yapay zekâ araçlarını kullanan sosyal medya yöneticileri vb.) arayan işletmeler için özel bir iş ilan sitesi.

Fiyatlandırma yapısı:

• İşveren Planı : Sınırsız ilan için aylık 199$, veya ilan başına 49$.
• İş Arayan : Ücretsiz profil oluşturabilir ve profillere göz atabilirsiniz.

Değerlendirmemiz

Bu fiyatlandırma modeli, sık işe alım ihtiyacı olan işverenler için maliyet açısından verimli olabilecek, basit ve sabit bir ücret yapısı sunmaktadır; sabit bir aylık ücret karşılığında sınırsız ilan yayınlama imkanı sağlar. Bununla birlikte, nadiren ilan yayınlayan veya işlem tutarına orantılı ücret ödemeyi tercih eden işverenler için, minimum başlangıç maliyeti ve yüzde bazlı ücretlendirme sunan Upwork gibi mevcut platformlar daha ekonomik görünebilir.

Bu nedenle, ChatGPT-o1'in önerisi ne işverenlere ne de çalışanlara cazip gelmeyebilir.

Araştırmamız, bu modellerin yüksek kaliteli araştırma yapma yeteneğinden yoksun olduğunu ortaya koydu; çünkü ürettikleri sonuçlar sadece yeni bir fikir sunmakla kalmıyor, aynı zamanda rakiplerine göre daha iyi özellikler de sunmuyor. Mevcut araçları geliştirmek için hala insan araştırmacılara ihtiyaç duyuyorlar.

Ayrıca, Cursor (her iki proje için de kodlamada kullanılan LLM olarak Claude Sonnet 3.5 ile) tam bir web sitesini kodlayamadı. Bu başarısızlık, Cursor'ın sınırlamalarına veya yetersiz yönlendirmeye bağlanabilir. Her iki durumda da, insan katılımcılar olmadan, bu kıyaslamada fikri üretmek ve tüm web sitesini kodlamak mümkün değildi.

Modelin akıl yürütme yeteneğini görmek için yapay zeka akıl yürütme performans testimizi de okuyabilirsiniz.

ARC-AGI kıyaslama ölçütleri ve sonuçları

ARC-AGI kıyaslama ölçütleri ¹ , örneklerden belirtilmemiş kuralları çıkarmayı gerektiren ızgara tabanlı görevler kullanarak yapay sistemlerde genel muhakeme yeteneğini değerlendirmek amacıyla oluşturulmuştur.

ARC-AGI-1 (2019–2024)

ARC-AGI-1, yapay sistemlerdeki akıcı zekayı ölçmek amacıyla 2019 yılında tanıtıldı. Çözücüden, birkaç girdi-çıktı örneğinden belirtilmemiş bir kuralı çıkarması ve bunu daha önce görülmemiş test girdilerine uygulaması gereken, ızgara tabanlı akıl yürütme görevlerinden oluşuyordu.

Bu görevler yalnızca nesne kalıcılığı, simetri ve sayma gibi temel bilişsel ön bilgilere dayanıyordu ve dil veya özel bilgi gerektirmiyordu.

Yıllar boyunca düzenlenen yarışmalar, kademeli ancak sınırlı bir ilerleme gösterdi:

• 2020 yılında, en iyi sonuç veren çalışma, gizli değerlendirme kümesinde %20 doğruluk oranına ulaştı.
• 2020'den 2024'ün başlarına kadar, büyük dil modellerinin önemli ölçüde ölçeklendirilmesine rağmen performans yaklaşık %34 seviyesinde kaldı.
• 2024 yılında, test zamanı uyarlaması gibi yeni yaklaşımlar sonuçları iyileştirdi. En iyi uygun ekip %53,5'e ulaşırken, bir başka ekip %55,5'e ulaştı ancak modelini yayınlamadı.
• OpenAI'un o3 modelinin önizlemesi, çok yüksek hesaplama koşulları altında insan seviyesindeki performansı aşarak düşük maliyette %76, yüksek maliyette ise %88 puan aldı. Daha sonra yayınlanan halka açık sürümler daha düşük puanlar aldı ve o3-medium %53'e ulaştı.

ARC-AGI-1 araştırma faaliyetlerini teşvik etmesine rağmen, bir kıyaslama ölçütü olarak bazı zayıf yönlerini ortaya koydu. Birçok görev kaba kuvvet stratejilerine karşı savunmasızdı, tutarlı birinci taraf insan temel verileri eksikti, görev zorluğu alt kümeler arasında eşit değildi ve gizli görevlerin tekrar tekrar kullanılması bilgi sızıntısı riskini beraberinde getiriyordu.

ARC-AGI-2

ARC-AGI-2, selefinin sınırlamalarını gidermek ve aynı görev formatını korumak amacıyla oluşturulmuştur. Amacı, kaba kuvvet çözümlerine olan bağımlılığı azaltmak, değerlendirme setleri genelinde görev zorluğunu kalibre etmek ve insan performansı için net temel ölçütler oluşturmaktır.

Geliştirme süreci, 407 katılımcıyla gerçekleştirilen ve 13.000'den fazla görev denemesini kapsayan kapsamlı insan testlerini içeriyordu. Ortalama başarı oranı %66 olup, her görev en az iki katılımcı tarafından iki denemede çözüldü. Deneme başına ortalama tamamlama süresi yaklaşık 2,2 dakikaydı.

ARC-AGI-2'deki sonuçlar, insan ve makine performansı arasındaki mevcut farkı ortaya koymaktadır:

• o3-mini ve o3-medium gibi önde gelen modeller yaklaşık %3 puan aldı.
• 2024 ARC Ödülü'nü kazanan ekip %2,5'lik bir başarı oranı elde etti.
• Claude 3.7 ve Icecuber dahil olmak üzere diğer sistemler %2'nin altında puan aldı.
• %5'in altındaki puanlar, anlamlı olamayacak kadar gürültüye yakın kabul edilir.

En iyi sistemlerin %50'nin üzerinde doğruluk oranına sahip olduğu ARC-AGI-1 ile karşılaştırıldığında, ARC-AGI-2 önemli ölçüde daha yüksek bir zorluk seviyesini temsil etmektedir.

Görevleri daha özgündür, daha büyük ızgaralar ve daha fazla nesne içerir ve çok adımlı dönüşümler, bağlamsal kural uygulaması ve sembol tanımlama gibi bileşimsel akıl yürütmeyi vurgular.

GDPval kıyaslaması

GDPval, ölçülebilir ekonomik değere sahip gerçek dünya görevlerinde yapay zeka modellerinin performansını değerlendirmek için oluşturulmuştur. Sağlık, finans, imalat, gayrimenkul ve kamu sektörü de dahil olmak üzere ABD GSYİH'sine önemli katkı sağlayan dokuz ana sektörden 44 mesleğe odaklanmaktadır.

Bu kıyaslama seti, meslek başına yaklaşık 30 görev olmak üzere toplam 1.320 görevi içermektedir. Araştırma ve test amacıyla 220 görevden oluşan bir alt küme kamuya açık olarak yayınlanmıştır.

Akademik veya yapay bağlamlarda muhakeme yeteneğini test eden geleneksel kıyaslamaların aksine, GDPval görevleri endüstri profesyonelleri tarafından üretilen gerçek çıktılara dayanmaktadır.

Bu görevler dokümanlar, elektronik tablolar, sunumlar, CAD dosyaları, ses ve video kayıtları veya müşteri destek kayıtlarını içerebilir. Her görev, ortalama 14 yıllık mesleki deneyime sahip uzmanlar tarafından tasarlanıp doğrulanarak, içeriğin gerçek işyeri taleplerini yansıtması sağlanır.

Şekil 1: İnsanlar arası ikili karşılaştırmaları gösteren grafik, modellerin GDPval altın alt kümesinde sektör uzmanlarının performansına yaklaştığını göstermektedir. ²

Neyi ölçer?

GDPval, yapay zeka performansının üç ana yönünü değerlendirir:

• Teslim Edilen Ürünlerin Kalitesi : Çıktılar, kör ikili değerlendirme yoluyla insan uzmanların çıktılarıyla doğrudan karşılaştırılır. Profesyonel değerlendiriciler, doğruluk, yapı, stil, biçimlendirme ve alaka düzeyini dikkate alarak hangi teslim edilen ürünün gereksinimleri daha iyi karşıladığına karar verir. Bu, bir modelin çıktısının insan tarafından üretilen bir teslim edilen ürüne eşit veya ondan daha iyi olarak değerlendirilme sıklığını gösteren bir kazanma oranı üretir.
• Hız ve maliyet verimliliği : Bu kıyaslama, görevleri tamamlamak için gereken zamanı ve maliyeti kaydeder. İnsan uzmanlar tipik olarak bir görev için yaklaşık 7 saat veya 404 dakika harcarlar; bu da yaklaşık 361 dolarlık bir ücrete denk gelir. Yapay zeka modelleri görevleri çok daha hızlı ve daha düşük maliyetle tamamlar, ancak tasarruf, insan tarafından ne kadar inceleme ve düzeltme gerektiğine bağlıdır.
• Akıl yürütme ve yönlendirme yoluyla uyarlanabilirlik : Bu kıyaslama testi ayrıca, modellere daha fazla akıl yürütme çabası, daha basit yönlendirmeler veya destekleyici teknikler verildiğinde model performansının iyileşip iyileşmediğini de test eder. Bu, yalnızca ham yeteneği değil, aynı zamanda modellerin karmaşık, çok adımlı görevleri yerine getirmek için ne kadar iyi yönlendirilebileceğini de ölçmeye yardımcı olur.

Bu önlemler birlikte ele alındığında, yapay zekanın ekonomik açıdan değerli işlerle uyumlu görevleri yerine getirmedeki potansiyel faydalarını ve mevcut sınırlamalarını ortaya koymaktadır.

Kıyaslama testinin sonuçları

a) Model performansı ile insan uzmanların performansı karşılaştırması

• En iyi modeller uzmanla eşdeğerliğe yaklaşıyor . Örneğin, Claude Opus 4.1 yaklaşık %48'lik bir kazanma-beraberlik oranına ulaştı; bu da görevlerin neredeyse yarısında çıktılarının insan uzmanınkine eşit veya ondan daha iyi olarak değerlendirildiği anlamına geliyor.
• GPT-5 doğruluk konusunda (talimatları takip etme, hesaplamalar) en güçlüydü, Claude ise estetik konusunda (biçimlendirme, slaytlar, düzenler) en güçlüydü.

b) Zaman içindeki eğilimler

• OpenAI'un modelleri, sürümler arasında doğrusal bir iyileşme gösterdi (örneğin, GPT-4o → o3 → GPT-5), performans istikrarlı bir şekilde uzman kalitesine doğru yükseldi.

c) Hız ve maliyet tasarrufu

• Basitçe söylemek gerekirse, modeller insanlardan 90 ila 300 kat daha hızlı ve yüzlerce kat daha ucuzdur.
• İnceleme ve düzeltmeleri hesaba kattığımızda, gerçekçi tasarruflar daha mütevazı olup , uzmanların yapay zeka çıktılarını inceleyip iyileştirdiği iş akışlarında hızlanma yaklaşık 1,1-1,6 kat daha hızlı ve daha ucuzdur .
• Bu durum, yapay zekanın profesyonel iş akışlarını tamamen değiştirmekten ziyade, onları anlamlı bir şekilde destekleyebileceğini gösteriyor.

d) Arıza modları

• Modeller en sık şu nedenlerle başarısız olur:
  • Talimatları takip etme hataları (özellikle Claude, Gemini, Grok).
  • Biçimlendirme sorunları (özellikle GPT-5).
  • Ara sıra halüsinasyonlar veya yanlış hesaplamalar .
• Çoğu başarısızlık, felaket niteliğinde olmaktan ziyade "kabul edilebilir ancak yetersiz" niteliktedir; ancak GPT-5'in başarısızlıklarının yaklaşık %3'ü felaket niteliğinde (tehlikeli veya son derece uygunsuz çıktılar) olarak değerlendirilmiştir.

Yapay zekâ ekonomik değer yaratabilir mi/yaratacak mı?

Anthropic numaralı rapora göre, ³ Yapay zeka, hızlı benimseme, verimlilik artışları ve otomasyon yoluyla halihazırda ölçülebilir ekonomik değer üretmektedir. Bireyler ve işletmeler, kodlama, araştırma, eğitim ve yönetim gibi görevler için Claude'u giderek daha fazla kullanmakta olup, işletmeler API tabanlı etkileşimlerin yaklaşık %77'sini otomatikleştirmektedir.

İşletmeler, maliyetli olsalar bile, yapay zeka yeteneklerinin en güçlü olduğu görevlere sıklıkla öncelik veriyor; bu da verimlilik kazanımlarının fiyat hususlarından daha önemli olduğunu gösteriyor.

Herhangi bir sınırlama var mı?

Faydalar eşit olmayan bir şekilde dağıtılmaya devam ediyor; yüksek gelirli bölgeler, otomasyona hazır sektörler ve uzmanlaşmış bilgiye sahip çalışanlar değerin orantısız bir payını ele geçiriyor ve bu da ekonomik ilerlemeyle birlikte artan eşitsizlikler konusunda endişelere yol açıyor.

Anthropic'in Yapay Zekanın İşgücü Piyasası Üzerindeki Etkileri çalışması, teorik yapay zeka yeteneklerini gerçek dünya kullanım verileriyle birleştirerek kaç çalışanın görevinin fiilen otomatikleştirildiğini tahmin eden bir "gözlemlenen maruz kalma" ölçütü tanıttı.

Çalışma, yapay zekâ kullanımının şu anda modellerin teorik olarak gerçekleştirebileceği görevlerin yalnızca küçük bir bölümünü kapsadığını ve bu durumun benimseme ve uygulama süreçlerinin teknik yeteneklerin gerisinde kaldığını gösterdiğini ortaya koyuyor. Genel olarak, elde edilen kanıtlar, yapay zekânın, teorik olarak yüksek düzeyde maruz kalınan mesleklerde bile, henüz büyük bir işgücü piyasası bozulmasına yol açmadığını gösteriyor. ⁴

Alternatif yaklaşımlar

Başka bir bakış açısı ise yapay genel zekâya alternatif yollar araştıran araştırmacılardan geliyor. Örneğin, eski baş yapay zekâ bilimcisi Yann LeCun tarafından kurulan AMI Labs (Advanced Machine Intelligence) adlı girişim, dil modellerini ölçeklendirmek yerine " dünya modelleri " geliştirmeye odaklanıyor.

Bu sistemler, gerçek dünyadaki duyusal verilerden öğrenmeyi ve fiziksel ortamlardaki neden-sonuç ilişkilerini modellemeyi amaçlamaktadır. Bu tür mimariler, yapay zeka sistemlerinin gerçek dünyayla otonom olarak planlama, akıl yürütme ve etkileşim kurması için gerekli olabilir.

Bu görüş doğru çıkarsa, mevcut büyük dil modelleri ekonomik değeri öncelikle tam ekonomik özerklik yerine verimlilik artışı yoluyla üretmeye devam edebilir; bu da gerçekten özerk yapay zeka odaklı ekonomik faaliyetin temelde farklı yapay zeka mimarileri gerektirebileceğini düşündürmektedir. ⁵

Metodoloji

Yapay zekâ sistemlerinin yeni uygulamalar geliştirerek ekonomik değer üretmesi için gerekli kilometre taşlarını seçtik:

• Alan tanımlaması (%1)
• Spektrumun hazırlanması (%1)
• Uygulama kodlaması (%8)
• Uygulama dağıtımı (%5)
• Uygulama testi (%5)
• Pazarlama (%5)
• Optimizasyon (%5)
• Gelir üretimi (%70)

Her bir kilometre taşına belirli bir bütçe ayrıldı ve sonuçlar uzmanlardan oluşan bir panel tarafından değerlendirildi.

Araçlar, her model için ayrılan bütçe dahilinde kullanılabilir. Modelleri test etmek için çeşitli sistemlerde hesaplar oluşturduk.

İlk görevimiz: Belirli gelir hedefleri olan bir web sitesi oluşturun. Bu süreç, niş seçimi, kodlama ve dağıtım ile pazarlama gibi farklı aşamaları içerecektir.

• İş Hedefi: Sistemin devreye alınmasından sonraki 2 ay içinde aylık 2.000 ABD doları tutarında yinelenen gelir (MRR) elde etmek.
• Başlangıç pazarlama bütçesi: 500 dolar
• Herhangi bir uyumluluk ve sertifikasyon gereksinimini (HIPAA, SOC2, PCI vb.) uygulayamaz. 1. Aşama için: Aşağıdakileri yapabilen umut vadeden bir niş pazarı analiz edin ve seçin:
• Gerçekçi olarak 2 ay içinde 2.000$ aylık yinelenen gelire (MRR) ulaşmak.
• Bütçe kısıtlamalarımız dahilinde inşa edilip pazarlanacaktır.
• Net bir gelir elde etme potansiyeline sahipler.
• Yeterli piyasa talebi gösterin
• 2. Aşama için: Ürünü Cursor v0 gibi yapay zeka destekli bir kodlama editörü kullanarak kodlayacağım.
  • Editöre iletmek üzere bana bir talimat vermelisiniz. Talimat, ürünün tüm işlevlerini içermelidir. Ondan sonra pazarlamaya devam edeceğiz, ancak şimdilik sadece bu sonuçları paylaşın.

Modeller kullanıcıya bazı seçenekler bıraktığı için, onlara tekrar seçenek sunduk.

İkinci isteğimiz: Kullanmamı istediğiniz belirli bir yapay zeka kodlama asistanı var mı? Cursor, Replit, V0, Lovable vb. Ayrıca, bu araçlara verdiğimiz isteğin projenin tüm detaylarını kapsadığından emin olun. Yapay zeka kodlama asistanının veya benim proje hakkında bir seçim yapmama izin vermeyin, projenin tüm detaylarına siz karar vereceksiniz.

SSS'ler

Referans Linkleri

1.

https://arxiv.org/pdf/2505.11831

2.

Measuring the performance of our models on real-world tasks | OpenAI

3.

Anthropic Economic Index report: Uneven geographic and enterprise AI adoption \ Anthropic

4.

Labor market impacts of AI: A new measure and early evidence \ Anthropic

5.

AMI Labs: Real World. Real Intelligence.

6.

ARC Prize - What is ARC-AGI?

Cem Dilmegani

Baş Analist

Takip Et

Cem, 2017'den beri AIMultiple'da baş analist olarak görev yapmaktadır. AIMultiple, her ay Fortune 500 şirketlerinin %55'i de dahil olmak üzere yüz binlerce işletmeye (benzer Web'e göre) bilgi sağlamaktadır. Cem'in çalışmaları, Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslararası kuruluşlar tarafından alıntılanmıştır. AIMultiple'ı referans gösteren daha fazla saygın şirket ve kaynağı görebilirsiniz. Kariyeri boyunca Cem, teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararları konusunda danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayınlamıştır. Bir telekom şirketinin CEO'suna bağlı olarak teknoloji stratejisi ve tedarikini yönetmiştir. Ayrıca, 2 yıl içinde sıfırdan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınlarında yer aldı. Cem düzenli olarak uluslararası teknoloji konferanslarında konuşmacı olarak yer almaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisliği diplomasına ve Columbia Business School'dan MBA derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Şevval Alper

Yapay Zeka Araştırmacısı

Takip Et

Şevval, AIMultiple'da yapay zeka kodlama araçları, yapay zeka ajanları ve kuantum teknolojileri konusunda uzmanlaşmış bir sektör analistidir.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder