SAP-RPT-1-OSS algoritmasını, anlamsal-sayısal spektrumu kapsayan, küçük/yüksek anlamsal tablolar, karma iş verileri ve büyük düşük anlamsal sayısal veri kümeleri de dahil olmak üzere 17 tablo veri kümesi üzerinde gradyan artırma algoritmalarıyla (LightGBM, CatBoost) karşılaştırdık.
Amacımız, ilişkisel bir LLM'nin önceden eğitilmiş anlamsal önceliklerinin geleneksel ağaç modellerine göre nerede avantaj sağlayabileceğini ve ölçek veya düşük anlamsal yapı altında nerede zorluklarla karşılaşabileceğini ölçmektir.
SAP-RPT-1-OSS ve Gradyan Artırma: Karşılaştırma Sonuçları
- Başarı Oranı: Ortalama normalize edilmiş puanı (0,0 ile 1,0 arası) temsil eder. Daha yüksek bir çubuk, modelin o kategorideki veri kümeleri için mümkün olan en iyi performansa tutarlı bir şekilde daha yakın olduğunu gösterir.
- 100 – 500 satır (3 Veri Kümesi):
- Dahil olanlar: şarap (178), sonar (208), oy (435).
- Sonuç: SAP, 3 veri setinden 2'sinde en iyi performansı gösterdi. Şarap ve sonar veri setlerinde en yüksek puanları elde ederek, eğitim verisi az olduğunda LLM önsel dağılımlarının faydalı olabileceğini öne sürdü. Bununla birlikte, CatBoost oylama veri setinde (0,1% içinde) az farkla zafer kazandı; bu da ağaç modellerinin küçük ölçeklerde bile oldukça rekabetçi kaldığını gösteriyor.
- 501 – 1.000 satır (3 Veri Kümesi):
- Dahil edilenler: silindir_bantları (540), meme_kanseri (569), kredi_g (1.000).
- Sonuç: SAP, her üç veri kümesinde de en iyi performansı gösterdi. cylinder_bands veri kümesinde SAP, LightGBM'ye göre %5,5 daha iyi performans gösterdi; bu durum, endüstriyel kusurların anlamsal tanımlarının daha iyi işlenmesinden kaynaklanıyor olabilir, ancak bu mekanizmayı doğrulamak için daha fazla ayrıntılı çalışma yapılması gerekecektir.
- 1.000 – 10.000 satır (5 Veri Kümesi):
- Dahil edilenler: titanic (1.3K), car_evaluation (1.7K), spambase (4.6K), compas (5.2K), employee_salaries (9.2K).
- Sonuç: SAP, 5 veri setinden 4'ünde en iyi sonuçları elde ediyor ve özellikle spambase ve titanic gibi metin ağırlıklı görevlerde oldukça iyi performans gösteriyor. Bununla birlikte, CatBoost, compas veri setinde SAP'yi %10,4 oranında önemli ölçüde geride bırakıyor; bu da, bu boyut aralığında bile ağaç modellerini destekleyen veri setine özgü özellikleri gösteriyor.
- 10.000'den fazla satır (6 Veri Kümesi):
- Dahil olanlar: california_housing (20K), house_sales (21K), default_credit (30K), adult_income (48K), diamonds (53K), higgs_100k (98K).
- Sonuç: Veri hacmi arttıkça, LLM'nin potansiyel "ön bilgi" avantajı azalmaktadır. LightGBM ve CatBoost, 6 veri kümesinden 5'inde en iyi sonuçları elde ederek, hesaplama maliyetinin çok daha düşük bir kısmıyla daha yüksek doğruluk sunmaktadır. Tek istisna olan california_housing veri kümesinde ise SAP yalnızca %1,7'lik mütevazı bir avantaj göstermektedir.
1. Karşılaştırma sonuçları veri kümeleri tablosu
Aşağıda, 17 veri setinin tamamındaki model performansının ayrıntılı dökümü yer almaktadır.
2. Maliyet ve verimlilik analizi
Her model için doğrudan hesaplama maliyetini, RunPod H200 örneğinin saatlik 3,59 dolarlık fiyatlandırmasına göre hesapladık.
SAP-RPT-1-OSS, metin gömme ön işlemesi için gereken süre ve LLM mimarisinin yüksek bellek yükü nedeniyle önemli ölçüde daha yüksek maliyetlere neden olur. Buna karşılık, LightGBM ve CatBoost bu donanımda görevleri neredeyse anında tamamlar. Aşağıdaki maliyetler, 3 katlı çapraz doğrulama çalıştırması için toplam gerçek zamanlı süreyi (ön işleme + eğitim) yansıtmaktadır.
Veri kümesi başına ortalama maliyet (17 Veri Kümesi Ortalaması)
Veri kümesi boyutuna göre maliyet dökümü
- Küçük Veri Kümeleri (<1K satır): SAP nispeten ucuzdur (çalıştırma başına yaklaşık 0,03$). Buradaki yüksek kazanma oranı, maliyeti önemsiz hale getirir.
- Büyük Veri Kümeleri (>20.000 satır): SAP kullanımı pahalı hale gelir.
- Örnek: adult_income tablosunda (48 bin satır) 3 katlama işlemi için eğitim yaklaşık 12 dakika sürüyor.
- Maliyet: 12 dakika x 0,06 $/dakika = deney başına 0,72 $ .
- Karşılaştırma: LightGBM aynı görevi 0,01 dolara tamamlıyor.
Sonuç: Veri seti başına 0,22 dolar mutlak anlamda pahalı olmasa da, SAP temel modele göre 22 kat daha pahalıdır. Bu maliyet farkı, SAP'nin anlamlı doğruluk iyileştirmeleri gösterdiği küçük, anlamsal açıdan zengin veri setleri için (örneğin, +%5,5 artış gösteren cylinder_bands) haklı görülebilir, ancak ağaç modellerinin maliyetin çok daha düşük bir kısmıyla eşit veya daha iyi performans elde ettiği büyük veri setleri için haklı çıkarmak daha zordur.
3. Analiz çerçevesi: Semantik Spektrum
Bu sonuçları yorumlamak için, verileri nasıl seçtiğimizi anlamak çok önemlidir. Veri kümelerini rastgele seçmedik; Semantik-Sayısal Spektrumu kapsayacak şekilde özel olarak seçilmiş 17 veri kümesinden oluşan bir paket oluşturduk.
Temel hipotezimiz, SAP'nin (LLM tabanlı olması nedeniyle) verilerin dilsel anlam taşıdığı durumlarda üstünlük sağlayacağı, ağaç modellerinin ise ham sayısal hesaplamalarda baskın olacağı yönündeydi. Veri kümelerimizi üç farklı kümeye ayırdık:
Küme A: Yüksek anlamsal değere sahip veri kümeleri (6 veri kümesi)
Özellikler: Özellikler, zengin metin açıklamaları, gerçek dünya anlamı taşıyan kategorik etiketler (örneğin, "doktor ücreti dondurma") veya alana özgü terminoloji içerir.
- Veri kümeleri:
- silindir_bantları: Endüstriyel baskı hataları.
- Titanik: Yolcuların isimleri ve unvanları.
- Oy verme: Kongre oylama kayıtları (Politikalar hakkında kategorik "Evet/Hayır").
- meme_kanseri: Tümörlerin tıbbi tanımları.
- spambase: E-posta kelime sıklıkları.
- Şarap: Kimyasal kökenleri.
Küme B: Karma iş verileri (6 veri seti)
Özellikler: Çoğu kurumsal veritabanında bulunan standart tablo formatı; sayısal değerler (maaş, yaş) ve kategorik dizelerin (iş unvanı, ırk, departman) bir karışımı.
- Veri kümeleri:
- Çalışan maaşları: İş unvanları ve maaşlar arasındaki ilişki.
- Compas: Suç geçmişi ve demografik bilgiler (Hassas özellikler).
- adult_income: Nüfus sayımı demografik verileri.
- credit_g: Alman kredi risk profilleri.
- default_credit: Tayvan kredi temerrüt verileri.
- araç_değerlendirmesi: Araç satın alma parametreleri.
Küme C: Düşük anlamsal/saf sayısal veriler (5 veri seti)
Özellikler: Özellikler soyut ölçümler, sensör okumaları veya fiziksel koordinatlardır. Sütun adları genellikle önemli değildir; yalnızca matematiksel ilişkiler önemlidir.
- Veri kümeleri:
- higgs_100k: Fizik parçacık kinematiği.
- Elmaslar: Fiziksel boyutları ve fiyatı.
- Sonar: Frekans enerjisi yansımaları.
- california_housing: Enlem/Boylam koordinatları ve nüfus sayımı istatistikleri.
- ev satışları: King County emlak piyasası (çoğunlukla sayısal özellikler).
4. Detaylı İnceleme: SAP'nin Başarı ve Başarısızlık Noktaları
Analiz çerçevesini sonuçlarımıza uyguladığımızda dört farklı performans modeli ortaya çıkıyor. Aşağıdaki tablo, SAP'nin hangi alanlarda üstün olduğunu ve hangi alanlarda yetersiz kaldığını özetliyor.
İlişkisel temel modellerinin kavramsal temelleri
İlişkisel temel modelin ana amacı, yapılandırılmış tablolar üzerinde doğru tahminler yapmak ve çeşitli görevleri yerine getirmektir. Bu modeller, bilginin farklı tablolarda nasıl temsil edildiğini, varlıkların ilişkiler yoluyla nasıl birbirine bağlandığını ve zamansal bilginin sonuçları nasıl etkilediğini anlamalıdır.
Bu tür modellerin temel yetenekleri şunlardır:
- Şema genellemesi: Sıfırdan yeniden eğitim gerektirmeden yeni ilişkisel şemalara uyum sağlama yeteneği.
- Birleşik girdi gösterimi: Sayısal, kategorik ve metinsel özellikler gibi farklı sütun türlerinin işlenmesi.
- Zamansal ve yapısal bağlamın entegrasyonu: Birincil ve yabancı anahtarlarla bağlantılı varlıklar arasında ve zaman içindeki bağımlılıkların yakalanması.
- Aktarılabilirlik: Ön eğitim ve sıfır atışlı öğrenme yoluyla yeni veri kümeleri üzerinde tahmine dayalı görevler gerçekleştirme.
Griffin
Griffin, birleşik bir ilişkisel temel model oluşturmaya yönelik ilk büyük ölçekli girişimlerden biridir. İlişkisel verileri zamansal, heterojen bir grafik olarak temsil eder; burada her satır bir düğüm olur ve kenarlar yabancı anahtar ilişkilerine karşılık gelir. Başlıca özellikleri şunlardır:
Birleşik özellik kodlayıcı
- Kategorik ve metin özellikleri önceden eğitilmiş bir metin kodlayıcı ile kodlanırken, sayısal değerler öğrenilmiş bir kayan nokta kodlayıcı kullanır.
- Tablo adları, sütun adları ve kenar türleri gibi veriler, modelin ilişkisel şemayı tanımasına yardımcı olmak için gömülüdür.
- Görev gömme yöntemleri, tek bir modelin paylaşılan kod çözücülerle regresyon ve sınıflandırma görevlerini gerçekleştirmesini sağlar.
Mesaj iletimi ve dikkat
Griffin, mesaj iletimli sinir ağlarını çapraz dikkat modülüyle entegre eder. Mesaj iletim bileşeni, ilişkiler içindeki ve ilişkiler arasındaki bilgileri toplarken, çapraz dikkat her satırdaki ilgili hücrelere odaklanır. Bu tasarım, modelin çeşitli verileri işlemesine ve bağlantılı varlıklar arasında bağlamı korumasına yardımcı olur.
Ön eğitim ve ince ayar
Model, maskelenmiş hücre tamamlama görevi aracılığıyla tek tablolu veri kümeleri üzerinde önceden eğitilir ve daha sonra belirli görevler için ilişkisel veritabanlarında ince ayar yapılır . Büyük ilişkisel kıyaslama testleri üzerinde yapılan deneyler, Griffin'in hem doğruluk hem de transfer öğrenme verimliliği açısından geleneksel GNN taban modellerinden ve tek tablolu modellerden daha iyi performans gösterdiğini ortaya koymaktadır.
Şekil 1: Griffin Model Çerçevesini gösteren grafik. 1
İlişkisel dönüştürücü
Griffin grafik toplama üzerine odaklanırken, İlişkisel Dönüştürücü (RT) dönüştürücü mimarilerini doğrudan ilişkisel veritabanlarına uygular. Her hücreyi, değeri, sütun adı ve tablo adıyla zenginleştirilmiş bir belirteç olarak ele alır.
Giriş temsili
Her bir jeton şunları birleştirir:
- Veri türüne (sayısal, metin veya tarih/saat) bağlı bir değer gömme.
- Tablo ve sütun metinlerinden bir şema gömme işlemi oluşturulur.
- Ön eğitim sırasında değer gizlendiğinde maske belirteci kullanılır.
Bu yapı, RT'nin tutarlı bir giriş formatını korurken farklı şemalara sahip ilişkisel veritabanlarını işlemesini sağlar.
İlişkisel ilgi
RT, hücre düzeyinde işleyen ilişkisel bir dikkat mekanizması sunar. Bu mekanizma şunları içerir:
- Sütunlar içindeki değer dağılımlarını öğrenmek için sütunlara dikkat edin .
- Aynı satır içindeki veya bağlantılı üst satırlardaki öznitelikleri birleştirmeye yönelik özellik dikkat çekicidir .
- Bağlantılı alt satırlardan gelen bilgileri bir araya getirmek için komşu dikkat mekanizması .
Birlikte ele alındığında, bu dikkat katmanları, satırlar, sütunlar ve tablolar arasındaki bağımlılıkları modelleyen ilişkisel bir grafik dönüştürücü oluşturur.
Eğitim ve transfer sonuçları
RT, RelBench'ten alınan ilişkisel veritabanları üzerinde önceden eğitilmiştir. Deneylerde, önceden eğitilmiş model, sıfır atışlı ayarlarda tamamen denetimli modellerin performansının %94'üne kadar ulaşmıştır. Ayrıca, ince ayar sırasında daha hızlı öğrenmiş ve yüksek doğruluğa ulaşmak için daha az eğitim adımı gerektirmiştir. 2
Bu yaklaşım, ilişkisel veritabanlarının alanlar arasında aktarılabilir kalıpları paylaştığını ve hücre düzeyinde belirteçlemenin yapılandırılmış veriler üzerinde tahmine dayalı görevler için pratik bir temel sağladığını öne sürmektedir.
RelBench
RelBench, ilişkisel veritabanlarındaki birden fazla ilişkili tabloda dağıtılmış verilerden uçtan uca öğrenmeye odaklanan ilişkisel derin öğrenmeyi geliştirmek için tasarlanmıştır.
İlişkisel veritabanları endüstri ve bilim genelinde baskın veri yönetim sistemi olmaya devam ettiğinden, RelBench, manuel özellik düzleştirmeye dayanmak yerine doğrudan ilişkisel yapılar üzerinde çalışan modelleri değerlendirmek için standartlaştırılmış ve tekrarlanabilir bir çerçeve sağlar.
RelBench'in önceki sürümleri, sağlık, sosyal ağlar , e-ticaret ve spor gibi alanları kapsayan 11 ilişkisel veritabanı ve hem zorlayıcı hem de alanla ilgili olacak şekilde tasarlanmış 70 tahmin görevi sunmuştur. 3
Ocak 2026'da, dört yeni veritabanı (SALT, RateBeer, arXiv ve MIMIC-IV) ve 40 ek tahmin görevi içeren RelBench v2 yayınlandı. Bu ek görevler arasında, bir modelin ilişkisel bir veritabanındaki mevcut sütunları tahmin etme yeteneğini değerlendiren yeni bir Otomatik Tamamlama görevi sınıfı da yer alıyor.
Bu sürüm ayrıca CTU entegrasyonu yoluyla veri erişimini genişleterek ReDeLEx aracılığıyla 70'ten fazla ilişkisel veri kümesine erişim sağladı; doğrudan SQL veritabanı bağlantısı ekledi ve 4DBInfer deposundan RelBench formatında yedi veri kümesini bünyesine kattı.
RelBench, veri kümeleri ve görevlerin ötesinde, grafik sinir ağlarına dayalı ilişkisel derin öğrenme için açık kaynaklı bir referans uygulaması sunar; grafik oluşturma için PyTorch Geometric ve tablo modelleme için PyTorch Frame kullanır ve ilerlemeyi izlemek için herkese açık bir liderlik tablosu içerir.
V2 sürümü ayrıca, isteğe bağlı zaman sınırlı etiketler, bağlantı tahmininde NDCG metriği desteği, daha hızlı cümle gömme oluşturma ve yapılandırılabilir önbellek yönetimi de dahil olmak üzere çok sayıda kullanılabilirlik ve performans iyileştirmesi getirdi. 4
VIEIRA
VIEIRA, tek bir tahmin motoru oluşturmak yerine temel modellerle programlamaya odaklanarak farklı bir yaklaşım benimser. SCALLOP olasılıksal mantık derleyicisini , büyük dil modellerini , görüntü modellerini ve diğer önceden eğitilmiş bileşenleri yabancı önermeler olarak entegre eden bildirimsel bir dille genişletir. 5
İlişkisel paradigma
VIEIRA'da temel modeller, ilişkisel girdilere ve çıktılara sahip durumsuz fonksiyonlar olarak ele alınır. Bu, GPT, CLIP veya SAM gibi modellerin mantıksal kurallara göre oluşturulmasını sağlar. Örneğin:
- Bir program, GPT'yi kullanarak metinden bilgi çıkarabilir ve bunu yapılandırılmış ilişkiler olarak depolayabilir.
- CLIP, görüntüleri sınıflandırabilir ve bunları bir tabloda metinsel etiketlerle ilişkilendirebilir.
Uygulamalar
Bu çerçeve şunları destekler:
- GPT kullanarak veri ve matematiksel akıl yürütme.
- Metin çıkarma ve mantıksal çıkarım kullanarak akrabalık ilişkisi kurma.
- Bilgi edinme ve mantıksal çıkarımı birleştiren soru cevaplama sistemi.
- Çok modlu kompozisyon yoluyla görsel soru cevaplama ve görüntü düzenleme.
VIEIRA, sembolik mantığı ve sinirsel çıkarımı birleştirerek, veri analistlerinin ve geliştiricilerin, yapılandırılmış veriler ve görüntüler üzerinde tahmine dayalı sorguları yanıtlamak için önceden eğitilmiş temel modelleri kullanan yorumlanabilir sistemler oluşturmasına olanak tanır.
Vaka incelemeleri
SAP Hana Cloud
SAP HANA Cloud, işlemleri, analitiği ve yapay zekayı birleştiren kurumsal uygulamalar için birleşik bir veri temeli görevi görmek üzere tasarlanmış, bulut tabanlı, tamamen yönetilen bir veritabanı hizmetidir. Tek amaçlı ilişkisel bir veritabanı olmaktan ziyade, SAP HANA Cloud, kuruluşların operasyonel iş verileri üzerine "akıllı veri uygulamaları" oluşturmalarını sağlayan çok modelli bir platform olarak konumlandırılmıştır.
SAP HANA Cloud, farklı performans ve maliyet gereksinimlerini desteklemek için bellek içi işlemeyi disk tabanlı depolama ve veri gölü entegrasyonuyla birleştirir. Bu esnek tasarım, veri hacimleri ve kullanım dalgalanmalarına göre dinamik olarak ölçeklenirken gerçek zamanlı iş yüklerini destekler.
En önemli ayırt edici özelliklerinden biri, tek bir veritabanı içinde ilişkisel, JSON/belge, grafik, mekansal ve vektör verilerini destekleyen yerel çok modelli motorudur. Bu, uygulamaların verileri ayrı sistemler arasında taşımadan SQL sorgularını, grafik ilişkilerini ve vektör benzerliği aramasını birleştirmesini sağlayarak mimariyi basitleştirir ve gecikmeyi azaltır.
SAP İş Teknolojisi Platformu'nun bir parçası olan SAP HANA Cloud, çoğaltma gerektirmeyen canlı erişim de dahil olmak üzere SAP ve SAP dışı veri kaynaklarıyla doğrudan entegre olur ve varsayılan olarak kurumsal düzeyde güvenlik, kullanılabilirlik ve uyumluluk sağlar.
Genel olarak, SAP HANA Cloud, ilişkisel veritabanının analitik, çok modelli veri ve kurumsal yapay zeka uygulamaları için temel katman görevi gördüğü, ilişkisel odaklı, yapay zeka tabanlı bir veri platformudur.
Şekil 2: Hana'nın birleşik veritabanını gösteren görüntü ve
Çok modlu veri işleme. 6
SAP'nin sap-rpt-1'i
sap-rpt-1, bağlam içi öğrenme yoluyla çok çeşitli tahmin görevlerini gerçekleştiren tek bir ilişkisel temel model sunar. Kullanıcılar, her kullanım durumu için yeni bir model eğitmek yerine, "zamanında ödeme yapan müşteriler" ve "geç ödeme yapan müşteriler" gibi hedef kalıplarına dair birkaç örnek verirler. Model daha sonra kalıbı tanır ve yeni veriler için anında doğru tahminler üretir.
Model, satırlar ve sütunlar arasındaki ilişkileri yakalayan ve aynı zamanda tablo ve sütun adları gibi meta verileri vektör gömülerine yerleştiren iki boyutlu bir dikkat mekanizmasıyla tasarlanmıştır. Bu tasarım, ilişkisel şemaların anlamsal yapısını ve iş tablolarındaki zamansal bilgileri anlamasına olanak tanır.
SAP'nin yaklaşımı, veri analistleri ve işletme kullanıcıları için çeşitli avantajlar sağlıyor:
- Birden fazla tablo ve etki alanında çalışan tek bir model.
- Tekrarlanan ince ayarlara veya özel geliştirmeye gerek yok.
- Tahminlere ilişkin bilgilere haftalar yerine dakikalar içinde erişim.
- Mevcut veri ambarları ve SAP sistemleriyle entegrasyon.
SAP ekosistemine sap-rpt-1'i entegre ederek, iş uzmanları kendi verileriyle doğrudan etkileşim kurabilir ve sezgisel arayüzler aracılığıyla tahminler alabilirler. Sonuç olarak, manuel özellik mühendisliğine gerek kalmadan yapılandırılmış verilerden eyleme geçirilebilir kararlara daha hızlı bir yol sağlanır.
Şekil 3: SAP alanları genelinde sap-rpt-1-large ve narrow-AI temel sürümlerinin hata azaltma faktörü.
2025 yılının sonlarına doğru SAP, SAP-RPT-1'in SAP AI Foundation (SAP AI Core) içindeki üretken yapay zeka merkezi aracılığıyla genel kullanıma sunulduğunu doğruladı.
Model iki üretim varyantında sunulmaktadır:
- SAP-RPT-1-small, düşük gecikme süresi ve yüksek verimlilikte tahminler için optimize edilmiştir.
- SAP-RPT-1-large, tahmin doğruluğunu önceliklendirmek üzere tasarlanmıştır.
Bu sürüm, SAP-RPT-1'in yalnızca araştırma amaçlı bir yetenek olmaktan ziyade, SAP'nin kurumsal yapay zeka yığını içinde konuşlandırılabilir bir temel model olarak rolünü resmileştiriyor.
Ek olarak, SAP, kullanıcıların kendi verilerini veya SAP tarafından sağlanan örnek verileri kullanarak bağlam içi öğrenmeyi test edebilecekleri , kod gerektirmeyen , web tabanlı bir ortam olan SAP-RPT Playground'u sunmaktadır.
SAP-ABAP-1
SAP-ABAP-1, SAP müşterileri ve iş ortakları için yapay zeka tabanlı geliştirici verimliliği kullanım senaryolarını desteklemek üzere tasarlanmış bir temel modeldir.
SAP'nin üretken yapay zeka merkezi aracılığıyla erişilebilen bu model, 250 milyondan fazla satır ABAP kodu, 30 milyon satır CDS kodu ve kapsamlı teknik dokümantasyon üzerinde eğitilmiştir. Model, ABAP kodunu anlamak ve açıklamak, en iyi uygulamaları ortaya çıkarmak ve güncel SAP geliştirme bilgisine erişim sağlamak üzere optimize edilmiştir.
SAP, üretken yapay zeka merkezi aracılığıyla SAP-ABAP-1'e ücretsiz deneme erişimi sunuyor ve 2026'da ek özelliklerin piyasaya sürülmesi planlanıyor. 7
Kumo.AI'nin KumoRFM'si: tahmine dayalı analiz için ilişkisel grafik dönüştürücü.
Stanford Üniversitesi profesörü Jure Leskovec tarafından kurulan Kumo.AI, ilişkisel veritabanlarını ve veri ambarlarını analiz etmek için ilişkisel grafik dönüştürücü kullanan KumoRFM adlı bir ilişkisel temel model geliştirdi. Bu model, ilişkisel verileri zamansal, heterojen bir grafik olarak temsil eder; burada her varlık bir düğümdür ve birincil ve yabancı anahtarlar tablolar arasında kenarlar oluşturur.
Bu grafik tabanlı yaklaşım, KumoRFM'nin aynı anda birden fazla tablodan öğrenmesini ve yeni ilişkisel şemalara uyum sağlamasını mümkün kılar. Model, çeşitli veri kaynakları üzerinde önceden eğitilmiştir ve her tahmin görevi için ayrı modeller oluşturmaya gerek kalmadan yeni veri kümelerine genelleme yapabilir.
KumoRFM, kullanıcının uzmanlık seviyesine bağlı olarak farklı arayüzler aracılığıyla kullanılabilir:
- PQL (Tahminleyici Sorgu Dili): Yapılandırılmış veriler üzerinde tahminleyici sorgular tanımlamak için kullanılan özel bir sorgu dili.
- Doğal dil arayüzü: Teknik bilgisi olmayan kullanıcılar için, doğal dil girdileri otomatik olarak PQL sorgularına çevrilir.
- Python SDK: Geliştiricilerin modeli kurumsal yapay zeka işlem hatlarına ve uygulamalarına entegre etmelerini sağlar.
KumoRFM mimarisi, bağlam alt grafikleri ve tahmin alt grafikleri oluşturmak için veritabanından dinamik olarak örnekleme yapar. Bu alt grafikler, ilgili varlıklar arasındaki bağımlılıkları ve zamansal bilgileri yakalayan ilişkisel grafik dönüştürücü tarafından işlenir. Bağlam içi öğrenme yoluyla, model doğru tahminler sunar ve akıl yürütme sürecini açıklayabilir.
Kumo, kurumsal ortamlara uygun iki dağıtım seçeneği sunmaktadır:
- SaaS platformu: Kolay erişim ve ölçeklendirme için Apache Spark üzerine kurulu bulut tabanlı bir hizmet.
- Veri ambarı yerel: Kuruluşların kendi verilerini güvenli ortamlarının dışına taşımadan Snowflake veya Databricks içinde kullanmalarına olanak tanır.
Manuel şema tanımlaması gerektiren geleneksel bilgi grafiklerinin aksine, KumoRFM ilişkisel grafiğini yapılandırılmış kaynaklardan otomatik olarak oluşturur. Bu özelliğiyle, ilişkilerin, zamansal kalıpların ve gelişen bağlamın güvenilir tahminler için hayati önem taşıdığı e-ticaret, finans ve sağlık sektörleri için oldukça uygundur.
KumoRFM'nin temel yetenekleri şunlardır:
- Farklı tablolar ve şema yapıları arasında esneklik.
- Çeşitli sütun türleri ve özel tanımlayıcılarla uyumluluk.
- Çıkarım yapma sürecinde belirli görevlere uyum sağlama.
- Tahmin görevlerinde yüksek doğruluk ve yorumlanabilirlik.
Şekil 4: Görsel, İlişkisel Temel Modellerinin (RFM'ler) e-ticaret, finans ve sağlık hizmetleri gibi çeşitli alanlarda tahminlerde bulunmak, açıklamalar sunmak ve sonuçları değerlendirmek için nasıl işlev gördüğünü göstermektedir. 8
Kıyaslama metodolojisi
Kıyaslama kurulumu ve ortamı
CPU tabanlı ağaçlar ve GPU hızlandırmalı modeller arasında adil karşılaştırmalar sağlamak için, her ikisini de verimli bir şekilde işleyebilen yüksek performanslı bir ortam kullandık.
- Donanım: NVIDIA H200 140GB GPU'lu RunPod örneği.
- Yazılım: Tekrarlanabilirliği sağlamak için sabitlenmiş kütüphanelerle birlikte Python 3.12:
- scikit-learn 1.5.2, lightgbm 4.5.0, catboost 1.2.7
- torch 2.5.1, pandas 2.2.3, numpy 2.1.3
- sap-rpt-oss (Kaynak: Resmi GitHub)
- Tekrarlanabilirlik: random_state=42 değeri tüm bölmelerde, başlatmalarda ve modellerde tutarlı bir şekilde kullanılmıştır.
Veri kümeleri: Semantik spektrum
Modelleri, OpenML ve Scikit-Learn'den alınan 17 denetimli öğrenme veri kümesi üzerinde değerlendirdik. Rastgele seçim yerine, bu veri setini "Semantik-Sayısal Spektrum"u kapsayacak şekilde derledik ve LLM'lerin özelliklerin yalnızca ham istatistiklerden ziyade dilsel anlam içerdiği durumlarda üstün performans gösterdiği hipotezini test ettik.
Envanter:
- Küçük ve anlamsal (<1K satır):
- şarap (178), sonar (208), oy (435), silindir bantları (540), meme kanseri (569).
- Orta/karma (1K – 10K sıra):
- credit_g (1K), titanic (1.3K), car_evaluation (1.7K), spambase (4.6K), compas (5.2K), employee_salaries (9.2K).
- Büyük/sayısal (10.000'den fazla satır):
- Kaliforniya konutları (20K), ev satışları (21K), temerrüt kredisi (30K), yetişkin geliri (48K), elmaslar (53K), Higgs (100K'ya örneklenmiştir).
Ele alınan konular:
- 11 İkili Sınıflandırma görevi
- 2 Çok Sınıflı Sınıflandırma Görevi
- 4 Regresyon görevi
Model yapılandırmaları ve ön işleme
Amacımız, kapsamlı hiperparametre ayarlaması yerine güçlü varsayılan değerler kullanarak gerçekçi bir "uygulayıcı karşılaştırması" sağlamaktı.
LightGBM ve CatBoost
Hesaplama açısından yoğun olan SAP modeliyle adil bir karşılaştırma sağlamak için, sağlam varsayılan değer tahmincilerini artırdık.
- LightGBM: n_estimators=500, learning_rate=0.05, num_leaves=31. CPU üzerinde çalışır (n_jobs=-1).
- CatBoost: yineleme sayısı=500, öğrenme oranı=0,05, derinlik=6. GPU üzerinde çalışır (task_type="GPU").
- Ön işleme: Kategorik veriler için basit etiket kodlaması; sayısal veriler için ölçeklendirme yok; eksik değerler için medyan/mod ataması.
SAP-RPT-1-OSS
Ön denemelerimiz sonucunda performans ve maliyet arasında denge kuracak şekilde SAP'yi yapılandırdık.
- Yapılandırma: max_context_size=4096, bagging=4.
- Not:
- Bağlam: adult_income üzerinde yapılan testler, bağlamın 4096'dan 8192'ye çıkarılmasının, doğrulukta ihmal edilebilir bir artış (0,917'ye karşı 0,917 ROC-AUC) karşılığında çalışma süresini üç katına çıkardığını (4 dakikadan 12 dakikaya) gösterdi.
- Torbalama: Torbalama sayısını 4'ten 8'e çıkarma (makalede kullanılan SAP'nin varsayılan ayarı) 9 ) azalan getiriler sunuyordu.
- Ön işleme: Yok. Ham pandas DataFrame doğrudan aktarılıyor. Model, metin gömme yöntemini (sentence-transformers/all-MiniLM-L6-v2) kullanarak kodlama yapıyor.
Değerlendirme protokolü
Çapraz doğrulama stratejisi
Karıştırma yöntemiyle 3 aşamalı çapraz doğrulama kullandık.
- SAP'nin yavaş çıkarım sürelerini telafi etmek için standart 5 katlı yöntemi 3 katlıya indirdik (zaman tasarrufu %40) ve istatistiksel geçerliliği koruduk.
- Bölme: Sınıflandırma için StratifiedKFold; regresyon için Standard K-Fold.
Ölçümler ve teşhisler
Basit doğruluk sınırlarının ötesine geçerek, model performansına dair bütünsel bir bakış açısı elde ettik:
- Başlıca sıralama ölçütleri: ROC-AUC (İkili), Dengeli Doğruluk (Çok Sınıflı), R² (Regresyon).
- İkincil tanılama: Kazanımların sınıf dengesizliğinden kaynaklanan bir durum olmadığından emin olmak için Matthews korelasyon katsayısını (MCC) ve log kaybını , regresyon hatası kalibrasyonu için ise MAPE'yi izledik.
- Maliyet hesaplaması: RunPod H200 örneğinde geçirilen toplam süreye (ön işleme + eğitim + çıkarım) göre hesaplanmıştır (3,59$/saat).
İstatistiksel anlamlılık
Performans farklılıklarının istatistiksel olarak anlamlı olup olmadığını veya rastgele gürültüden kaynaklanıp kaynaklanmadığını belirlemek için ikili model karşılaştırmalarına Wilcoxon işaretli sıralama testi (p<0,05) uyguladık.
Sınırlamalar ve iç geçerlilik
Yöntemimizde aşağıdaki kısıtlamaları açıkça kabul ediyoruz:
- Standartlaştırılmış yapılandırmalar ve ayarlama: Tüm modeller için kapsamlı hiperparametre optimizasyonu (örneğin, iç içe çapraz doğrulama veya Optuna taramaları) yapmak yerine, sabit ve güçlü varsayılan yapılandırmalar kullandık. Bu, tutarlı bir temel sağlarken, Ağaç modellerinin genellikle veri kümesine özgü ayarlamalarla performans artışı gösterdiğini ve bunun da "Rekabetçi" kümedeki marjları daraltabileceğini belirtmekte fayda var.
- Veri ölçeği sınırları: Analizimiz, tipik orta ölçekli işletme senaryolarını simüle etmek için 100.000 satırdan az veri içeren veri kümelerine odaklandı. Veri hacmi arttıkça LLM'nin avantajının azaldığını gözlemledik, ancak çıkarım gecikmesi ve maliyetinin muhtemelen birincil kısıtlamalar haline geleceği milyon satırlık ölçeklere testlerimizi genişletmedik.
- Altyapı tekdüzeliği: Tutarlı bir test ortamı sağlamak için tüm modelleri aynı NVIDIA H200 donanımı üzerinde çalıştırdık. LightGBM ve CatBoost, standart işlemciler için oldukça optimize edilmiştir; bu nedenle, yalnızca Tree modellerine ayrılmış bir üretim ortamında, maliyet farkı muhtemelen daha büyük olacaktır.
- Anlambilimin ötesinde genelleme: "Anlamsal Spektrum" hipotezimiz birçok sonucu başarıyla tahmin etti, ancak LLM'nin sonar ve california_housing gibi soyut veri kümelerindeki güçlü performansı, dilbilimsel anlayışın ötesinde yeteneklere sahip olduğunu gösteriyor. Bu, modelin yüksek boyutlu düzenleme kalıplarından da yararlanıyor olabileceğini gösteriyor; bu olgu, bu ilk çalışmanın kapsamının ötesinde daha fazla araştırma gerektiriyor.
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.