Yapay Zeka Altyapısı ve Temel Bileşenleri Nasıl Tasarlanır?
Yapay zeka altyapısı, yapay zeka ihtiyaçlarını karşılamak için özel donanım, yazılım ve işletim yöntemlerini bir araya getiren, günümüz yapay zeka uygulamalarının temelini oluşturmaktadır.
Çeşitli sektörlerdeki işletmeler, yapay zekayı ürün ve süreçlerine entegre etmek için bundan yararlanıyor; örneğin, sohbet botları (örneğin, ChatGPT), yüz/konuşma tanıma ve bilgisayar görüşü gibi alanlarda.
Bu makale, yapay zeka altyapısının nasıl çalıştığını, temel bileşenlerini ve geleneksel BT altyapısından nasıl farklı olduğunu açıklamaktadır.
Yapay Zeka Altyapısı Nedir?
Yapay zeka (AI) altyapısı, diğer adıyla yapay zeka yığını, makine öğrenimi ve yapay zeka uygulamalarının geliştirilmesi, eğitilmesi ve dağıtılması için gereken entegre donanım ve yazılım ortamını ifade eder.
Yapay zekâ altyapısına dayanan uygulamalara örnek olarak Google Translate, OpenAI'nin GPT'si ve Google Assistant verilebilir.
Yapay Zeka Altyapısı ile Geleneksel BT Altyapısı Karşılaştırması
Geleneksel BT sistemleri genel amaçlı hesaplama için tasarlanırken, yapay zeka altyapısı özellikle yapay zeka/makine öğrenimi görevlerinin yüksek performanslı hesaplama talepleri için oluşturulmuştur.
Yapay zeka altyapısı, model eğitiminin büyük hesaplamalarını gerçekleştirmek için GPU'lara (Grafik İşlem Birimleri) ve genellikle TPU'lara (Tensor İşlem Birimleri) dayanır. GPU'lar (ve TPU'lar) paralel işlem yetenekleri sunarak büyük ölçekli matris çarpımlarını işlemek için oldukça uygundur.
Geleneksel BT ortamları, web, veritabanı veya ERP sistemleri için genellikle geleneksel merkezi işlem birimleri (CPU'lar) kullanır. Bu ortamlar çoğunlukla web trafiği veya veri depolama gibi görevleri yerine getirir.
Yapay zeka altyapı yığını, makine öğrenimi/derin öğrenme çerçevelerini (TensorFlow ve PyTorch gibi), kütüphaneleri (NumPy ve Pandas) ve dilleri (Python ve CUDA) ve ayrıca modelleri yönetmek için dağıtık hesaplama çerçevelerini (Spark ve Hadoop) içerir.
Buna karşılık, geleneksel BT altyapısı genellikle genel amaçlı yazılımlar (web sunucuları, veritabanları, iş uygulamaları) çalıştırır ve bu yapay zekaya özgü kütüphanelerden yoksundur.
Yapay Zeka Altyapısı Üretken Yapay Zekayı Nasıl Destekliyor?
GPT-4 (LLM) veya DALL-E (metinden görüntüye modeller) gibi üretken yapay zeka modelleri yeni veriler oluşturur ve geliştirilip dağıtılmaları için olağanüstü düzeyde hesaplama altyapısı gerektirir.
Bulut sağlayıcıları (Azure, AWS ve Cloud gibi) ve yapay zeka odaklı veri merkezleri, büyük ölçekli yapay zeka iş yüklerini desteklemek için ultra büyük GPU kümeleri oluşturuyor.
Örneğin, Amazon'un 20.000'den fazla GPU'ya sahip "UltraCluster"ı, özellikle derin öğrenmede kullanılan modern yapay zeka ve makine öğrenimi modellerinin devasa hesaplama gereksinimlerini karşılamak üzere tasarlanmıştır . 1
Son zamanlarda, yapay zeka altyapı sağlayıcıları, üretken yapay zeka iş yükleri için optimize edilmiş özel çalışma ortamları tasarlamaya başladılar. Örneğin, bulut sağlayıcıları, yapay zeka ajanlarının ve büyük dil modellerinin oturumlar arasında uzun süreli bağlamları korumasına olanak tanıyan durum bilgisi içeren çalışma mimarileri geliştiriyor ve bu da geleneksel durum bilgisi içermeyen çıkarımın ötesinde daha karmaşık yapay zeka uygulamalarını mümkün kılıyor.
Yapay Zeka Altyapısı Nasıl Çalışır ve Temel Bileşenleri
Veri depolama:
Bu, şirket içi veya bulut tabanlı veri gölleri, dağıtılmış dosya sistemleri, veri ambarları ve ölçeklenebilir depolama çözümlerini içerebilir. Örneğin, yapılandırılmış veriler için SQL/NoSQL veritabanları ve ham dosyalar için Hadoop HDFS veya bulut nesne depolama.
Veri hacimleri çok büyük olduğundan, yapay zeka depolaması genellikle sadece kapasiteye değil, aynı zamanda darboğaz olmadan işlem katmanını beslemeye devam etmek için NVMe SSD'ler ve paralel dosya sistemleri kullanarak düşük gecikmeli erişime de önem verir.
Hesaplama kaynakları:
GPU'lar (Grafik İşlem Birimleri), yapay zekâ için en yaygın kullanılan işlem motorlarıdır. Yapay zekâ sunucuları, eğitim işlerini ölçeklendirmek için genellikle birden fazla GPU içerir.
Yapay zeka altyapısı, giderek bağımsız GPU'lar yerine, raf tipi yapay zeka platformları etrafında inşa ediliyor. Örneğin, NVIDIA, büyük ölçekli model eğitimi ve çıkarımı için tasarlanmış, GPU'ları, CPU'ları, ağ bağlantısını ve anahtarları tek bir yapay zeka süper bilgisayar sistemine entegre eden Rubin yapay zeka platformunu tanıttı.
Bu sistemler, önceki GPU kümelerine kıyasla çıkarım maliyetlerini önemli ölçüde azaltmayı ve performans verimliliğini artırmayı amaçlamaktadır.
Ağ oluşturma:
Farklı sunuculardaki GPU'ların model parametrelerini sık sık senkronize etmesi gerekir. Yapay zeka altyapısı, büyük veri hacimlerinin hızlı aktarımını kolaylaştırmak için yüksek bant genişliğine ve düşük gecikme süresine sahip ağlar kullanır.
Yapay zeka kümeleri on binlerce hızlandırıcıya ulaştıkça, ağ iletişimi kritik bir darboğaz haline geldi. Hiper ölçekli şirketler, dağıtılmış eğitim sırasında GPU'lar arasında düşük gecikmeli iletişimi desteklemek için giderek daha fazla Spectrum-X Ethernet veya InfiniBand ağları gibi özel yapay zeka ağ yığınları kullanıyor.
Yapay zeka kütüphaneleri:
TensorFlow, PyTorch ve JAX gibi makine öğrenimi çerçeveleri, temel donanım üzerinde sinir ağlarını tanımlamak ve algoritmaları eğitmek için programlama arayüzleri sağlar.
Eğitim çerçevelerine ek olarak, modern yapay zeka altyapısı giderek artan bir şekilde vLLM gibi özel çıkarım ve sunum çerçevelerine ve büyük dil modellerinin dağıtımının verimliliğini artıran optimize edilmiş çalışma zamanı sistemlerine dayanmaktadır.
Bu çerçeveler genellikle, PyTorch'un dağıtılmış veri paralelliği gibi, birden fazla GPU'yu şeffaf bir şekilde kullanmak için hesaplama katmanıyla entegre edilir.
Orkestrasyon ve MLOps araçları:
Orkestrasyon araçları, bilgi işlem kaynaklarını ve iş akışlarını yönetmeye yardımcı olur. Örneğin, Kubernetes (yapay zeka için Kubeflow ile) veya Apache Spark'ın küme yöneticisi, makine öğrenimi işlerini bir küme genelinde planlayabilir.
Modern yapay zeka altyapısı düzenlemesi, giderek artan bir şekilde büyük ölçekli dağıtılmış eğitim ve LLM çıkarım iş yüklerini desteklemektedir. Örneğin, Kubeflow ve Ray gibi araçlardaki son güncellemeler, gelişmiş otomatik ölçeklendirme, dağıtılmış eğitim koordinasyonu ve heterojen bilgi işlem kümeleri arasında donanıma duyarlı zamanlama için özellikler sunmuştur.
Bunlar arasında veri kümeleri ve modellerin sürümlendirilmesi, deneylerin izlenmesi ve makine öğrenimi için sürekli entegrasyon/teslimat gibi özellikler yer almaktadır. Geleneksel altyapıda bu tür makine öğrenimine özgü düzenleme bulunmamaktadır.
Yapay Zeka Altyapısı Nasıl Kurulur?
Yapay zeka altyapısı, veri yönetiminden yapay zeka modellerinin dağıtımına kadar uzanan süreçte her birinin bir rol oynadığı, çeşitli katmanlardan oluşan bir yığına benzetilebilir.
- Bulut mu, şirket içi mi: İlk karar, bulut altyapısını kullanmak, şirket içi geliştirme yapmak veya hibrit bir strateji izlemek arasında seçim yapmaktır.
Bulut tabanlı ve şirket içi yapay zeka altyapısı karşılaştırması
Bulut tabanlı ve şirket içi çözümler arasındaki seçim, maliyet hususlarına, güvenlik gereksinimlerine ve kuruluşun yeteneklerine bağlıdır.
Bulut hizmetleri önemli başlangıç yatırımını ortadan kaldırırken, şirket içi çözümler pahalı donanım (örneğin, GPU sunucuları) satın almayı ve veri merkezi alanına yatırım yapmayı gerektirir. Ancak, satın alındıktan sonra, şirket içi donanım sabit bir maliyetle kullanılabilir.
Bulut bilişimde birim fiyatlandırması genellikle daha yüksek olsa da, esneklik sunar; yalnızca ihtiyaç duyulduğunda ödeme yaparsınız ve boşta kaldığında kaynakları kapatabilirsiniz. Örneğin, 8 GPU'lu yerel bir yapay zeka sistemi olan NVIDIA DGX H200'ün maliyeti 400.000 ila 500.000 dolar arasında değişmektedir. 2
İsteğe bağlı olarak, karşılaştırılabilir bulut çözümü (AWS'nin 8 adet H100 GPU'lu p5.48xlarge örneği) saatte yaklaşık 84 dolara mal oluyor. Sürekli kullanımda bu, yıllık yaklaşık 735.000 dolara denk geliyor; dolayısıyla ilk yatırım bir yıldan kısa sürede geri kazanılmış oluyor.
Tüm büyük bulut sağlayıcıları otomatik ölçeklendirme gruplarını destekler ve yapay zeka hizmetiniz yüke bağlı olarak otomatik olarak küçülebilir. Şirket içi altyapı sunucular ve GPU'larla sınırlıdır.
- Temel bileşenler: Yapay zeka altyapısı oluşturmak, doğru donanım ve yazılım bileşenlerinin bir araya getirilmesi anlamına gelir. Donanım tarafında, merkezi bileşenler işlem hızlandırıcılarıdır ve destekleyici donanımlar arasında yüksek bellekli sunucular ve büyük ölçekli depolama çözümleri bulunur.
- Ölçeklenebilirlik : Yapay zeka projeleri ve modelleri daha karmaşık hale geldikçe, veri kümeleri de genişler. Bu, yapay zeka altyapınızın daha güçlü makineler veya GPU'ların yanı sıra kümenizde ek düğümlere ihtiyaç duyabileceği anlamına gelir. Örneğin, kapasitesi artabilen ölçeklenebilir bir dağıtılmış dosya sistemi kullanmak gibi.
- Maliyet hususları: İki ana maliyet modeli vardır: Sermaye Giderleri (CapEx) ve İşletme Giderleri (OpEx). Şirket içi altyapı, donanım satın alma ve veri merkezi kapasitesi oluşturma gibi sermaye giderlerini (CapEx) içerir. Bulut, maliyetleri İşletme Giderlerine kaydırarak isteğe bağlı bir model sunar. Bu, kullanıcıların önemli ön maliyetlerden kaçınmasını sağlar ve değişken veya öngörülemeyen iş yükleri için verimlidir. Örneğin, sürekli yoğun kullanım için şirket içi çözümlere yatırım yapmak daha uygun maliyetli olabilirken, deneysel iş yükleri için isteğe bağlı bir bulut idealdir.
Web'den elde edilen verilerin yapay zeka iş akışlarını nasıl geliştirdiği
Birçok yapay zeka modeli, OpenAI'nin GPT Serisi, Google'in LLM'leri ve Meta'nın LLaMA'sı gibi web'den kazınmış metin (ve resimler) kullanır. Örneğin, GPT-3 eğitim veri seti, Common Crawl'dan yüz milyarlarca token içeriyordu. 3
Web'den kazınarak elde edilen veri kümeleri, gayri resmi sosyal medya dilini, birden fazla lehçe ve dili, güncel olayları ve tarihi metinleri içerir. Bu çeşitlilik, modellerin farklı stilleri kavramasına yardımcı olur. Statik veya alan sınırlı olabilen derlenmiş veri kümelerinin aksine, sürekli veri kazıma işlemi yapay zeka sistemlerine gerçek zamanlı bilgi sağlayabilir.
Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.