Engram nedir? Yapay zekâda maliyetleri düşüren yeni eğitim yöntemi
DeepSeek, Peking Üniversitesi iş birliğiyle Engram ismini verdiği yeni bir yapay zekâ eğitim tekniğini tanıttı. Bu yaklaşım, bellek depolama ile hesaplama süreçlerini birbirinden ayırarak, büyük lisan modellerinde uzun müddettir yaşanan performans ve maliyet sıkıntılarına tahlil getirmeyi hedefliyor.
Büyük lisan modellerinde bellek darboğazı
Geleneksel büyük lisan modelleri, bilgiye erişim ve temel hesaplamalar için yüksek bant genişliğine sahip belleklere gereksinim duyuyor. Fakat bu durum, hem sistem performansını sınırlıyor hem de donanım maliyetlerini önemli biçimde artırıyor.
Yüksek bant genişlikli bellek (HBM) gereksiniminin süratle artması, kısa müddette DRAM fiyatlarının yaklaşık 10 haftada 5 katına çıkmasının temel nedenlerinden biri olarak gösteriliyor. Donanım talebindeki bu ani yükseliş, bilhassa büyük ölçekli yapay zekâ projelerini güç durumda bırakıyor.
Gereksiz süreçler, kaybolan potansiyel
Araştırmacılara nazaran mevcut modeller, hesaplama derinliğinin büyük kısmını kolay ve tekrarlayan süreçlere harcıyor. Halbuki bu kaynaklar, daha üst seviye akıl yürütme yeteneklerini desteklemek için kullanılabilir.
Engram, bu noktada devreye girerek modelin temel bilgileri GPU belleğini doldurmadan süratlice “bulup çıkarmasını” sağlıyor. Böylelikle bellek kapasitesi, daha karmaşık çıkarım ve tahlil vazifeleri için özgür bırakılıyor.
Nasıl çalışıyor?
Engram, bilgiye erişimi hash’lenmiş N-gramlar üzerinden gerçekleştiriyor. Bu sayede bellek erişimi, modelin anlık bağlamından bağımsız hâle geliyor ve daha kararlı bir yapı sunuyor.
Elde edilen bilgiler, modelin zımnî durumu ile uyumlu olacak formda bağlam farkındalığına sahip bir kapılama (gating) sistemi ile ayarlanıyor. Bu mimari, uzun bağlamlı girdilerin daha verimli işlenmesini sağlarken, sistem düzeyinde evvelce yükleme (prefetching) dayanağını de en az performans kaybıyla mümkün kılıyor.
Test sonuçları ne gösteriyor?
Engram usulü, 27 milyar parametreli bir model üzerinde test edildi ve kesimde yaygın olarak kullanılan kıyaslama testlerinde ölçülebilir performans artışları sağladı.
Yöntem, Phison’ın yapay zekâ çıkarım hızlandırıcıları üzere donanım dostu tahlillerle birlikte çalışabiliyor. Statik bilgilerin süratli bellek yerine sorgulama yoluyla elde edilmesi, yüksek süratli belleğe olan gereksinimi değerli ölçüde azaltıyor.
SSD ve CXL ile genişleyebilen bellek yapısı
Phison’ın sunduğu SSD tabanlı bellek genişletme tahlilleri, Engram yahut Mixture-of-Experts (MoE) üzere büyük yapay zekâ sistemlerinin toplam bellek kapasitesini daha düşük maliyetle artırmayı mümkün kılıyor.
Bu yaklaşım, tıpkı vakitte GPU bellek darboğazlarını aşmayı hedefleyen CXL (Compute Express Link) standartlarıyla da uyumlu çalışıyor. Sonuç olarak sistemler, süratli belleği daha verimli kullanırken toplam bellek kapasitesini ekonomik biçimde büyütebiliyor.
Hesaplama maliyeti artmadan daha güçlü modeller
Engram, statik örüntü depolamayı dinamik hesaplamadan ayırarak Transformer mimarisini, ek FLOP yahut parametre artışı olmadan güçlendiriyor. DeepSeek, bu yapı için MoE hesaplama modülü ile Engram bellek modülü ortasındaki parametre dağılımını optimize eden U halinde bir genişleme kuralı da tanımladı.
Testler, seyrek parametre bütçesinin yaklaşık %20–25’inin Engram’a ayrılmasının, sırf MoE kullanan modellere kıyasla daha uygun ve ölçeklenebilir sonuçlar verdiğini gösteriyor.
Çoklu GPU ve ölçeklenebilir bellek avantajı
Engram’ın deterministik bilgi erişim sistemi, bellek kapasitesinin birden fazla GPU ortasında doğrusal formda ölçeklenmesini sağlıyor. Çıkarım sırasında asenkron evvelden yükleme takviyesi sunan sistem, alt katmanlardaki statik bilgi yükünü azaltarak dikkat düzeneklerinin global bağlama odaklanmasına imkan tanıyor.
Sık kullanılan gömülü temsiller için uygulanan hiyerarşik önbellekleme, mevcut GPU ve sistem bellek mimarileriyle uyumlu çalışarak kıymetli HBM yükseltmelerine olan gereksinimi azaltabilir.
Donanım maliyetlerine dolaylı etki
Bu yaklaşımın, bilhassa HBM erişimi Samsung, SK Hynix ve Micron üzere üreticilere kıyasla daha hudutlu olan Çin üzere bölgelerde, değerli bellek donanımlarına olan baskıyı azaltabileceği belirtiliyor.
Erken doğrulama sonuçları, Engram sayesinde modellerin parametre ölçeğini ve akıl yürütme kapasitesini artırırken bellek gereksiniminin daha istikrarlı yönetilebildiğini ortaya koyuyor. Bu da uzun vadede DDR5 DRAM fiyatlarındaki ani dalgalanmaların önüne geçilmesine katkı sağlayabilir.
Chip Alıntıdır…
