İçerik Haritası
VaultGemma tanıtıldı: AI eğitiminde ezberlemeyi önleyen model
Daha büyük yapay zekâ modelleri geliştirmek isteyen şirketler, giderek kaliteli eğitim verisi bulmakta zorlanıyor. Firmalar interneti tarayarak yeni datalar ararken, kullanıcıların hassas bilgilerinin de bu süreçte modele dahil olma riski artıyor. Google Research takımı ise büyük lisan modellerinin (LLM) bu dataları “ezberlemesini” önlemek için yeni prosedürler üzerinde çalışıyor.
LLM’lerin ezberleme riski
LLM’ler her vakit öngörülebilir sonuçlar vermiyor; tıpkı girişe farklı cevaplar üretebiliyor. Lakin kimi durumlarda eğitim verisindeki sözleri birebir tekrar edebiliyorlar. Şayet bu datalar şahsî bilgileri içeriyorsa, kullanıcı saklılığı ihlal edilebiliyor. Telif hakkıyla korunan içeriklerin çıktılarda yer alması ise geliştiriciler için başka bir sorun oluşturuyor.
Bu noktada devreye differential privacy (farklılaştırılmış gizlilik) giriyor. Eğitim sürecinde denetimli gürültü eklenerek modelin bilgileri direkt ezberlemesi engelleniyor.
Performans ve kaynak dengesi
Farklılaştırılmış zımnilik, modellerin doğruluk oranını ve süreç gücü gereksinimini etkiliyor. Google grubu, bunun yapay zekâ modellerinin ölçeklenme maddelerini nasıl değiştirdiğini araştırdı. Çalışmalar, performansın “gürültü-veri oranına” bağlı olduğunu ortaya koydu.
Sonuçlara nazaran, daha fazla gürültü çıktıları zayıflatıyor. Lakin bu durum, daha büyük bir süreç gücü (FLOPs) ya da daha fazla eğitim verisiyle dengelenebiliyor.
VaultGemma: Google’ın yeni kapalılık modeli
Bu araştırmaların sonucu olarak Google, VaultGemma ismini verdiği yeni bir açık yüklü modeli tanıttı. VaultGemma, farklılaştırılmış zımnilik sayesinde ezberleme riskini azaltıyor ve gelecekte Google’ın saklılık odaklı yapay zekâ yaklaşımına taraf verebilecek bir deney niteliği taşıyor.
Model, Google’ın Gemma 2 tabanlı temel modeline dayanıyor ve 1 milyar parametreye sahip. Büyük ölçekli modeller kadar güçlü olmasa da, Google Research, VaultGemma’nın misal boyuttaki standart modellere yakın performans gösterdiğini belirtiyor.
VaultGemma, özel olmayan yapay zeka modellerine kıyasla şaşırtan derecede güzel performans gösteriyor. Kredi: Google Küçük modeller için daha etkili
Araştırmaya nazaran, farklılaştırılmış kapalılık büyük ve genel gayeli modeller için değil, daha küçük ve özel vazifeler için tasarlanmış LLM’ler için daha uygun görünüyor. Bu da şirketlerin, belli yapay zekâ özellikleri için zımnilik odaklı modeller geliştirmesine imkan sağlayabilir.
Kullanıma açıldı
VaultGemma şu anda Hugging Face ve Kaggle üzerinden indirilebiliyor. Modelin yükleri açık paylaşılmış olsa da büsbütün açık kaynak değil. Google, kullanıcıların modeli istedikleri üzere düzenleyip dağıtmasına müsaade veriyor, fakat berbata kullanımın önlenmesi için lisans şartlarına uyulmasını kural koşuyor.
Chip Alıntıdır…
