OpenAI uyardı: Yapay zekâ tarayıcıları asla büsbütün inançlı olmayabilir
OpenAI, yapay zekâ dayanaklı tarayıcıların “prompt injection” akınlarına karşı hiçbir vakit yüzde 100 inançlı hale gelmeyebileceğini kabul ediyor. Fakat şirket, bu durumun dalı pes etmeye zorlamaması gerektiğini vurguluyor. OpenAI’ye nazaran, dolandırıcılara teslim olmak yerine eserleri daha sağlam hâle getirmenin tesirli yolları mevcut.
Şirket, yapay zekâ takviyeli tarayıcısı Atlas üzerine yayımladığı yeni blog yazısında, siber güvenlik risklerini ve bu risklere karşı benimsediği yaklaşımı ayrıntılandırdı. Ortaya konan tablo karamsar olsa da OpenAI, uzun vadede riskleri azaltma konusunda optimist.
“Prompt injection asla büsbütün ortadan kalkmayabilir”
OpenAI, prompt injection taarruzlarını internet üzerindeki dolandırıcılık ve toplumsal mühendislik usullerine benzetiyor. Şirketin blog yazısında şu sözler yer alıyor:
“Prompt injection, tıpkı internet dolandırıcılıkları üzere, muhtemelen hiçbir vakit büsbütün çözülemeyecek. Lakin proaktif ve süratli çalışan bir müdahale döngüsü sayesinde gerçek dünyadaki riskleri vakitle önemli ölçüde azaltabileceğimize inanıyoruz.”
OpenAI’ye nazaran otomatik atak tespiti, saldırganlara karşı özel olarak eğitilen yapay zekâ modelleri ve sistem düzeyindeki güvenlik tedbirleri bir ortaya getirildiğinde, yeni akın tipleri daha erken fark edilebiliyor. Böylelikle güvenlik açıkları daha süratli kapatılıyor ve atakların maliyeti giderek artıyor.
Prompt injection nedir?
Prompt injection, kullanıcının bilgisi yahut onayı olmadan, makûs gayeli bir komutun bir yapay zekâ sistemine gizlice “enjekte edilmesi” manasına geliyor. Bu taarruz cinsinde yapay zekâ, aslında kullanıcının değil saldırganın talimatlarını yerine getiriyor.
Örneğin bir yapay zekâ tarayıcısı, ziyaret edilen bir web sitesinin tüm içeriğini okuyabilecek halde yetkilendirilmiş olabilir. Şayet bu site makûs niyetliyse ya da ele geçirilmişse, sayfa içine gizlenmiş bir komut barındırabilir. Beyaz art plan üzerine beyaz renkle yazılmış bir metin üzere fark edilmesi güç usuller kullanıldığında, yapay zekâ bu komutu algılayıp harekete geçebilir. Üstelik kullanıcı hiçbir şeyin farkına varmayabilir.
Gizli komutlar neler yapabilir?
Bu tıp taarruzlar epey geniş bir tesir alanına sahip. Bâtın bir prompt;
-
Hassas belgelerin dışarı sızdırılmasına
-
Zararlı tarayıcı eklentilerinin indirilip çalıştırılmasına
-
Kullanıcı ismine yetkisiz süreçler yapılmasına
neden olabilir.
OpenAI’nin tahlili: Yapay zekâya karşı yapay zekâ
OpenAI, bu tehdide karşı alışılmışın dışında bir usul izliyor. Şirket, destekli öğrenme (reinforcement learning) ile eğitilmiş bir yapay zekâyı “hacker” rolüne sokarak, sistemlere nasıl sızılabileceğini araştırıyor. Bu saldırgan yapay zekâ, savunma tarafındaki öteki bir yapay zekâ ile daima karşı karşıya getiriliyor.
İki sistemin birbirini alt etmeye çalıştığı bu süreç sonunda, savunma tarafındaki yapay zekâ çok daha güçlü hâle geliyor ve taarruz tekniklerinin büyük kısmını tespit edebilir duruma ulaşıyor. OpenAI, bu metotla prompt injection riskini büsbütün ortadan kaldıramasa da değerli ölçüde denetim altına almayı hedefliyor.
Chip Alıntıdır…
