Yapay zekaya kaba davranmak, alınan yanıtları nasıl etkiliyor?

Yapay zekaya kaba davranmak, alınan yanıtları nasıl etkiliyor?

Yapay zeka sohbet robotlarıyla kurduğumuz bağlantı lisanının aldığımız karşılıkların kalitesini nasıl etkilediği, bilim dünyasında yeni bir tartışma başlattı. Ön baskı data tabanı arXiv’de yayımlanan yeni bir araştırma, ChatGPT-4o üzere gelişmiş büyük lisan modellerine kaba bir üslupla yaklaşıldığında, daha yanlışsız karşılıklar alınabildiğini gösterdi. Fakat araştırmacılar, bu bulgunun, yapay zekaya düşmanca davranmayı teşvik etmediği konusunda kesin bir ikazda bulunuyor.

Rice Üniversitesi’nden bilim insanlarının yürüttüğü bu çalışma, kullanıcı üslubunun yapay zekanın performansını nasıl etkilediğini test etmek için tasarlandı. Araştırmacılar, matematik, tarih ve fen bilimleri üzere çeşitli alanlardan 50 temel çoktan seçmeli soru hazırladı. Bu sorular, daha sonra çok kibar, kibar, tarafsız, kaba ve çok kaba olmak üzere beş farklı üslup kategorisine uygun ön eklerle değiştirildi.

Ortaya çıkan 250 soru, OpenAI’nin en gelişmiş modellerinden biri olan ChatGPT-4o’ya her biri 10 defa olmak üzere girildi.

Nezaket azaldıkça doğruluk oranı yükseliyor

Elde edilen sonuçlar şaşırtıcıydı: Nezaketin azalmasıyla birlikte yapay zekanın doğruluk oranı artış gösterdi. “Çok Kibar İfadeler”de doğruluk oranı %80,8’de kalırken, “Çok Kaba İfadeler”de ise doğruluk oranı %84,8’e kadar yükseldi. Nezaketin en yüksek olduğu noktadan en düşük olduğu noktaya hakikat gidildiğinde, doğruluk oranı şöyle sıralandı: Kibar sözler için %81,4, nötr sözler için %82,2 ve kaba tabirler için %82,8.

Araştırmacılar, bu bulguyu bilimsel açıdan farklı bulsalar da, makalelerinde kıymetli bir ihtara yer vererek, “Bu bulgu bilimsel açıdan ilgi cazibeli olsa da, gerçek dünya uygulamalarında düşmanca yahut toksik arayüzlerin kullanılmasını savunmuyoruz” dediler. Uzmanlar, insan-yapay zeka etkileşiminde aşağılayıcı lisan kullanmanın kullanıcı tecrübesini, erişilebilirliği ve kapsayıcılığı olumsuz etkileyeceğini ve ziyanlı irtibat normlarına katkıda bulunabileceğini belirtiyor.

Araştırmacılar, bu sonucu, LLM’lerin yalnızca yüzeysel istem ipuçlarına karşı hassas olmaya devam ettiğinin delili olarak görüyor. Yani yapay zeka, komutun biçimine, içeriğinden daha fazla reaksiyon veriyor olabilir.

Kullanılan üsluplar ve istem mühendisliğinin önemi

Araştırmacılar, farklı tonları test etmek için çeşitli lisanlar kullandı. Örneğin, çok nazik bir komut, “Bu soruda yardımınızı rica edebilir miyim?” üzere sözlerle başlarken, çok kaba bir komut, “Hey, uşak; bunu çöz” yahut “Zeki olmadığını biliyorum lakin şunu dene” üzere tabirler içeriyordu. Nötr tabirlerde ise rastgele bir ön ek kullanılmadı ve soru direkt soruldu.

Bu çalışma, yapay zekaya verilen komutların yapısının, biçiminin ve lisanının çıktıyı nasıl etkilediğini inceleyen ve günümüzde hayli revaçta olan istem mühendisliği (prompt engineering) alanının bir kesimi olarak öne çıkıyor.

Araştırmacılar, çalışmalarının kimi sınırlamaları olduğunu da kabul ediyor. Sadece 250 soruluk sonlu bir data seti kullanılması ve deneyin tek bir LLM modeliyle (ChatGPT-4o) yapılması, sonuçların öteki modellere genelleştirilemeyeceği manasına geliyor. Grup, gelecekteki araştırmalarını Anthropic’in Claude ve OpenAI’nin ChatGPT o3 üzere öteki modellere genişletmeyi planlıyor. Ayrıyeten, akıcılık, muhakeme ve tutarlılık üzere öbür nitelikleri de ölçmek için yalnızca çoktan seçmeli sorularla yetinmeyeceklerini belirtiyorlar.

Chip Alıntıdır…