Yeni bir araştırmaya nazaran ChatGPT, bir lisans öğrencisiyle eşleşen yahut onu aşan seviyede sorun çözebiliyor.
Araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 büyük lisan modelinin, zeka testlerinde yahut Amerikan üniversiteye giriş imtihanı SAT üzere imtihanlarda ortaya çıkan muhakeme sorunlarını çözmeleri istendiğinde ABD’li üniversite lisans öğrencileri kadar âlâ performans gösterdiği kaydedildi.
Los Angeles’taki California Üniversitesi’nden psikologlar, GPT-3’ün karmaşık bir formlar dizisindeki bir sonraki manzarayı iddia etme yeteneğini, imgeleri yapay zekanın anlayabileceği bir metin formatına dönüştürdükten ve GPT-3’ün sorularla daha evvel hiç karşılaşmadığından emin olduktan sonra test ettiler.
YÜZDE 80’İNİ HAKİKAT ÇÖZDÜ
Problemler 40 UCLA lisans öğrencisine de uygulandı ve araştırmacılar GPT-3’ün sorunların yüzde 80’ini gerçek çözdüğünü, bu oranın insan iştirakçiler için yüzde 60’ın biraz altında kaldığını belirtti.
Araştırmacılar ayrıyeten modelden, internette yayınlanmadığına ve bu nedenle üzerinde eğitildiği büyük ölçüde bilgide yer alamayacağına inandıkları birtakım “analoji” sorularını çözmesini istedi.
ÜNİVERSİTE ÖĞRENCİLERİNDEN DAHA GÜZEL PERFORMANS SERGİLEDİ
UCLA takımı, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın beşerler için ortalama puandan daha uygun performans gösterdiğini tespit etti.
GPT-4 DAHA YETERLİ SONUÇ VERİYOR
Araştırmacılar modelden ve istekli öğrencilerden bu kere bir düzyazıyı tıpkı manası taşıyan farklı bir kısa öyküyle eşleştirmelerini istedi.
Nature Human Behaviour mecmuasında yayınlanan araştırmaya nazaran, GPT-3 bu testte öğrencilerden daha az başarılı oldu, fakat GPT-3’ün geliştirilmiş versiyonu olan GPT-4 evvelkinden daha güzel sonuç verdi.
Çalışma, GPT-3’ün örüntüleri tespit etme ve bağları çıkarma konusunda şaşırtan derecede güçlü bir kapasite sergilediğini, birçok ortamda insan yetenekleriyle eşleştiğini ve hatta onları aştığını ortaya koydu.
“KESİNLİKLE İNSAN DÜZEYİNDE BİR ZEKA DEĞİL”
Çalışmanın baş muharriri Taylor Webb, ChatGPT’yi yönlendiren modelin insan seviyesinde zeka standardında olmadığını söyledi.
Webb şu sözlerle GPT’yi tanımladı; “Kesinlikle tam olarak genel insan düzeyinde bir zeka değil. Lakin makul bir alanda katiyetle ilerleme kaydetti”
UCLA araştırmacıları, San Francisco merkezli OpenAI şirketi tarafından geliştirilen GPT-3’ün iç işleyişine erişimleri olmadan, modelin muhakeme yeteneklerinin nasıl çalıştığını ve bir insan üzere mi düşündüğünü yoksa yeni bir zeka biçimi mi gösterdiğini belirleyemediklerini de kelamlarına ekledi.
UCLA psikoloji profesörü Keith Holyoak, “GPT-3 bir tıp insan üzere düşünüyor olabilir. Ancak öte yandan, beşerler tüm interneti yutarak öğrenmediler, hasebiyle eğitim tekniği büsbütün farklı. Nitekim insanların yaptığı üzere mi yapıyor yoksa gerçek bir yapay zeka mı? bilmek isteriz ki bu da başlı başına şaşırtan olurdu.” tabirlerini kullandı.
