OpenAI tarafından geliştirilen bir yapay zeka sohbet robotu olan ChatGPT, halkın dikkatini ve hayal gücünü yakaladı. Teknolojinin karmaşık konuları özetleme veya uzun konuşmalar yapma becerisi gibi bazı kullanımları gerçekten etkileyici.
Şaşırtıcı olmayan bir şekilde, diğer AI şirketleri, ChatGPT gibi sohbet robotlarının arkasındaki teknolojinin adı olan kendi Büyük Dil Modellerini (LLM’ler) yayınlamak için acele ettiler. Bu LLM’lerden bazıları, gibi diğer ürünlere dahildir. Arama motorları entegre edilmiştir.
Etkileyici yetenekleri göz önüne alındığında, sohbet robotunu uzun süredir oynadığım bir New York Times kelime oyunu olan Wordle üzerinde test etmeye karar verdim. Oyuncuların beş harfli kelimeyi tahmin etmek için altı deneme hakkı vardır. Her tahmin için oyun, varsa hangi harflerin kelimede doğru yerde olduğunu gösterecektir.
ChatGPT-4 adlı en yeni nesli kullanırken, bu bulmacaların performansının şaşırtıcı derecede zayıf olduğunu gördüm.
GPT-4 kelime oyunlarının çok kolay olmasını bekleyebilirsiniz. LLM’ler “metin eğitimlidir”, bu da yaptıkları şeyi geliştirebilmeleri için bilgi aldıkları anlamına gelir. ChatGPT-4 yaklaşık 500 milyar kelime üzerinde eğitilmiştir: Wikipedia’nın tamamı, tüm kamu malı kitaplar, çok sayıda bilimsel makale ve birçok web sitesinden metinler.
Yapay zekaya sahip chatbotlar hayatımızda büyük rol oynayabilir. ChatGPT-4’ün neden Wordle ile mücadele ettiğini anlamak, LLM’lerin sözcükleri nasıl temsil ettiği ve bunlarla çalıştığı ve bunlarla ilişkili sınırlamalar hakkında fikir verir. ChatGPT-4’ü ilk olarak bir kelimedeki iki harfin doğru yerleşimini bildiğim bir Wordle bulmacasında test ettim. Desen “#E#L#” idi ve “#” bilinmeyen harfleri temsil ediyordu. Cevap “etli” idi.
Altı ChatGPT-4 yanıtından beşi modelle eşleşmedi. Cevaplar şunlardı: “beryl”, “vahşi”, “geral”, “merle”, “revel” ve “inci”.
Diğer kombinasyonlar için, chatbot bazen doğru çözümleri buldu. Ama genel olarak, doğru anladım. Sözcük “##OS#” kalıbıyla eşleşirse, beş doğru seçenek bulunmuştur. Ancak “#R#F#” şablonuyla, F harfi olmayan iki kelime ve sözlüklerde olmayan “Traff” adlı bir kelime sunuldu.
kaputun altında
ChatGPT’nin kalbinde derin bir sinir ağı bulunur: girdileri çıktılara eşleyen karmaşık bir matematiksel işlev veya kural. Girişler ve çıkışlar sayı olmalıdır. ChatGPT-4 kelimelerle çalıştığından, sinir ağının onlarla çalışabilmesi için bunların sayılara “çevrilmesi” gerekir. Çeviri, “belirteçler” adı verilen çok sayıda sözcük ve harf dizisini tutan, belirteçleyici adı verilen bir bilgisayar programı tarafından yapılır.
Bu jetonlar sayılarla tanımlanır. “Arkadaş” gibi bir kelimenin 6756 belirteç kimliği vardır, bu nedenle “arkadaşlık” gibi bir kelime “arkadaş” ve “gemi” belirteçlerine ayrılır. 6756 ve 6729 tanımlayıcıları olarak temsil edilirler. Kullanıcı bir soru girdiğinde, ChatGPT-4 daha talebi işlemeden kelimeler sayılara dönüştürülür. Derin bir sinir ağının kelimelere metin olarak erişimi yoktur, bu nedenle harfler hakkında düşünemez.
Yeni Görev Şiir Yazmak
ChatGPT şiir yaz komutları destansı şiirler yazmasına bir başlangıç olabilir.
ChatGPT-4, kelimelerin ilk harfleriyle iyi çalışır. Ondan her satırının ilk harfinin “Robotları seviyorum” olduğu bir şiir yazmasını istendi. Tepkisi şaşırtıcı derecede iyiydi. İşte ilk dört satır:
Ben dişlilerin ve çeliğin hayranıyım
Hareketlerini seviyorum, çok gerçeküstü
Planları hızlı yürütürler
Bilgi için yarışıyorlar, aptal değiller
ChatGPT-4 için öğretici veriler, genellikle alfabetik dizinler içeren çok sayıda öğretici içerir. Bu, GPT-4’ün kelimeler ve baş harfleri arasındaki ilişkileri öğrenmesi için yeterli olmuş olabilir.
Belirteç oluşturucunun da bu istekleri tanıyacak şekilde değiştirildiği ve kullanıcılar isteklerini girerken “Robotları seviyorum” gibi bir ifadeyi ayrı belirteçlere böldüğü görülüyor. Ancak ChatGPT-4, kelimelerin son harfleriyle çalışma isteklerini işleyemedi. ChatGPT-4 ayrıca palindromlarla iyi çalışmaz. Bir robot hakkında palindrom cümle kurması istendiğinde, palindrom tanımına uymayan ve anlaşılmaz kelimelere dayanan “robot petek, küre” önerdi.
Bununla birlikte, LLM’ler diğer bilgisayar programlarını oluşturmada nispeten iyidir. Bunun nedeni, eğitim verilerinin birçok programlama web sitesini içermesidir. ChatGPT-4’ten Wordle’deki eksik harflerin kimliğini belirlemek için bir program yazmasını istedim. ChatGPT-4’ü oluşturan orijinal programda bir hata vardı. İşaret ettiğimde düzeldi. Programı çalıştırdığımda, “#E#L#” kalıbıyla eşleşen “anlatır”, “hücreler” ve “merhaba” dahil 48 doğru kelime buldu. Daha önce, GPT-4’ten bu model için doğrudan eşleşme önermesini istediğimde yalnızca bir tane buldu.
Gelecekteki Düzeltmeler
Eğitim verileri neredeyse tüm mevcut kelimeleri içerdiğinden, ChatGPT-4 gibi büyük bir dil modelinin basit kelime bulmacalarını çözmede veya palindromları derlemede sorun yaşaması şaşırtıcı gelebilir. Ancak bunun nedeni, tüm metin girişinin sayı olarak kodlanması gerektiği ve bunu yapan işlemin sözcüklerdeki harflerin yapısını yakalamamasıdır. Sinir ağları yalnızca sayılarla çalıştığından, sözcükleri sayı olarak kodlama gereksinimi değişmez.
Gelecekteki LLM’ler bunun üstesinden iki şekilde gelebilir. İlk olarak, ChatGPT-4 her kelimenin ilk harfini bilir, bu nedenle eğitim verileri, sözlüğündeki her kelimedeki her harfin eşleşen konumlarını içerecek şekilde genişletilebilir. İkincisi, daha heyecan verici ve genel bir çözümdür. Gösterdiğim gibi, gelecekteki LLM’ler bu tür sorunları çözmek için kod üretebilir. Yakın tarihli bir makalede, LLM’nin genellikle karşılaştıkları görevleri gerçekleştirmek için harici araçlar kullandığı Toolformer adlı bir fikir gösterildi, örneğin: B. Aritmetik hesaplamalar.
Bu teknolojilerin şafağındayız ve mevcut sınırlamalara ilişkin bu anlayış, daha da etkileyici AI teknolojilerine yol açabilir.
Bu yazı University of Galway adresinden derlenmiştir.