‘Bullshit’i Otomatikleştirdik
(cst.cam.ac.uk)- ChatGPT gibi üretken yapay zeka, mantık ya da olgu doğrulamadan çok internetteki metinleri makul görünecek şekilde tahmin edip taklit ederek çalıştığı için Bullshit otomasyonu eleştirisine maruz kalıyor
- Rodney Brooks’un “makul görünen şeyler uyduruyor” özeti, Emily Bender ve Timnit Gebru’nun stochastic parrots makalesiyle ve Murray Shanahan’ın büyük dil modelleri analizleriyle örtüşüyor
- Harry Frankfurt’un tanımında Bullshit, yalan gibi gerçeği çürüten söz değil, gerçeği umursamayan söz olması bakımından ChatGPT çıktılarıyla ilişkilendiriliyor
- Geoff Hinton, sohbet botlarının riskini süper zekadan çok zeka olmadan da ikna edici metinleri büyük ölçekte üretebilme kapasitesinde görüyor ve siyasi iknanın otomatikleşmesinden endişe ediyor
- Yapay zekanın kolayca yerini alabileceği şey, değerli emekten ziyade anlamsız raporlar, iletiler ve şikayet yönetimi gibi Bullshit Jobs olabilir; bu nedenle düzenlemenin odağı da yapay zekanın kendisinden çok Bullshit üretimi ve yayılımı olmalı
ChatGPT’nin Bullshit Üreteci Gibi Görünmesinin Nedeni
- ChatGPT, mantık ya da olguları doğrulamaktan çok internette bulunan metin kalıplarını taklit eden bir algoritmaya dayanır
- Rodney Brooks, ChatGPT’yi “makul görünen şeyleri öylece uyduran” bir sistem olarak özetler
- “Makul görünme”, internet metinlerini taklit eden algoritmayla bağlantılıdır
- “Uydurma”, mantık ya da olgulardan çok tahmin edilen metnin rastlantısallığına dayanmasına işaret eder
- Emily Bender, Timnit Gebru ve meslektaşlarının stochastic parrots makalesi ile Murray Shanahan’ın büyük dil modelleri tartışması da aynı metin tahmini ilkesini daha teknik biçimde ele alır
Frankfurt’un Tanımı: Gerçeğe Kayıtsız Söz
- Harry Frankfurt’un On Bullshit eserinde Bullshitter, yalancı gibi gerçeğin otoritesini reddetmez; ancak gerçeğe hiç dikkat etmez
- Bu tanım, ChatGPT’nin çalışma biçimine dair Brooks, Bender, Shanahan ve Hinton’ın analizleriyle örtüşür
- Frankfurt, Bullshit’i yalandan gerçeğin daha büyük düşmanı olarak görür
- Yalan en azından gerçekle bir ilişkiyi varsayar
- Bullshit, konuşan kişinin ne söylediğini bilmediği durumlarda bile konuşmak zorunda kaldığında kaçınılması zor bir şeydir
İkna Edici Metnin Yarattığı Siyasi Risk
- Geoff Hinton, sohbet botlarının başlıca riskini süper zekanın kendisinden çok, zeka olmadan da son derece ikna edici metinler üretebilme yeteneğinde görür
- Bu endişe, Donald Trump ve Boris Johnson tarzı siyasi ikna biçimleriyle bağlantılıdır
- Kanıt ve mantığın kamusal tartışmalarda saygı görmediği bir dünyada, kanıt ya da mantık olmadan çalışan bir sistem insanüstü derecede ikna edici metinlerle kötü siyasi liderleri taklit edip onların yerini alabilir
Bullshit Jobs ve Yapay Zeka Otomasyonu
- David Graeber’in Bullshit Jobs eseri, Elon Musk’ın Birleşik Krallık başbakanına söylediği “kimsenin çalışmasına gerek kalmayacak” yapay zeka geleceğiyle ilişkilendirilir
- Graeber, Birleşik Krallık çalışanlarının %30’dan fazlasının kendi işlerinin topluma hiçbir değer katmadığına inandığını analiz eder
- Bu işler arasında anlamsız rapor yazımı, insanlar arasında mesaj iletimi ve çözülemeyen şikayetleri dinleme yer alır
- Bu görevlerin her bölümünü ChatGPT kolayca yapabilir
- Üniversite eğitiminin bir kısmı, gençleri bürokratik süreçlere itaat etmeye alıştırabilir ve neredeyse hiç okunmayacak uzun metinler yazdırabilir
- Boris Johnson gibi kişileri ortaya çıkaran eğitimde, gerçeğe gösterilen incelikli dikkatten çok dilsel akıcılık ve eğlenceli argümanlar daha fazla ödüllendirilebilir
Eğitim Verileri ve Düzenlemenin Odağı
- ChatGPT gibi yapay zeka sistemleri; Twitter, Facebook, Reddit gibi devasa Bullshit arşivleri ile Wikipedia ve profesyonel yazarların metinleri gibi gerçek olguların karıştığı materyaller üzerinde eğitilir
- ChatGPT’nin içinde hangi kısmın doğru olduğunu kontrol eden bir algoritma yoktur
- Twitter’ın doğru-yanlışla ilgilenmeyen siyasetçilerin Bullshit’ini teşvik etmesi gibi, onların bıraktığı kayıtlar da otomatik Bullshit üreteçlerini eğitmek için kullanılabilir
- Düzenlenmesi gereken şey yapay zekanın kendisi değil, Bullshittir
- Değerli işler ile isteyerek ortadan kaldırılabilecek işleri ayırt etmek için yapay zeka zirvesinden çok Bullshit’i ele alan bir toplantıya ihtiyaç vardır
Daha Fazla Okuma
- Designing Alternatives to AI, MIT Press tarafından 2024’te yayımlanacak ve çevrimiçi ücretsiz önizlemesi sunuluyor
- Murray Shanahan’ın Talking About Large Language Models çalışması arXiv:2212.03551 üzerinden görülebilir
- Rodney Brooks ile ilgili yazı, IEEE Spectrum’daki “Just Calm Down About GPT-4 Already” makalesinde yer alıyor
1 yorum
Hacker News yorumları
Bu yazının birçok açıdan doğru olduğunu düşünüyorum. LLM'ler “bu doğru cevap gibi kabul görür mü?” ilkesiyle çalışıyor gibi; “bu böyle çalıştığına göre soruya makul cevap şudur” tarzında değil.
Yine de bir noktada LLM'lerin gerçekten iyi cevaplar ürettiğini de kabul etmek gerekiyor. Bir kod parçası istendiğinde doğru tutturduğu durumlarda olduğu gibi, koku testini geçen bir cevap tesadüfen iyi bir cevap da olabilir; ama sonuçta iyi bir cevaptır.
Esas nokta şu: LLM'in doğru tutturup tutturmadığını anlamak için, zaten benim ne yaptığımı biliyor olmam gerekir. Tarihçi olmayan ben cGPT'ye I. Dünya Savaşı'nın nedenleri hakkında bir deneme yazdırırsam kulağa makul gelebilir; ama gerçek bir tarihçinin önemli göreceği konuları ele alıp almadığını bilemem. Sadece biraz okumuş sıradan birinin doğru kabul edeceği vasat bir cevap verir.
Çoğumuz yalnızca tek bir alanda uzman olduğumuz için, bilmediğim tüm alanlarda LLM'in beni kandırmasını engellemenin bir yolu yok. Bu yüzden kendi uzmanlık alanım dışında kullanırken dikkatli olmak gerekiyor.
Mevcut aşamadaki LLM'i uzmanlar için kestirme yol aracı olarak görüyorum. Kendi sorumluluk alanımdaki kod parçacığının doğru mu yanlış mı olduğunu anlayabilirim; ama o alanda çalışmayan biri kandırılabilir.
LLM'ler tutarlı dil gibi görünen şeyler üretmekte çok başarılı. Sözcük türlerinin cümle içinde beklenen konumlara yerleşmesi gibi. Sorun şu ki dil modelleme ile bilgi modelleme birbirine çok yakın olduğu için, insanlar tesadüfen peşinden gelen bilgi modelleme kısmını daha derin bir şey sanıyor.
Ama teamüllere göre %50 sıralama algoritmasının değeri, doğru çalışan bir sıralamanın %50'si değil, 0'dır. Çünkü sıralama genelde daha büyük bir sistemin parçasıdır ve o sistem sıralamanın %100 çalışmasını gerektirir.
Uzun süre “makine öğrenimi” teknikleri içinde, %80 doğru bilmenin başarı sayıldığı alanlar vardı. LLM'leri ilginç kılan şey, bazı makine öğrenimi problemlerinde çıtayı %90'a yükseltirken, algoritmayla %100 halledilebilen başka işlerde çıtayı düşürmesi.
Eskiden satranç yazılımı kullanabilen kişilerle kullanamayanların performansını karşılaştıran bir araştırmanın özetini okumuştum. Başarıyı öngören en güçlü etken saf satranç becerisi değil, yazılımı etkili biçimde kullanabilmeydi.
Yayınlanmış araştırmaları iyi bilmiyorum ama anekdotsal kanıtı bol olan bir başka alan algoritmik trading. Başarılı şirketlerde neredeyse her zaman algoritmanın davranışını insanlar izler. Algoritma garip hareket ettiğinde veya koşullar uygun olmadığında insanlar bunu fark edip parametreleri ayarlayabilir ya da tamamen kafayı yemiş gibi görünüyorsa kapatabilir. Açıkçası bu tür gözetimin önemli bir kısmı Knight Capital olayının sonucu olmalı.
Asıl mesele şu: LLM'in şu anda ilgili alanda deneyimi olan kişiler için bir araç olduğu görüşüne katılıyorum; ama yine de oldukça büyük bir ilerleme. Önde gelen quant hedge fonlarının insanlar tarafından yönetilen fonları sürekli geride bırakması gibi, bu aracı iyi kullanan zeki insanlar öne geçecek. Kilit nokta, hangi alanlarda iyi olduğunu, hangi alanlarda kötü olduğunu ve çıktıyı doğrulama yöntemlerini öğrenmekte.
Gerektiğinde bilgi bulma sürecinde de bilgisayarla konuşmaktansa doğrudan aramak benim için daha hızlı. Gerçek uzmanlık, o arama sürecinde ustalaşıp onu sadeleştirme becerisini de içerir.
Buna karşılık daha önce görmediği ya da yakın bir varyasyonu olmayan şeyler üretmekte zorlanır.
Bu doğruysa, dün ChatGPT 3.5 ile 18. yüzyıl tarihine dair son derece obscure bir olguyu bulmam neden sadece 10 saniye sürdü merak ediyorum. Google araması bir saatten fazla uğraşmama rağmen başarısız oldu.
ChatGPT başta sorum yeterince net olmadığı için yanlış bir yanıt verdi, ama birkaç şeyi netleştirince doğru görünen bir yanıt üretti; 1-2 dakikalık ek araştırma ve doğrulamadan sonra da bu yanıtın gerçekten doğru olduğundan %100 emin oldum.
“ChatGPT gibi yapay zeka sistemleri Twitter, Facebook, Reddit gibi devasa saçmalık depolarıyla Wikipedia ve profesyonel yazarlardan kazınmış metinler gibi gerçek olguları birlikte öğrenir, ama hangi kısmın doğru olduğunu kontrol eden bir algoritmaları yoktur. Çıktı kelimenin tam anlamıyla saçmalıktır” iddiası da tuhaf.
Filozoflar, matematikçiler, bilim insanları ve romancılar da gerçek olgularla devasa saçmalık depolarını birlikte öğrenir. Başkalarının yerleşik çalışmaları, okul eğitimi ve deneyler de vardır; ama bilim denemeyecek gündelik deneyimler, Twitter sohbetlerine benzeyen gevezelikler, propaganda ve yalanlar da vardır. Öyleyse onların çıktıları da saçmalıktır; dahası insanlığın ürettiği her şey de saçmalık olur.
Soruyu ayarlamak ve ek araştırma yapmak gerektiğini bilmiyor olabilirler. GPT’yi otomasyon sistemlerinde kullanmaya çalışıyorsan, o sistem neyin yanlış neyin doğru olduğunu nasıl anlayacak?
ChatGPT ve benzeri modellerin bu tür işlerde, yani Google Search’ün yerine geçme rolünde en güçlü olduğu pek tartışmalı görünmüyor.
Nihai değerlendirme, bilgiyi doğrudan aramanın mı daha ucuz olduğu, yoksa arama alanını yapay zekayla daraltmanın mı daha ucuz olduğu. Doğrulama yapılacağı varsayımıyla ikincisi olduğunu düşünüyorum.
Tersinden, Terry Pratchett’ın Wyrd Sisters’ında şöyle bir söz geçer: “Şey gibi görünmeye çalışan şeyler çoğu zaman şeyin kendisinden daha çok şey gibi görünür. Bu iyi bilinen bir gerçektir. Ama ben bunu teşvik etmeyi sevmem.”
Bu yüzden LLM’ler, onların saçmalık ya da olasılıksal papağan olduğunu söyleyip küçümseyen iddialardan çok daha iyidir; aynı zamanda bir alan uzmanı kadar iyi de değildir.
LLM’lerin bize en az iki düşünme biçimimiz olduğunu gösterdiğini düşünüyorum.
Biri LLM’lerin çalışma biçimine benzer ve özünde sonraki token tahminidir. Bir sohbete derinden daldığınız andaki zihinsel durumu düşünün. Gerçekten bilinçli bir eylem değildir ve bazen insan kendini bile şaşırtır. Bir çocuk ya da çocuksu bir haldeyseniz, o anda bir şeyler uydurduğunuzun farkına bile varmadan rastgele konuşuyor olabilirsiniz.
Şimdi gerçekten zor bir problemi çözmek zorunda kaldığınız bir zamanı düşünün; farklıdır. Çok bilinçli bir eylemdir; dikkatinizi oradan oraya yöneltir, her şeyin nasıl birbirine oturduğunu ve neyi değiştirirseniz problemin çözüleceğini akıl yürütürsünüz. Problemi zihninizde modellerken dil kullanmıyor olmanız da oldukça olasıdır.
LLM’ler birincisini yapıyor ve bu erken aşamada bile bunu çok iyi yapıyorlar. Şaşırtıcı olan, yalnızca bu yöntemle ne kadar ileri gidilebildiği. İnsanüstü düzeyde bilgiye dayanarak sohbet moduna girince, belli ölçüde zor problemleri gerçekten çözebiliyor.
Bunun bizim deneyimimize de uyduğunu düşünüyorum. Derinlemesine bildiğimiz alanlarda, sırf cümle kurarken bile problemi çözerken bulduğumuz oluyor.
Kurduğumuz bilgi yapısı semboliktir. Semboller soyutlamaları, yani sınıfları temsil eder; semboller arasındaki ilişkileri de içerir. İnsan yaratıcılığı, yeni algısal girdilere dayanarak yeni semboller ya da mevcut semboller arasında yeni ilişkiler oluşturmadadır; bu da bir abduksiyon sürecidir. Böyle bir bilgi yapısı, sağlam bir temel üzerine devasa bir kule inşa etmeyi mümkün kıldığı için güçlüdür.
Derinlemesine bildiğiniz bir konuda yalnızca cümleler kurarken problemi çözebildiğiniz sözü, o konuda bir berraklık olduğu ve düşünce akışının bilgi yapısıyla hizalandığı anlamına gelir. Başka bir deyişle, gerçekten anlıyorsunuz demektir. Ama benim deneyimime göre kendi yetkinlik alanı içinde kalan insan çok nadir; çoğu kişi bilgi yapısına sahip olmadığı konularda da konuşup duruyor. Ayrıca kişinin hangi konularda gerçekten bir bilgi yapısına sahip olduğunu, yani neyi bilmediğini bilmesine yönelik öz farkındalık da nadir.
LLM, iyi ya da kötü, cevap veren bir rubber duck.
Yaygın yorum, insanların çoğunun yalnızca birinci yöntemle düşündüğü yönündeydi.
Bu tür yorumlardan artık sıkıldım. LLM gerçekten bir papağan, ama insan dilini taklit eden bir papağan; insan dili de akıl yürütme yetimizi kendi yapısının içine kodluyor gibi görünüyor. Bu yüzden dili yeterince iyi taklit edince akıl yürütme yetisini de taklit etmeye başlıyor.
LLM’lerin çok doğru bir belleğe sahip olmadığı gerçeğini artık herkesin aşması gerekmiyor mu? Bu sorun, tamamen olmasa da büyük ölçüde, Bing’de olduğu gibi sormak istediğiniz bilgiyi istemin kendisine koyunca çözülüyor. ChatGPT, doğru olguları hatırlamaktan çok özetleme konusunda daha iyi.
Ayrıca çoğu durumda bunun önemi yok. ChatGPT ile bir şey öğrenirken ya da bir problemi çözerken o bir başlangıç noktasıdır, sonuç değil. Herkes bunu anlarsa sorun yok. Çıktıyı %100 gerçek kabul eden birini henüz görmedim; AI şirketleri de böyle bir iddiada bulunmuyor.
Çıktıyı %100 gerçek kabul eden insanlar gerçekten var.
https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
Hesap makinesine saçmalık girerseniz saçmalık çıkar. Çoğu durumda olguları girmek gerekir. RAG gibi şeyler bunu otomatikleştiriyor.
Bu yüzden ChatGPT’nin RAG tarafına derinlemesine genişlediğini düşünüyorum. Çünkü kullanıcıların bu aracın çalışmasını beklediği biçimle daha iyi örtüşüyor.
Dünyanın olgularla döndüğünü düşünenler LLM’leri anlamakta zorlanıyor. ChatGPT ile bir problemin çözümünü bulma biçimi, bir insanla yaptığınız gibidir. Diyalog yoluyla bulunur.
Kişisel olarak ChatGPT iş akışımı kökten değiştirdi. İstediğim işi yapan kodu çıkarabildiği gibi, problemi gerçekten çözülebilir bir forma sokmamda da yardımcı oluyor.
Şimdiye kadar yi modeli oldukça iyi; iki hafta içinde daha iyi iki yeni modelin çıkması bekleniyor. Altman hangi siyasetçiye en güçlü rüşveti vermesi gerektiğini bulana kadar bu eğilim devam edecek.
ChatGPT ise Reddit ve Twitter ile eğitildi.
Yazarın nüansın epeyini kaçırdığı anlaşılıyor. Ara sıra saçmalık uydurduğu doğru, ama bunu sık yapmıyor ve muazzam zaman kazandırabiliyor. Elbette bazen yanlış yola da sürükleyebiliyor ya da tamamen yanlış yanıt verebiliyor.
Bununla nasıl başa çıkılacağı kullanıcıya bağlı. Verilen sonucu kullanmaya çalışabilir, kolayca doğrulamak için araçlar kurup üretkenliğini artırabilir ya da kafasını kuma gömüp hepsi yanlış, ilgilenmeye değmez diyebilir.
İkisi de geçerli yaklaşımlar.
AI “ara sıra saçmalık” üretmiyor, sürekli saçmalık üretiyor. Çıktının bazen doğru olması, başlangıç derleminin doğru olmasının sonucu. Ama AI için, bir demagogda olduğu gibi, bunun hiç önemi yok; kulağa makul gelmesi yeterli.
AI’ın söylediklerini doğrulamak “kolay” ise, AI’a konuşmadan önce doğrulamayı öğretmek de “kolay” olmalı; o zaman AI’ın bir saçmalık makinesi olduğu eleştirisi kendiliğinden çürütülür. Asıl tehdit, AI’ın doğrulanması zor saçmalık üretebilmesi ve bunu profesyonel bir Gish gallop’u utandıracak hızda yapabilmesi.
Saçmalık ekonomisi bağlamında, örneğin kimsenin okumadığı raporlar yazan bir bürokrat varsa ve o bürokratın rapor yazma nedeni yönetici sayısını şişirip yönetici maaşlarını artırmaksa, sadece bu bile yeterli.
Bu, kullanıcının çıktıyı inceleyip uzman yargısıyla işe yarayanı seçtiği ya da temel GUI’ye safça metin yazmak yerine API çağrılarıyla araç kullanımını rafine ettiği durumlardan ayrı bir konu.
“Dil bir saçmalık üretecidir” desek olmaz mı? Karşılaştığımız dilin çoğu, insan üretimi olsun makine üretimi olsun, Nietzsche’nin dediği gibi “metaforlar, metonimiler ve antropomorfizmlerden oluşan hareketli bir ordu” olarak son derece şüpheli.
Dili başarılı kılan unsur da bu. Çünkü “doğru” olma kısıtından bağımsız. LLM’ler bu özelliği kendi lehlerine kullanıyor, ama bunun kaynağı onlar değil.
Eskiden bu yazıyla birebir aynı düşünüyordum, ama şimdi gerçekten emin değilim.
Çalışan ve işleyen kod, yani istenen işi gerçekten yapan kod, hiç de “saçmalık” değil.
Belirli bir derlemin özel kaynaklarına referanslar içeren arama, yani RAG de saçmalık değil.
Bu yüzden AI birçok yönden bir saçmalık üreteci olsa da, biz de öyleyiz; ayrıca onu faydalı ve saçmalık olmayan biçimlerde de kullanabiliriz.
Optimizasyonun önemli olduğu bir dünyada, çalışan şey ile doğru şey arasında epey büyük bir uçurum var. Her zaman değil, ama kesin konuşursak meseleye yalnızca algoritmik açıdan bakamayız; yeniden kullanılabilirlik, test edilebilirlik gibi şeyleri de optimize etmek gerekir ve GPT üretimi kod bu noktaları kaçırabilir.
9 ay önce bu konuyu ele alan Fransız bir YouTuber’ın iyi bir videosu vardı: https://youtu.be/JcFRbecX6bk?feature=shared
Fransızcada daha isabetli hissettiren baratineur diye bir kelime var. Doğru ya da yanlış kavramlarından bağımsız olarak, duymak istediğiniz şeyi söyleyen kişi anlamına geliyor.
LLM’lerin inandırıcı çıktılar üretmek üzere tasarlandığını herkes gerçekten hatırlasa, çok zaman kazanılabilir. LLM’ler hiçbir şey “bilmez”, “akıl yürütmez”, “düşünmez” ve fikirleri de yoktur. Yalnızca metin öneki ya da seed gibi bir şeyi alır ve insanların gerçekten ürettiği şeylerle eğitilmiş olmalarına dayanarak çıktı üretirler
Böyle bakınca her şey epey netleşiyor
Yanıta güvenmeli miyiz? Elbette hayır. Sadece bir şey üretmiştir
Beyin fırtınası için kullanılabilir mi? Elbette kullanılabilir. Çıktıyı gözden geçirip alabilir ya da ondan ilham alabilirsiniz
Faydalı kod üretmek için kullanılabilir mi? Elbette kullanılabilir. Ancak kodu okuyup araçlar ve insanlar tarafından gözden geçirilmesini sağlayarak düşündüğünüz gibi çalıştığını doğrulamanız gerekir
Çalışanların yerini almalı mı? Elbette hayır. Bir metin soneki üreticisi, karmaşık sorunları ele alamaz ya da kararların sorumluluğunu üstlenemez
İçinde bir dünya modeli olabilir de olmayabilir de. Kim bilir. Bildiğimiz tek şey, “sonraki token tahmini”nin basit bir hedef olduğu; ama bugünkü kadar iyi çalışması için kara kutunun içinde muazzam bir karmaşıklık gerektiği