Bugün gördüklerim arasında bile gerçekten ilginç olan ikinci ChatGPT paylaşımlı konuşması bu
İlki, ChatGPT’ye sürekli “devam et” diyerek başka bir varsayıma karşı örnek buldurulan vakaydı: https://x.com/DmitryRybin1/status/2079904005652893709
Bir ajanın vazgeçebileceği problemlerde “devam et” gerçekten çoğunlukla işe yarıyor. LLM’ler bir şeyin imkânsız olduğunu özünde bilmez
Zor prompt’larda, normal bir sonlandırma koşulu olarak “yakınsayana ve artık optimizasyon fikri kalmayana kadar bu süreci tekrarla. Tekrar etmeye devam edebilirsin” yazmayı tercih ediyorum
Özellikle GPT, diğer modellere göre işin ortasında durmaya daha yatkın görünüyordu; son kullandığım sürüm muhtemelen 4.X’ti
“Buraya kadar yaptım ve sonraki adım da açık, ama devam etmek için anlamsız bir mesaj göndermen gerekiyor” türü yanıtlar tekrarlandığı için epey zahmetliydi
Bağlam vermeden sadece “devam et” yazmak, LLM’in ince mantık hatalarından kaçınacağına ve doğru yaklaşımı seçeceğine ciddi ölçüde güvenmek demek
En yeni modeller bile basit DevOps işlerinde dağıtılmış bir paketin dağıtılmamış olduğunu kesinmiş gibi söyleyip kullanıcı itiraz edince hemen geri adım atabiliyor. Bu tür şeyler yaygınsa, karmaşık matematik ispatlarında sonucu doğrulamadan sadece “devam et”i tekrarlayarak geçerli bir sonuca ulaşılıp ulaşılamayacağı şüpheli
Geçmişte de birçok matematikçinin başarılı olduğu yöntem tam olarak devam etmekti
“Kısmi sonuçlar yeterli; bunu eksiksiz ve koşulsuz bir karşı örnekle bitirelim” denince 88 dakika 24 saniye çalışıp eksiksiz sonlu bir karşı örnek ortaya koyduğu sahne etkileyici
Konunun özüne tam isabet eden bir uzmanın AI konuşma kaydı bitmek bilmez biçimde ilgi çekici; modelden ne kadar çok şey çıkarılabileceğini gösteriyor
Terence Tao da benim kendi uzmanlık alanımda LLM kullanma sürecime benzer şekilde, teknik terimleri ve teorik araçları seferber eden kısa ve keskin sorularla yönü güçlü biçimde belirliyor. LLM, kullanıcının seviyesine göre üslubunu ve yanıt düzeyini değiştiriyor gibi
Sonuçta “AI kullanmayı öğrenmenin” yolu önce problem alanında ustalaşmak
On yıllardır geliştirme yaptığım için kodlamada AI kullanabiliyorum, ama yanıtı değerlendiremeyeceğim teorik fizikte kullanmam zor
Matematik içeriğini anlamadım, ama Tao’nun mesajları LLM ile yaptığım konuşmalara şaşırtıcı derecede benziyordu
Tek seferde sonuç almaya çalışmaktansa adım adım keşif yaparsanız yönü sürekli düzeltebildiğiniz için daha etkili ve tatmin edici oluyor. Tek seferde isteme yöntemi başarılı olursa sihir gibi, ama başarısız olursa prompt’u baştan kurmak gerekiyor
Birkaç gün önce Claude ile benzer bir şey yaşadım. Gereksinimleri kabaca verince iyi gidiyordu, ama kritik noktada başarısız olunca daha sıkı davrandım; problem çözüldükten sonra bile proje içinde önceden birkaç kez kontrol edip benden daha sık yönerge istemeye başladı
Biraz can sıkıcı, ama işe yarıyorsa katlanılabilir
Terence Tao’nun ChatGPT konuşmasının ilginç olmasının iki nedeni var. Karşı örnek basit bir brute force değil; istenen sonucun çıkması için çok belirli bir yapıya sahip bir polinom ve Tao’nun soruları da ileri matematik eğitimi olmadan aynı bilgiyi elde etmeyi zorlaştıracak kadar hassas
Tao, problem ve karşı örneğin yapısının bir kısmını kavradıktan sonra kalan keşfi AI ile zorlamış gibi görünüyor
Dünyanın en parlak insanlarından biri soru soruyor, LLM ise “düşününce gerçekten basit” der gibi yanıtlıyor; bu da yetenekli bir öğrenciyi eğiten bir profesör sahnesi gibi görünüp insanı alçakgönüllü kılıyor
Modelden iyi sonuç alamıyorsanız “beceri meselesi” diye bir şaka var, ama bunda bir doğruluk payı da var. AI kullanma becerisi, ajanın anlayacağı yinelemeli prompt’lar yazma tekniğinin yanı sıra neyin keşfedilmesi gerektiğini bilmeyi sağlayan derin alan bilgisini de gerektiriyor
İkisinden biri eksikse hayal kırıklığına ya da daha kötü sonuçlara yol açabilir
Önümüzdeki birkaç yıl boyunca kendi uzmanlık alanını LLM ile iyi tartışabilme becerisi yararlı bir insan yeteneği olacak, ama sonunda bunun bile etkisi azalacak gibi
Tao’nun sürekli sadeleştirmeler önererek keşif sürecine yönlendirilmesi şaşırtıcı. AI kullanarak bir şeyi anlamaya, bunu kendi düşünce sistemine verimli biçimde karşılık getirmeye; genelleştirecek ya da olguyu açıklayacak daha basit alt sonuçlar bulmaya ilgi duyuyor
JPL’de ve akademide en çok özlediğim şey de bu tür “ya şöyleyse?” tartışmalarıydı
İnsan ve AI simbiyozu, yeni ortaya çıkan AI değerlerinden biri gibi görünüyor. Kod farkı gibi çıktılar üretirken, mevcut aşamaya ilişkin düşünce sistemimin ne kadar sağlam olduğunu sürekli değerlendirebiliyorum
Özellikle eldeki problemi ne ölçüde hassas anlayacağımı kendim seçebiliyorum; AI öncesinde bu fiilen olmayan bir seçenekti
Matematik profesörlerinin yüzlerce yıldır lisansüstü öğrencilerden yararlanma biçimine benziyor
Matematikte teknik terimler ve gösterim inanılmaz derecede yoğun ve çetrefilli. Diğer fen ve mühendislik alanlarında Google ya da Wikipedia yardımıyla çoğunlukla takip edebilirsiniz, ama ileri matematik gündelik olarak anlaşılabilir seviyeden çok hızlı uzaklaşır
Teknoloji alanına aşina biri bile zor matematikle karşılaşınca kendini tamamen kaybolmuş hissedebilir
Bu, bilgisayar bilimi dahil neredeyse tüm alanlar için de geçerli. Birçok kişi biriktirdiği arka plan bilgisinin farkında olmadan yüzeysel düzeyde çalışıyor
Ortalama bir yazılım mühendisi bile cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS gibi sayısız terimi bilmek zorunda. Sadece cache bile CPU, page, browser, CDN, Redis cache anlamına gelebilir; session, handle, pool, buffer, stream, channel gibi gündelik kelimelerin de bağlama göre anlamı değişir
Kuantum mekaniği dersinde tahtaya H Psi = E Psi yazılınca herkes “Psi’yi sadeleştirmek yeter” diye güldü, ama bir taraf çarpma, diğer taraf matris çarpımı olan bir operatördü; yeni bir gösterim öğrenmek gerekiyordu
Bir değişkenin kalın yazılmasının matris anlamına geldiğini bilmediğim için kafamın karıştığı da olmuştu
Matematikte sözü edilen matematiksel olgunluk, programlama, müzik ya da yemek yapmayı öğrenirken defalarca aydınlanma yaşayıp bakış açısının değişmesine benzer. Matematikte asıl sınır soyut akıl yürütmenin kendisi olduğu için bu aşamalar diğer etkinliklerden daha fazladır
Soyutlama zorunludur. İnsanın çalışma belleği çok küçüktür; birçok problem üzerinde akıl yürütebilmek için çok katmanlı hiyerarşik yapılar kurmak gerekir ve bu, matematiğin özüne yakındır
Matematik diğer alanlara göre belirsizliği en aza indirmeye çalışır. Matematik dışı alanlar sıradan kelimelere teknik anlamlar yükleyip yeniden kullanma eğilimindedir; özellikle sosyal bilimler ve beşeri bilimlerde, yabancı semboller olmadığı için uzman olmayanlar kendi anlama eksikliklerini fark etmeyebilir
Matematiğin kendisini değerlendiremiyorum, ama modelin davranışında birkaç şey göze çarpıyor. Bazı sorularda akıl yürütüyor, bazılarında doğrudan yanıt veriyor; zaman zaman koşullar ya da düzeltmeler öne sürerek itiraz da ediyor.
Ayrıca soru-cevap, PDF okuma, kod yazma ve akıl yürütme arasında uzun süre gidip gelmesine rağmen konuyu korudu; Tao da bunu üretken bulmaya devam etmiş gibi görünüyor. Model gelişimi, belirli benchmark sayılarının yükselmesinden çok buna benzer bir şey.
“Yine de dikkat edilmesi gereken bir nokta var” ifadesi, mevcut nesil Codex ve Claude’un kalıplaşmış yanıtlarından biri.
Gerçekte çoğu zaman, dikkat edilmesi gereken nokta denemeyecek kadar bariz şeyler de oluyor; ama kullanıcı önemli bir koşul varmış gibi beklemeye başlıyor. Her seferinde “dürüstçe” yanıtlayacağını söyleyerek başlaması gibi dikkat dağıtıcı olduğundan, AGENTS.md üzerinden bastırmayı tercih ediyorum.
Bu konuşmadaki en şaşırtıcı nokta, yapay zeka ajanının modern çağın en iyi matematikçilerinden biri olan Tao ile eşit düzeyde bir muhatap gibi görünmesi.
Tao yönü belirliyor, ama aynı zamanda yapay zekanın açıklamalarından, analizlerinden ve akıl yürütmelerinden öğreniyor ve bunlara dayanıyor; sonuçları bir doktora öğrencisi ya da başka bir profesörle tartıştığı bir sahne gibi hissettiriyor. Bir yıl ya da iki model sürümü sonra yapay zeka Tao’dan açıkça daha güçlü hale gelebilir.
Aksine, bu konuşma o öngörünün karşı örneği gibi görünüyor. Başka bir yapay zekayla konuşulmuş olsaydı, Tao ile yapılan konuşma kadar üretken olma olasılığı düşük olurdu.
Bir yıl sonra değişir mi bilmiyorum, ama hedef zaman sürekli ertelendiği için kuşkucuyum.
LLM’i bir ayna olarak düşünmek yararlı. Uzman bir matematikçi gibi konuşursanız model de öyle yanıt verir; fakat Tao’nun ilk prompt’u basit görünse bile, birinci sınıf bir üniversite öğrencisinin aynı düzeyde yazması zor olurdu.
Bu, GPT-3.5 dönemindeki “sen uzman bir matematikçisin” prompt’unun tersi bir durum. Gerçek bir uzmana böyle bir şey söylenmeyeceği için, bu ifade aksine modele kullanıcının uzman olmadığını belli ediyor.
Yemek tarifleri, arabadan gelen anormal sesin teşhisi, biyoloji ödevi ve çeviri gibi alanlarda da aynı yapay zekanın destek verdiği düşünülürse, şimdiden Tao’dan güçlü olduğu bile söylenebilir.
Sadece matematik açısından bakılsa bile, neredeyse tüm alt alanlarda bu derinliğe sahip olması bakımından şimdiden daha güçlü olduğunu düşünüyorum.
“Pro’yu etkinleştirdim; koordinatlardan ya da zorlama yapılardan kaçınarak X_3 ~ A3 için geometrik bir açıklama aramaya devam edebilir misin?” isteği, ücretli özellikten memnun bir müşteri görüntüsünün ta kendisi.
İleri düzey konularda çok kısa sorular sormak, gereksiz ayrıntıdan arınmış yanıtlar almayı sağlıyor gibi. Buna Pro’nun etkinleştirilmesi de eklenince iyileşmiş olabilir.
Terence Tao’nun bile ChatGPT ile konuşmak için para ödemek zorunda olması şaşırtıcı. Aslında OpenAI’ın Tao’ya para ödemesi gerekiyor gibi.
4 yıl önce ChatGPT ile yaptığım konuşma şuydu: https://i.imgur.com/WPaWgzZ.png
Önümüzdeki 4 yılda nereye kadar gideceğimizi merak ettiren bir çağdayız.
1 yorum
Hacker News yorumları
Bugün gördüklerim arasında bile gerçekten ilginç olan ikinci ChatGPT paylaşımlı konuşması bu
İlki, ChatGPT’ye sürekli “devam et” diyerek başka bir varsayıma karşı örnek buldurulan vakaydı: https://x.com/DmitryRybin1/status/2079904005652893709
Zor prompt’larda, normal bir sonlandırma koşulu olarak “yakınsayana ve artık optimizasyon fikri kalmayana kadar bu süreci tekrarla. Tekrar etmeye devam edebilirsin” yazmayı tercih ediyorum
“Buraya kadar yaptım ve sonraki adım da açık, ama devam etmek için anlamsız bir mesaj göndermen gerekiyor” türü yanıtlar tekrarlandığı için epey zahmetliydi
En yeni modeller bile basit DevOps işlerinde dağıtılmış bir paketin dağıtılmamış olduğunu kesinmiş gibi söyleyip kullanıcı itiraz edince hemen geri adım atabiliyor. Bu tür şeyler yaygınsa, karmaşık matematik ispatlarında sonucu doğrulamadan sadece “devam et”i tekrarlayarak geçerli bir sonuca ulaşılıp ulaşılamayacağı şüpheli
Konunun özüne tam isabet eden bir uzmanın AI konuşma kaydı bitmek bilmez biçimde ilgi çekici; modelden ne kadar çok şey çıkarılabileceğini gösteriyor
Terence Tao da benim kendi uzmanlık alanımda LLM kullanma sürecime benzer şekilde, teknik terimleri ve teorik araçları seferber eden kısa ve keskin sorularla yönü güçlü biçimde belirliyor. LLM, kullanıcının seviyesine göre üslubunu ve yanıt düzeyini değiştiriyor gibi
On yıllardır geliştirme yaptığım için kodlamada AI kullanabiliyorum, ama yanıtı değerlendiremeyeceğim teorik fizikte kullanmam zor
Tek seferde sonuç almaya çalışmaktansa adım adım keşif yaparsanız yönü sürekli düzeltebildiğiniz için daha etkili ve tatmin edici oluyor. Tek seferde isteme yöntemi başarılı olursa sihir gibi, ama başarısız olursa prompt’u baştan kurmak gerekiyor
Biraz can sıkıcı, ama işe yarıyorsa katlanılabilir
Terence Tao’nun ChatGPT konuşmasının ilginç olmasının iki nedeni var. Karşı örnek basit bir brute force değil; istenen sonucun çıkması için çok belirli bir yapıya sahip bir polinom ve Tao’nun soruları da ileri matematik eğitimi olmadan aynı bilgiyi elde etmeyi zorlaştıracak kadar hassas
Tao, problem ve karşı örneğin yapısının bir kısmını kavradıktan sonra kalan keşfi AI ile zorlamış gibi görünüyor
İkisinden biri eksikse hayal kırıklığına ya da daha kötü sonuçlara yol açabilir
Tao’nun sürekli sadeleştirmeler önererek keşif sürecine yönlendirilmesi şaşırtıcı. AI kullanarak bir şeyi anlamaya, bunu kendi düşünce sistemine verimli biçimde karşılık getirmeye; genelleştirecek ya da olguyu açıklayacak daha basit alt sonuçlar bulmaya ilgi duyuyor
JPL’de ve akademide en çok özlediğim şey de bu tür “ya şöyleyse?” tartışmalarıydı
Özellikle eldeki problemi ne ölçüde hassas anlayacağımı kendim seçebiliyorum; AI öncesinde bu fiilen olmayan bir seçenekti
Matematikte teknik terimler ve gösterim inanılmaz derecede yoğun ve çetrefilli. Diğer fen ve mühendislik alanlarında Google ya da Wikipedia yardımıyla çoğunlukla takip edebilirsiniz, ama ileri matematik gündelik olarak anlaşılabilir seviyeden çok hızlı uzaklaşır
Teknoloji alanına aşina biri bile zor matematikle karşılaşınca kendini tamamen kaybolmuş hissedebilir
Ortalama bir yazılım mühendisi bile cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS gibi sayısız terimi bilmek zorunda. Sadece cache bile CPU, page, browser, CDN, Redis cache anlamına gelebilir; session, handle, pool, buffer, stream, channel gibi gündelik kelimelerin de bağlama göre anlamı değişir
H Psi = E Psiyazılınca herkes “Psi’yi sadeleştirmek yeter” diye güldü, ama bir taraf çarpma, diğer taraf matris çarpımı olan bir operatördü; yeni bir gösterim öğrenmek gerekiyorduBir değişkenin kalın yazılmasının matris anlamına geldiğini bilmediğim için kafamın karıştığı da olmuştu
Matematiğin kendisini değerlendiremiyorum, ama modelin davranışında birkaç şey göze çarpıyor. Bazı sorularda akıl yürütüyor, bazılarında doğrudan yanıt veriyor; zaman zaman koşullar ya da düzeltmeler öne sürerek itiraz da ediyor.
Ayrıca soru-cevap, PDF okuma, kod yazma ve akıl yürütme arasında uzun süre gidip gelmesine rağmen konuyu korudu; Tao da bunu üretken bulmaya devam etmiş gibi görünüyor. Model gelişimi, belirli benchmark sayılarının yükselmesinden çok buna benzer bir şey.
Gerçekte çoğu zaman, dikkat edilmesi gereken nokta denemeyecek kadar bariz şeyler de oluyor; ama kullanıcı önemli bir koşul varmış gibi beklemeye başlıyor. Her seferinde “dürüstçe” yanıtlayacağını söyleyerek başlaması gibi dikkat dağıtıcı olduğundan,
AGENTS.mdüzerinden bastırmayı tercih ediyorum.Bu konuşmadaki en şaşırtıcı nokta, yapay zeka ajanının modern çağın en iyi matematikçilerinden biri olan Tao ile eşit düzeyde bir muhatap gibi görünmesi.
Tao yönü belirliyor, ama aynı zamanda yapay zekanın açıklamalarından, analizlerinden ve akıl yürütmelerinden öğreniyor ve bunlara dayanıyor; sonuçları bir doktora öğrencisi ya da başka bir profesörle tartıştığı bir sahne gibi hissettiriyor. Bir yıl ya da iki model sürümü sonra yapay zeka Tao’dan açıkça daha güçlü hale gelebilir.
Bir yıl sonra değişir mi bilmiyorum, ama hedef zaman sürekli ertelendiği için kuşkucuyum.
Bu, GPT-3.5 dönemindeki “sen uzman bir matematikçisin” prompt’unun tersi bir durum. Gerçek bir uzmana böyle bir şey söylenmeyeceği için, bu ifade aksine modele kullanıcının uzman olmadığını belli ediyor.
Sadece matematik açısından bakılsa bile, neredeyse tüm alt alanlarda bu derinliğe sahip olması bakımından şimdiden daha güçlü olduğunu düşünüyorum.
“Pro’yu etkinleştirdim; koordinatlardan ya da zorlama yapılardan kaçınarak
X_3 ~ A3için geometrik bir açıklama aramaya devam edebilir misin?” isteği, ücretli özellikten memnun bir müşteri görüntüsünün ta kendisi.4 yıl önce ChatGPT ile yaptığım konuşma şuydu: https://i.imgur.com/WPaWgzZ.png
Önümüzdeki 4 yılda nereye kadar gideceğimizi merak ettiren bir çağdayız.
Süper dehanın ChatGPT oturumunda bile insan tek cümle yazınca LLM’in üç sayfa yanıt vermesi garip biçimde iç rahatlatıcı.