HN Tanıtımı: Basit bir ChatGPT prompt oluşturucu

• Boşlukları doldurarak ChatGPT promptu oluşturan basit bir web sayfası
• Şablon; rol, gereken çıktı, yürütme biçimi, koşullar, istekler ve nihai çıktı biçimi alanlarını sırayla girmeyi sağlıyor
• Örnek alanı da aynı yapıyı tekrar ederek tamamlanmış promptun nasıl görüneceğini göstermeyi amaçlıyor
• Şu anda gerçek örnekler boş ve yalnızca “builder'ı kullanarak bir prompt oluşturun” yönlendirmesi görünüyor
• Doğrulanabilen işlev, karmaşık ayarlardan çok prompt builder için cümle şablonuna daha yakın

---

Boşluk tabanlı prompt oluşturma

• Sayfa, LLM Prompting başlığı altında, kullanıcının cümle parçalarını birleştirerek prompt oluşturduğu bir yapıda
• Girdi akışı şu cümle parçalarından oluşuyor
  • Act like a ,
  • I need a ,
  • you will ,
  • in the process, you should ,
  • please ,
  • input the final result in a ,
  • here is an example:

Mevcut görünüm durumu

• Aynı prompt yapısı örnek alanında da tekrar ediliyor
• Gerçek örnek içeriği henüz doldurulmamış
• Sonunda [Empty prompt, use the builder to create a prompt] yönlendirmesi gösteriliyor
• Sunulan içeriğe bakıldığında temel işlev boşluk tabanlı prompt oluşturma şablonu

[GN⁺]

Hacker News yorumları

• Bugünlerde hâlâ özel promptları sık kullanıp kullanmadığınızı merak ediyorum.
  Eskiden sonuçlar çok daha iyi hale geldiği için prompt mühendisliği ve özel prompt yazmaya iyice dalmıştım; ama her güncellemeyle ChatGPT’nin dikkatini etkili biçimde yönlendirme yöntemi değiştiğinden giderek zahmetli olmaya başladı.
  Şimdi arada sırada özel ChatGPT kullanıyorum ama çoğunlukla varsayılan ChatGPT’yi kullanıyorum; kalite farkı da azalmış gibi geliyor.
  Uzun prompt’lar yanıt süresini fazla uzattığı için, yavaş ama daha iyi yanıtlardansa hızlı yeterince iyi yanıtları tercih eder oldum. Tek seferde kusursuz yanıt almaya çalışmaktansa eksik kalırsa devam sorusu sormak daha kolay geliyor.

  • Artık bunu “prompt mühendisliği”nden çok prompt sezgisi geliştirme olarak görmek gerektiğini düşünüyorum. Gerçek prompt mühendisliği, örneğin değerlendirme eklenmiş A/B testleri gibi şeyler, şaşırtıcı derecede az; çoğu zaman en baştan doğru düşünme biçimi de değil.
    ChatGPT’ye dair sezgi geliştirmek ve ChatGPT’nin daha iyi çalışması için neye ihtiyaç duyduğunu bir zihin kuramı gibi düşünmek gerekiyor.
    Çoğu kişi yalnızca prompt’ları nasıl düzenleyeceğini bilse bile ChatGPT’yi iyi kullanabilir. Bu aslında gizli bir özellik sayılır ve uygulamada hâlâ kullanılamıyor.
    Yapay zekâyla etkileşim kurmayı öğrenmek için ayık kafa en ideal durum olmayabilir; bu yüzden sert bir kokteyl ya da esrar da önermek isterim, ama bu son iddia kontrollü deney gerektiriyor.
  • Aynı deneyimi yaşadım. Modeli gerçek kullanıcı sohbetleriyle sürekli ince ayardan geçiriyor olmalılar; bu yüzden yolda giderken kabaca yazılan prompt’ları bile giderek daha iyi anlıyor gibi.
  • Girdi uzadıkça yanıtın yavaşlaması ilginç. Ben hız düşüşünü hiç hissetmedim; acaba bu yalnızca ChatGPT ücretsiz planında mı oluyor diye merak ediyorum.
  • ChatGPT4’ün Bing’e erişme özelliğini kapatılamaz hale getirmelerinden sonra hesabımı iptal ettim.
  • “Prompt mühendisliği”ne derinden dahil olduğunuzu sanmıyorum. Prompt mühendisliğinin eskiden de, şimdi de, gelecekte de gerçek bir alan olduğunu düşünmüyorum.

• Bu alana yeni giren biri için gerçekten çok yararlı olması adına birkaç şeye ihtiyaç var. Bazıları zaten uygulanmış, bu iyi.
  Hem ön talimatlar hem de son işleme prompt’ları için çeşitli şablonlar sunulsa iyi olur. Örneğin çıktının JSON, liste, sınırlı CSV gibi belirli biçimlere mümkün olduğunca uymasını sağlayan doğrulanmış prompt’lar ya da ana prompt’ta temel jailbreak girişimlerini olabildiğince engelleyen giriş şablonları gibi.
  ChatGPT ile her gün uğraşan kişilerin zaten keşfettiği en iyi ısınma yöntemlerini ya da beklenmedik çıktı taşmalarını engelleme yollarını en baştan öğrenmek uzun zaman alır; bu yüzden güvenilir şablonlar yeni başlayanlar için harika olur.

  • Geçerli JSON gereken API yanıtları JSON modu ile istenebilir: https://platform.openai.com/docs/api-reference/chat/create#c...
  • Yanıtı geçerli JSON olarak almak istediğimde şu tür güçlü talimatlar epey iyi işe yaradı:
    “Sonuç tüm içeriği içermeli ve geçerli JSON olmalıdır. Hiçbir koşulda bu biçimin dışına çıkma. Tüm değerler eksiksiz olmalı ve hiçbir şey atlanmamalıdır. JSON sonucu dışında hiçbir metin ekleme.”
    Sadece geçerli JSON istediğinizde her zaman beklendiği gibi olmuyordu; örneğin GPT-4 API biçimlendirme ekleyebiliyordu, bu yüzden giderek daha ayrıntılı talimat vermeye başladım.

• Şu anda ChatGPT ile ilgili işlere epey dalmış durumdayım ve haftada 1-2 uygulama yapıyorum, bu yüzden biraz önyargılı olabilirim.
  Hedeflenen kullanıcının prompt tabanlı büyük dil modellerine aşina olmayan biri olması bekleniyorsa, o kişi için ne problem ne de çözüm alanı yeterince net tanımlı.
  Örneğin önceden tanımlı seçenekler az, “kendin tanımla” kısmı ise fazla. Sunulan seçicilerin anlamı da belirsiz; mesela “you will Detect” ifadesinin kullanıcıya nasıl yardımcı olacağını anlamak zor.
  Sonuç olarak seçimlerin çıktıyı nasıl etkilediği belirsizleşiyor ve araç bir tavuk-yumurta problemine dönüşüyor. Sistemi anlamaya yardımcı olduğunu söylüyor ama etkili kullanmak için sistemi anlamak gerekiyor.
  Bu kadarsa ChatGPT’den etkili bir prompt hazırlamasını istemek daha kolay bile olabilir.

  • Hedef kullanıcının prompt tabanlı büyük dil modelleri hakkında biraz bilgisi olan ve biraz yönlendirmeye ihtiyaç duyan biri olduğunu varsaymıştım. Öyleyse bu, beceriyi artırmak için harika ve basit bir framework gibi görünüyor.
  • Birkaç aydan kısa proje yaptığım olmadı; bu yüzden yarım haftada yapılabilecek uygulamanın ne tür bir şey olduğunu merak ediyorum. Paylaşabileceğiniz bir bağlantı var mı?

• Bu botlarla konuşurken, aslında kiminle konuşuyoruz?
  https://medium.com/@colin.fraser/who-are-we-talking-to-when-...
  Bu teknolojiyi insanlaştırılmış bir sohbet arayüzüyle, yani insan kostümü giymiş gibi sunmak bilinçli bir tercih. İçimizde hapsolmuş genel yapay zeka olsaydı, onunla sohbet arayüzü üzerinden etkileşim kurmak doğal görünebilirdi.
  Ama tersine, sohbet arayüzüyle etkileşim kurduğumuz bir teknolojinin de genel yapay zeka olacağını düşünmek kolay. Playground’da büyük dil modelleriyle doğrudan uğraşınca, sohbetin bir muhatap olduğu yanılsamasını güçlendiren göz boyama ve hile katmanlarından yalnızca biri olduğu görülüyor.

  • GPT her şeyden önce bir doğaçlama oyuncudur. Verilen metni olabildiğince doğal biçimde sürdürmek üzere eğitilmiştir; bu yüzden sırada ne gelmesi gerektiğini bilmediğinde kulağa makul gelen bir şey uydurur.
    Ardından bu evrensel doğaçlama oyuncu belirli bir rolü, yani soruları yanıtlayan kişi rolünü oynamak üzere eğitilir. Ancak her soruyu yanıtlamasına izin verilirse zararlı tavsiyeler de çıkabileceğinden, zararsız tavsiyeler veren bir soru-cevaplayıcı olarak eğitilir.
    Modelden iş yaptırmak için hangi rolü oynaması gerektiğini bilmeniz gerekir. “Sorulara yanıt vermeye çalışan kişi” rolü esnektir ve yanıtları daha fazla özelleştirmeye olanak tanır.
    Yani sohbet arayüzü yarı yarıya kendini açıklayan bir UI olduğu için, diğer yarı yarıya da modeli yararlı bir rol oynamaya yönlendirmek içindir.

• Bu, ChatGPT ile özellikle bağlantılı görünmüyor. Sadece metin bloklarına tıklayıp birleştirdiğiniz bir form; herhangi bir büyük dil modeliyle kullanılabilir gibi duruyor
  Belirli bir tescilli sağlayıcının tek bir büyük dil modeline takılıp kalmanın bu alanın gelişimine yardımcı olduğunu düşünmüyorum

  • Doğru. Kesinlikle ChatGPT’ye özel değil; daha çok cümlelerin bazı kısımlarını dolduran bir forma benziyor. Ancak ChatGPT en kolay tanınan adlardan biri ve farklı formatlarda çıktı üretmede daha iyi gibi görünüyor
    Bu prompt builder, herhangi bir büyük dil modeliyle kullanılabilir

• Her prompt özelliğinin yanıtı nasıl iyileştirdiğine dair gerçek bir analiz olsa iyi olurdu

  • Biraz tanıtım yapacak olursam, böyle bir araç olabilir :) https://github.com/agenta-ai/agenta
    Prompt’ları ve daha karmaşık büyük dil modeli iş akışlarını değerlendiren bir platform geliştiriyoruz
    Kullanıcılara bakınca prompt sonuçlarının oldukça olasılıksal olduğunu görüyoruz. Genelleme yapmak zor; örneğin satış asistanı aracı geliştiren bir kullanıcı, prompt içindeki cümlelerin sırasını değiştirmekle doğruluğun ciddi biçimde arttığını fark etti
  • Geçen ayki blog yazısının dipnotunda, sistem prompt’una “İyi yanıt verirsen 500 dolar bahşiş vereceğim” yazmanın model performansını artırdığını söylemiştim; Hacker News’te buna çok öfkelendiler ve sözde bilim dediler: https://news.ycombinator.com/item?id=38782678
    Bu etkiyi daha akademik biçimde gösteren yeni bir yazı hazırlıyorum
  • Ne yazık ki bu, iki nedenle son derece zor
    Birincisi, girdi uzayı neredeyse sonsuz. Rastgele doğal dil girdileri, isteğe bağlı veri kaynakları ve rastgele kullanım senaryoları mümkün olduğundan, gerçek kullanım senaryosunda denemeden bir yanıtın “iyileşip” iyileşmeyeceğini önceden bilmek çok zor
    İkincisi, çıktı uzayını ölçmek de zor. Yararlılık kişiden kişiye farklı tanımlanabilir; özellikle de “daha iyi bir arama motoru”nun ötesine geçip GPT ile yaratıcı çıktılar üretmeye başladığınızda bu daha da karmaşıklaşıyor

• “Prompt mühendisliği” ifadesinin ne anlama geldiğini hiç anlayamadım. Sonuçta “çözmeye çalıştığınız problemi ya da yaptırmak istediğiniz işi açık ve doğru biçimde tarif edebiliyor musunuz?” sorusunun ötesine hiç geçti mi emin değilim. Temel iletişim becerisi gibi görünüyor
  “Sen B’sin, C yapıyorsun ve D yapmalısın” gibi belirli bir prompt biçiminin, başka açık ve öz talimatlardan daha iyi olduğuna dair sağlam veri hiç görmedim
  Eskiden iyi iletişim becerisi dediğimiz şeye yeni bir ad verilmiş olması şaşırtıcı; ama mühendislerin iyi yazamadığına dair eski klişe gerçeğe daha yakın olabilir

• “... gibi davran” kalıbına hâlâ ihtiyaç olup olmadığını merak ediyorum
  GPT-4’te artık kullanmıyorum. Varsayılan “persona” çoğu prompt’a yeterince iyi yanıt veriyor ve “... uzmanı gibi davran” demek gözle görülür biçimde daha iyi sonuç vermiyor
  Asıl istediğim araç, küçük değişiklikler yapılmış birden fazla prompt’u hafif ama etkili biçimde deneyip karşılaştırarak hangisinin daha iyi olduğuna dair fikir vermesi. Böyle iyi bir araç gören var mı merak ediyorum

  • Birden fazla prompt’u bir soru seti üzerinde test etmek isteyip istemediğini merak ediyorum. Tam bu amaçla bir araç bulamadım; prompt’ları karşılaştırırken kısa bir script ile soruları ve prompt’ları döngü içinde çalıştırdım
    Sadece test edilecek prompt’ları eklemenin yeterli olduğu bir araç yapmak eğlenceli olurdu; ama akla gelen ilk zorluk, kullanılacak soru setini oluşturmak
    Burada bahsedilen prompt testinin bir soru seti üzerinde sistem prompt’u testi mi, yoksa aynı soruyu birden fazla şekilde sorma testi mi olduğunu da merak ediyorum
  • Bu kalıbın artık pek yararlı olmadığını düşünüyorum
    Ayrıca böyle bir araç yapıp hazır olduğunda Twitter’dan DM atacağım

• Genel olarak talimat listesi uzadıkça ChatGPT’nin her talimata uyma olasılığı azalıyor gibi geliyor. Dikkati bölünüyor gibi; yalnızca “A yap” dersen A yapıyor, ama “A da yap, B de yap” dersen ikisini de yapıyor ama her birini kısmen yapıyor
  En iyi deneyimim kısa veya orta uzunlukta bir prompt verip ardından one-shot ya da few-shot örnekler kullanmak oldu. Özellikle aynı anda birden fazla iş yaptırmak istediğinizde few-shot iyi çalışıyor