500 Milyon GPT Token’ı Eğittikten Sonra Edinilen Dersler

GPT kullanımında kısa ve öz prompt’lar daha iyi sonuç veriyor

• GPT, zaten sağduyu gereği bildiği şeyleri prompt içinde gereğinden fazla açıkça belirtirseniz daha çok kafa karışıklığı yaşıyor
• Örneğin, metinde geçen eyaleti sınıflandırma görevinde 50 eyaletin listesini vermek yerine yalnızca eyalet adını istemek daha doğru sonuç veriyor

Yalnızca OpenAI’nin chat API’siyle bile yeterince çeşitli ve güçlü işlevler kurulabiliyor

• Langchain gibi ek araçlar olmadan, sadece chat API kullanarak JSON çıkarımı gibi gerekli işlevler basitçe uygulanabiliyor
• GPT modeli yükseltildiğinde de kod tabanında yalnızca tek bir string’i değiştirmek yeterli oluyor
• OpenAI API’sindeki hata işleme ve giriş uzunluğu sınırı gibi durumlar için sadece basit bir mantık eklemek yeterli

GPT’nin hiçbir şey bulamadığı durumları ele almak zor

• "Hiçbir şey bulamazsan boş değer döndür" prompt’unda GPT sık sık olmayan şeyler uyduruyor ya da güvensiz davranıyor
• Girdi boş olduğunda GPT’ye prompt göndermemek çözüm oluyor

GPT yalnızca sınırlı uzunlukta çıktı üretebiliyor

• GPT-4’ün giriş sınırı 128k token olsa da çıktı sınırı yalnızca 4k token
• JSON nesnesi listesi istendiğinde GPT, 10’dan fazla öğeyi istikrarlı biçimde üretmekte zorlanıyor

Vektör veritabanları ile RAG/embedding genel amaçlı kullanımda çok yardımcı olmuyor

• Arama dışındaki kullanım alanlarında RAG iyi çalışmıyor
• İlgililik değerlendirmesinin zorluğu, veri izolasyonu sorunları ve kullanıcı memnuniyetinin düşmesi gibi nedenlerle pratikliği azalıyor
• Genel arama için GPT kullanan fasetli arama ya da karmaşık sorgu üretimi daha uygun

GPT fiilen halüsinasyon üretmiyor

• Verilen metinden bilgi çıkarma görevlerinde GPT oldukça güvenilir sonuçlar veriyor
• Ancak metinde bilgi yoksa olmayan şeyler uydurabiliyor
• Bu yüzden yeterli bağlam sağlamak ve GPT’nin yanıtlarını iyi şekilde ele almak önemli

GN⁺ görüşü

• Transformer modelleri, web verisi ve büyük ölçekli altyapı tek başına AGI’ye ulaşmak için yeterli görünmüyor
• GPT-4 kesinlikle faydalı, ancak bunun ötesindeki ilerleme için model mimarisinin kendisinde yenilik gerekebilir
• OpenAI dışındaki alternatifler hâlâ GPT seviyesine ulaşmış görünmüyor; bu yüzden sonuçta GPT’nin yeni sürümlerine odaklanmak gerekecek
• GPT-5 performansının GPT-4’e kıyasla devrim niteliğinde olması beklenmiyor. Maliyet/fayda oranı sınırına yaklaşılmış gibi görünüyor
• Bu nedenle şimdilik GPT-4’ü kullanarak en iyi prompt tasarımı ve uygulamalara odaklanmak daha gerçekçi bir tercih gibi görünüyor

[GN⁺]

Hacker News görüşü

• Bir ekip ayda 5 milyardan fazla token işliyor ve bunu yöneten mühendislik yöneticisi deneyimlerini paylaşıyor.
  • Langchain gibi birçok soyutlama erken aşamada gereksiz; prompt'lar aslında sadece API çağrıları olduğu için onlara özel bir şeymiş gibi davranmaktansa normal kod olarak yazmak daha kolay.
  • Özetleme sağlam, ancak akıl yürütme zor; özellikle de LLM'in bağlamı anlaması ve emin olmadığında bunu söylemesi.
  • Oyun değiştirici ama dünyanın sonu değil; bazı meslekleri ciddi biçimde etkileyecek olsa da internet kadar devrimsel değil ve daha çok gücü artıran bir rol oynayacak.
• Kişisel bir yazı yazma uygulamasında OpenAI modellerini kullanma deneyimi paylaşılıyor.
  • Son 2 yıldaki taslak notlar arasında Haskell'den bahsedenleri bulmak gibi akıllı arama özellikleri uygulanmak istendi, ancak ChatGPT'den yapılandırılmış JSON verisi döndürmesini istemek yalnızca kısmen işe yarıyor.
  • Bunun yerine verileri bir SQLite veritabanına koyup ChatGPT'ye şemayı göndererek isteneni döndürecek sorguyu yazmasını istemek daha iyi çalışıyor.
• Daha iyi prompt'lar kullanılırsa daha ucuz modeller kullanılabilir.
  • LLM'e yumuşak bir çıkış veriliyor (sufficient information yoksa hipotez kurabileceği ama bunu açıkça belirtip dayanak ve mantıksal temel sunması gerektiği söyleniyor), ardından kendi yanıtını değerlendirmesi isteniyor.
• JSON moduna neden ihtiyaç duyulmadığı merak ediliyor.
• Kurallar metne uygulanmıyorsa özgün metni hiçbir değişiklik yapmadan döndürmesi için prompt test edildi, ancak ChatGPT The original text without any changes ifadesinin kendisini döndürdü.
• GPT çok etkileyici, ancak ne kadar belirsiz olursa kalite ve genellemenin o kadar arttığı yorumuna güçlü biçimde katılınmıyor.
  • Doğal dil, GPT için en olası çıktı ve geliştiriciler sadece GPT'nin iyi yaptığı şeylere daha fazla yaslandı.
  • Basit görevlerle bile GPT başarısızlığa sürüklenebilir ve GPT'nin eşlemeyi "anlaması" fikrinin kendisi yüksek düzeyli örüntü eşleştirmeyi ima ediyor.
• GPT-4, 1 yıl önceki bir model olmasına rağmen diğer LLM'lere kıyasla çok daha üstün performans gösteriyor; kullanım biçimine bağlı olarak halüsinasyonlar nadir ve doğru olduğunu bildiğinde daha inatçı.
• Şirket adı çıkarırken, metinde şirket yoksa rastgele bir şirket önermesi gibi bir null hipotezi sorunu var.
  • Önce "Bu metin bir şirketten bahsediyor mu?" diye sorup, öyleyse "Bu metindeki şirket adlarını listele" demeyi içeren 2 aşamalı bir yaklaşım gerekli.
• GPT'nin 10'dan fazla öğeyi kararlı biçimde döndürememesi sadece bir prompt sorunu; JSON anahtarları kullanılırsa doğru sırayla 200'e kadar öğe döndürülebilir.
• 'null' sorununu çözmek için ipuçları:
  • "Hiçbir şey döndürme" demek yerine "XYZ'nin varsayılan değerini döndür" denebilir; ardından eyalet adı arar gibi bu varsayılan değer (XYZ) için metin araması yapılabilir.
  • Sistem prompt'u kullanılarak LLM'in X rolünü üstlenmesi sağlanabilir.
• Token tabanlı kesilme için bir mikro paket tanıtılıyor.