OpenAI’nin Prompt Engineering Rehberi

• Büyük dil modelleri (GPT modelleri olarak da bilinir) ile daha iyi sonuçlar elde etmek için strateji ve teknikler paylaşan bir rehber
• Burada açıklanan yöntemler bazen birleştirilerek daha büyük etki yaratabilir; en uygun yöntemi bulmak için denemeler yapılması önerilir
• Örnek prompt’ları inceleyerek modelin neler yapabildiği öğrenilebilir

Daha İyi Sonuçlar Elde Etmek İçin Altı Strateji

Açık talimatlar yazın

• Model zihin okuyamaz; bu yüzden ne istediğinizi açıkça istemeniz gerekir.
• Daha ilgili yanıtlar almak için ayrıntı ekleyin; modelden belirli bir kişiyi canlandırmasını isteyin veya girdinin farklı bölümlerini net biçimde göstermek için ayraçlar kullanın.
• Görevi tamamlamak için gereken adımları belirtin, örnekler verin ve çıktının istenen uzunluğunu tanımlayın.

Referans metin sağlayın

• Dil modelleri, özellikle zor konularda ya da alıntı ve URL istendiğinde, kendinden emin görünen uydurma yanıtlar üretebilir.
• Modele, yanıt verirken referans metni kullanmasını ya da referans metinden alıntı yaparak yanıt vermesini söyleyin.

Karmaşık görevleri basit alt görevlere bölün

• Yazılım mühendisliğinde karmaşık sistemleri modüler bileşenlere ayırmak iyi bir uygulama olduğu gibi, dil modellerine verilen görevler için de aynısı geçerlidir.
• Karmaşık görevlerde hata oranı yüksektir ve bunlar çoğu zaman basit görevlerden oluşan bir iş akışı olarak yeniden tanımlanabilir.
• Kullanıcı sorgusuyla en ilgili talimatları belirlemek için niyet sınıflandırması kullanın; çok uzun konuşmalar gerektiren sohbet uygulamalarında önceki konuşmaları özetleyin veya filtreleyin.
• Uzun belgeleri parça parça özetleyin ve özyinelemeli olarak genel özeti oluşturun.

Modele "düşünmesi için zaman" tanıyın

• Modeli aceleyle yanıt vermek yerine, yanıtı oluşturmadan önce bir "düşünce zinciri" üretmeye yönlendirmek daha güvenilir sonuçlar verebilir.
• Modelden önce kendi çözümünü oluşturmasını isteyin; modelin akıl yürütme sürecini gizlemek için iç monolog ya da bir dizi sorgu kullanın.
• Önceki geçişte gözden kaçan bir şey olup olmadığını modele sorun.

Harici araçlar kullanın

• Modelin zayıf yönlerini telafi etmek için diğer araçların çıktısını modele sağlayın.
• Verimli bilgi erişimi için embedding tabanlı arama kullanın; daha doğru hesaplamalar için kod çalıştırma veya harici API çağrıları yapın.
• Modele belirli işlevlere erişim izni verin.

Değişiklikleri sistematik olarak test edin

• Performansı iyileştirmek, ölçülebilir olduğunda daha kolaydır.
• Değişikliğin genel performans üzerinde olumlu etkisi olup olmadığını doğrulamak için kapsamlı bir test paketi (veya "eval") tanımlamak gerekir.
• Model çıktısını altın standart yanıtlarla karşılaştırarak değerlendirin.

GN⁺ Görüşü

• En önemli nokta: Prompt engineering, dil modeli performansını optimize etmenin temel yollarından biridir; kullanıcının niyetini doğru anlamak ve istenen sonucu elde etmek için somut yönergeler sağlar.
• Neden ilginç: Bu stratejiler, yapay zeka dil modellerinin kullanımını daha etkili hale getirir ve özellikle GPT-4 gibi güncel modellerde daha yüksek performans elde edilmesine yardımcı olur.
• Dikkat çeken nokta: Bu rehber, giriş seviyesindeki yazılım mühendislerinin dil modellerini kullanırken karşılaşabileceği yaygın sorunları çözmeye yardımcı olan somut örnekler ve stratejiler sunarak, modellerin gerçek işlerde daha etkili nasıl kullanılabileceğini gösterir.

[ninebow]

OpenAI’nin GPT için en iyi uygulamaları: Genel bakış. Daha iyi yanıtlar almak için 6 prompt yazma stratejisi

[GN⁺]

Hacker News görüşleri

• ChatGPT sistem prompt’u üzerine tartışma

  • ChatGPT’nin en yeni modelleri, karmaşık kurallara uyum sağlama konusunda etkili.
  • Deneyime göre, sistem prompt’u kullanmaktan ziyade daha katı talimatlar vermek daha iyi sonuç veriyor.
  • Fonksiyon çağırma ve yapılandırılmış veri desteği, prompt engineering’in bir biçimi olarak yalnızca sistem prompt’u kullanmaktan çok daha güçlü.
  • Sistem prompt’u ile yapılandırılmış veri sonuçlarını karşılaştıran ilginç bir demo örneği var.

• İspanyolca cheeseburger siparişi verme deneyimi

  • ChatGPT ve Google Çeviri’nin önerdiği İspanyolca çeviriye garson tuhaf tepki verdi.
  • Çeviriyi iyileştirmek için, Meksika kökenli Amerikalılara uygun özelleştirilmiş bir İspanyolca çeviri istendi.
  • Ertesi gün, "Cheeseburger sin pepinillos" ifadesiyle sipariş verildiğinde garson bunun daha iyi olduğunu söyledi.

• LLM’lerin (Large Language Models) özellikleri üzerine tartışma

  • Girdi ile talimat arasında neredeyse hiç ayrım yok; bu yüzden kullanıcının girdisi prompt’un bir parçası olarak kabul ediliyor.
  • Bu durum, bilinen "prompt injection" zafiyetine yol açıyor; ancak bunun nedeni modelin talimat ile girdiyi ayırt etmemesi gibi doğasında bulunan bir özellik.
  • Prompt ile girdinin birleşimi programın tüm girdisini oluşturuyor ve bu nedenle programın davranışından emin olmak zorlaşıyor.
  • LLM’lerin hâlâ karmaşık görevlerde yeterince güvenilir sayılmamasının nedeni bu.

• Prompt yazmayı öğrenme konusundaki tereddüt

  • Yeni sürümler ve farklı LLM’ler farklı tepkiler verdiği için, prompt yazmayı kusursuzca öğrenmeye çok zaman ayırma konusunda tereddüt var.
  • Sistemler daha akıllı hâle geldikçe karmaşık prompt’lara ihtiyaç kalmayabilir.

• Prompt engineering ile Google gelişmiş arama sorgularının karşılaştırılması

  • Temel sorularda chatbot’lar iyi çalışıyor; ancak istenen bilgi karmaşıklaştıkça doğru bilgi almak zorlaşıyor.
  • Google aramada da temel bilgiye kolayca ulaşılabiliyor; ancak daha net olmayan sonuçlar istendiğinde gelişmiş arama operatörleri kullanılıyor.

• Google arama prompt’ları ile LLM prompt’larının karşılaştırılması

  • İnsanlar, internette ihtiyaç duyduklarını bulmak için Google’a basit anahtar kelimeler yazmaya alıştı.
  • Şimdi karmaşık cümleler kurmak zorunda olmak zaman alacak ve bu geçici bir aşama olabilir.

• İnsanlar arası iletişimdeki başarısızlıklar ve LLM’lerin sınırları

  • İnsanlar arasındaki iletişim sık sık başarısız oluyor ve çoğu insan etkili bir iletişimci değil.
  • Makinelerin de insanların zihnini ve niyetini okumada daha iyi olmasını beklemek zor.
  • Prompt engineering, insanlar arasındaki iletişim becerisini geliştirmek için var olmalı.

• "Prompt engineering" terimine yönelik eleştiri

  • "Engineering" kelimesinin aşırı kullanıldığı görüşü dile getiriliyor.

• LLM’lerin insanlara daha açık iletişim kurmayı öğretme rolü

  • İnsanlar, LLM’ler sayesinde daha açık iletişim kurmayı öğreniyor.

• LLM tabanlı chat app uygulamalarını hayata geçirmenin kolaylığı

  • Kuramsal ilerleme olmasa bile, LLM tabanlı chat app’leri uygulamaya geçirmenin birçok avantajı var.
  • Şimdikinden daha iyi sonuçlar elde etmek için geliştiricilerin çaba göstermesi gerekiyor.