GN⁺: GPT-Prompt-Engineer - GPT Prompt Mühendisi

• Prompt mühendisliği adeta simyaya benzer: en etkili olanın ne olacağını öngörmenin net bir yolu yoktur
• En uygun prompt'u bulmak için sürekli deney yapmak dışında bir yol yoktur
• gpt-prompt-engineer, bu deneyi çok daha kolay hale getiren bir araçtır
• Görevi açıklayıp basit test vakaları verdiğinizde sistem birden fazla prompt üretir, test eder, değerlendirir ve en iyi prompt'u bulur
• Sunulan özellikler
  • Prompt üretimi: GPT-4 ve GPT-3.5-Turbo kullanarak çeşitli prompt'lar üretir
  • Prompt test etme: Her prompt'u test vakalarına göre test eder, performansı çıkarır ve ELO derecelendirme sistemiyle sıralar
  • ELO derecelendirme sistemi: Her prompt 1200 ELO puanıyla başlar, birbirleriyle rekabet ederken performansa göre değişir. Böylece hangi prompt'un en iyi olduğunu görebilirsiniz
  • Classification sürümü: Sınıflandırma işleri için tasarlanmış notebook. Her test vakasının doğruluğunu değerlendirip her prompt'un puanını tablo halinde gösterir
  • Weights & Biases Logging: sıcaklık, maksimum token, sistem/kullanıcı prompt'ları, test vakaları, nihai ELO puanı gibi değerler için loglama desteği

GN⁺ tarafından özetlenen içerik

• Prompt mühendisliği, deneyin merkezde olduğu bir simya gibidir.
• gpt-prompt-engineer, prompt mühendisliğini yeni bir seviyeye taşıyan bir araçtır.
• GPT-4 ve GPT-3.5-Turbo kullanarak kullanım senaryoları ve test vakalarına dayalı prompt'lar üretir.
• Sistem, prompt'ları test etmek ve sıralamak için ELO derecelendirme sistemini kullanır.
• ELO derecelendirme sistemi sayesinde en etkili prompt'u kolayca görebilirsiniz.
• gpt-prompt-engineer içinde sınıflandırma işlerini ele alan bir sınıflandırma sürümü de vardır.
• Test vakalarının doğruluğunu değerlendirir ve her prompt için puan sağlar.
• Weights & Biases için isteğe bağlı loglama ile yapılandırma ve sıralamaları takip edebilirsiniz.
• gpt-prompt-engineer kullanmak için notebook'u Google Colab'da veya yerel bir Jupyter notebook'ta açmanız gerekir.
• OpenAI API anahtarını ekleyin ve uygun model sürümünü seçin.
• Kullanım senaryolarını ve test vakalarını tanımlayın.
• Üretilecek prompt sayısını seçin.
• Prompt üretmek ve test etmek için uygun fonksiyonları çağırın.
• Nihai ELO puanı veya skor tabloda gösterilir.
• Projeye katkılar memnuniyetle karşılanır.
• Bu proje MIT lisansı ile sunulur.
• Daha fazla bilgi için Matt Shumer ile iletişime geçin.

[GN⁺]

Hacker News görüşleri

• Gerçek model yanıtlarına dayalı bir benchmark yapmak yerine, istemlerin performansını hayal etme becerisine göre GPT-4 sıralama yapıyor.
• Bu aracın AI geliştiricileri arasındaki popülerliği, LLM'leri değerlendiren LLM'lerin yarattığı çekicilikten kaynaklanıyor olabilir; ancak gerçek uygulamalardaki performansı değerlendirmek için bir kısayol yok.
• Prompt engineering, geleneksel mühendislik alanları gibi kesin bir bilim olarak görülmüyor.
• GPT-4 ve bu aracı kullanmanın maliyeti ve zorluğu ile, en iyi istem bulunduktan sonra istemi değiştirmenin gerçekten değerli olup olmadığına dair endişeler var.
• İstem mühendisliği için istem üretmek, bir meta mühendislik biçimi olarak görülebilir.
• GPT-Engineer'ın kullanıcı verilerini toplaması ve bunun arkasındaki motivasyon konusunda endişeler var.
• Bazıları, insan girdisini daha da azaltmak için istem üretiminde GPT kullanılmasını öneriyor.
• Makalede istemlerin nasıl sıralandığı açıklanmıyor.