Prodüksiyon için LLM Uygulamaları İnşa Etmek

 (huyenchip.com)
20 puan yazan xguru 2023-04-17 | 1 yorum | WhatsApp'ta paylaş
  • LLM ile havalı bir şey yapmak kolay, ancak bunu prodüksiyon seviyesine taşımak çok zor
  • LLM uygulamalarını ürünleştirmek için çözülmesi gereken başlıca sorunları, birden çok görevi kontrol akışı içinde nasıl entegre edeceğimizi, araçların nasıl kullanılacağını ve umut vadeden örnekleri ele alan bir yazı

Part I. Prompt engineering’i prodüksiyonlaştırmanın zorlukları

  • Doğal dilin belirsizliği
    • Prompt değerlendirmesi
    • Prompt sürümleme
    • Prompt optimizasyonu
  • Maliyet ve gecikme
    • Maliyet
    • Gecikme (latency)
    • LLM’ler için maliyet + gecikme analizinin imkânsızlığı
  • Prompting vs. fine-tuning vs. alternatifler
    • Prompt tuning
    • Distillation yoluyla fine-tuning
    • Embedding + vektör veritabanı
    • Geriye/ileriye dönük uyumluluk

Part 2. İş bileştirilebilirliği (composability)

  • Birden çok görevden oluşan uygulamalar
  • Ajanlar, araçlar ve kontrol akışı
  • Araç vs. eklenti
  • Kontrol akışı: sıralı, paralel, if, for döngüsü
  • LLM ajanlarının kontrol akışı
  • Ajan testi yapmak

Part 3. Umut vadeden kullanım senaryoları

  • Yapay zeka asistanları
  • Chatbot’lar
  • Programlama ve oyunlar
  • Öğrenme
  • Verilerinizle konuşma
  • LLM benim için veri analizi yapabilir mi?
  • Arama ve öneri
  • Satış
  • SEO

Sonuç

  • Hâlâ LLM uygulamalarının çok erken aşamasındayız. Her şey hızla evriliyor
    • Kısa süre önce LLM hakkında kitap önerileri gördüm; aklıma ilk gelen şey, bunların çoğunun bir ay içinde demode olacağıydı
    • API’ler her gün değişiyor ve yeni uygulamalar keşfediliyor. Altyapı agresif biçimde optimize ediliyor
    • Maliyet ve gecikme analizi haftalık yapılmalı ve yeni terimler ortaya çıkıyor
  • Ancak bu değişimlerin hepsi önemli değil
    • Sayısız prompt engineering makalesi, derin öğrenmenin ilk dönemlerinde ağırlık başlatmanın farklı yollarını anlatan binlerce makaleyi hatırlatıyor
    • Prompt ayarlama hileleri uzun vadede önemli olmayacak
  • LLM’lerin kendi prompt’larını yazma konusunda da epey iyi olduğu düşünüldüğünde, prompt ayarlayan insanlara gerçekten ihtiyaç olup olmayacağını kim bilebilir?
  • Kısa süre önce Linkedin’de insanlar bu alan hakkında güncel kalmanın yollarını sordu ve çok çeşitli görüşler vardı
    • Hype’ın (çoğunu) görmezden gelin
    • Sadece özetleri okuyun
    • Tüm araçları deneyin
  • Sizin stratejiniz ne?

İlgili okumalar