GPT-3.5 Turbo için ince ayar ve API güncellemeleri

• OpenAI, GPT-3.5 Turbo için ince ayar ve API güncellemelerini duyurdu; böylece geliştiriciler modeli belirli kullanım senaryolarına göre özelleştirebilecek.
• GPT-4 için ince ayarın sonbaharda kullanıma sunulması bekleniyor.
• İlk testler, ince ayar yapılmış GPT-3.5 Turbo'nun belirli görevlerde temel GPT-4 performansını aşabildiğini veya ona eşdeğer sonuç verebildiğini gösterdi.
• İnce ayar API'si üzerinden gönderilen veriler müşteriye aittir ve OpenAI ya da başka kuruluşlar tarafından diğer modelleri eğitmek için kullanılmaz.
• İnce ayar; daha iyi yönlendirilebilirlik, güvenilir çıktı biçimi ve özelleştirilmiş ton gibi yaygın kullanım alanlarında model performansını artırmak için kullanıldı.
• İnce ayar, işletmelerin istemleri kısaltırken benzer performansı korumasını sağlar ve daha önce ince ayar yapılmış modellerin iki katı olan 4k token işleyebilir.
• İnce ayar, prompt engineering, bilgi erişimi ve function calling gibi tekniklerle birleştirildiğinde en etkili sonucu verir.
• İnce ayar maliyeti, başlangıç eğitim maliyeti ve kullanım maliyeti olmak üzere ikiye ayrılır.
• OpenAI ayrıca, orijinal GPT-3 temel modellerinin yerine babbage-002 ve davinci-002'yi sunuyor; bunlar yeni API endpoint'leri üzerinden ince ayar yapılabiliyor.
• Mevcut /v1/fine-tunes endpoint'i 4 Ocak 2024'te kullanımdan kaldırılacak.
• OpenAI, ince ayar dağıtımlarının güvenliğini sağlamaya çalışıyor; ince ayar eğitim verileri, güvensiz eğitim verilerini tespit etmek için Moderation API ve GPT-4 tabanlı denetim sistemi üzerinden taranıyor.
• Yakın gelecekte bir ince ayar UI'si yayınlanacak; böylece geliştiriciler devam eden ince ayar işleri ve tamamlanmış model snapshot'ları hakkındaki bilgilere daha kolay erişebilecek.

[GN⁺]

Hacker News görüşleri

• OpenAI, söz verdiği gibi GPT-3.5 ince ayarını, birkaç ay önce GPT-4 API erişimini açmasının ardından kullanıma sundu.
• Yeterince açık olmadığı yönündeki eleştirilere rağmen, OpenAI; Llama ve Bard gibi diğer açık kaynaklı yapay zekaların önünde giden hızlı yenilikleriyle takdir görüyor.
• İnce ayarlanmış GPT-3.5 Turbo ile üretim yapmanın maliyeti temel modele göre 8 kat daha yüksek; bu nedenle yalnızca prompt boyutunu ciddi ölçüde azaltabilenler için maliyet açısından avantajlı.
• İnce ayarlanmış GPT-3.5 Turbo ile Llama2 modeli arasında karşılaştırma isteniyor; ikincisi kiralık altyapı gerektiriyor.
• Bazı kullanıcılar GPT-3.5 Turbo'nun tekrarlayıcı ve hatalı olduğunu, bu yüzden yazma ve kodlama için uygun olmadığını düşünürken; diğerleri GPT-4'ün çok daha iyi olduğunu ve eğitim ya da problem çözme yardımcısı olarak faydalı olduğunu düşünüyor.
• Kullanıcıların istediği özelliklerden biri, üçüncü taraf araçlara olan ihtiyacı ortadan kaldıracak yerleşik prompt bölme işlevi.
• OpenAI'nin "güvensiz" modeller sunmamayı seçmesi dikkat çekti; davinci-002 ve babbage-002'nin ikisi de "güvensiz" completions için sonsuz döngüye giriyor.
• İnce ayar eğitim verileri, OpenAI'nin Moderation API'sinden ve GPT-4 tabanlı sansür sisteminden geçiyor; bunun yüksek maliyet nedeniyle yalnızca "güvenlik" belirsiz olduğunda kullanıldığı tahmin ediliyor.
• İnce ayar işi için gereken token sayısının nasıl hesaplandığı ve temel modelin davranışını etkili biçimde etkilemek için genelde ne kadar ince ayar verisi gerektiği soruluyor.
• "Chat" modellerinin ince ayarlanabilmesi ilgi çekici bulunuyor ve ince ayarlı modeller kullanılarak mevcut yapay zeka dedektörlerinin aşılıp aşılamayacağı soruluyor.
• Gizlilik konusunda endişeler dile getirildi; OpenAI veya Microsoft'un API çağrılarından gelen metinleri ne kadar süre sakladığı soruluyor.
• Genel olarak, GPT-3.5 Turbo ince ayarının yayınlanması olumlu bir gelişme olarak görülüyor ve 16k ince ayar için beklenti var.