Yapay zeka maliyetini günlük 100 dolardan 1 dolara nasıl düşürdüler: GPT-4 ile Mixtral fine-tuning

• Yapay zeka tabanlı bir kariyer keşif uygulaması geliştirdiler; uygulama patlayıcı şekilde büyüyünce GPT-4 maliyeti günlük 100 doların üzerine çıkmaya başladı
• Gecikmeyi azaltırken kaliteyi koruyup yapay zeka maliyetini %99’a kadar düşürmek için kullanılan yöntemler
  • En güçlü modelden (GPT-4) çıktı alıp, bu çıktıları kullanarak daha küçük bir modeli fine-tune etmek
  • Yapay zeka istek/yanıtlarını kolayca export edilebilecek şekilde saklamak. Bunun için Helicone AI kullanıldı. OpenAI API’yi olduğu gibi değiştirince, yapay zeka isteklerini bir tabloya kaydediyor
  • Yaklaşık 100~500 istek/yanıt çifti biriktiğinde export edip, veriyi iyi kalitede temizlemek
  • Bu veri setiyle Together/Anyscale gibi hosting servislerini kullanarak Mixtral 8x7B’yi fine-tune etmek
  • GPT-4’ü yeni fine-tune edilmiş modelle değiştirmek

[kuroneko]

Yani bu, hem GPT-4'ün kullanım şartlarını hem de Mixtral'in lisansını ihlal ettikleri anlamına mı geliyor...? @_@

[xguru]

Sanırım öyle. Bu pek görünür olmadığı için çoğu kişi böyle düşünüyor gibi.

[kuroneko]

Kulaktan kulağa kullanılan ya da araştırma amaçlı kamuya açılan örnekler vardı,
ama böyle alenen “biz bunu kullandık!” diye tanıtmaları biraz... ilginç gerçekten.

Bir şey demezler mi acaba...?

[xguru]

Hacker News görüşü

• Çoğu teknoloji şirketi, temel araştırma dışında en az yarım yıldır GPT-4 veya 3.5 kullanarak eğitim verisi üretiyor, ardından buna dayanarak QLoRA ile ince ayar yapıp bunu "kendine ait" bir yapay zeka modeli olarak piyasaya sürüyor. Yöneticiler büyük başarılar iddia ediyor ve şirketlerinin "belirli bir sektör" yapay zeka alanında lider olduğunu söylüyor. Bu süreç neredeyse hiç makine öğrenimi bilgisi gerektirmiyor ve bulut bilişim maliyeti $1,000'ın altında kalabiliyor. Ancak gerçek işlerde ortaya çıkan sonuç en fazla GPT-3.5 seviyesinde oluyor ve özellikle bulut GPU'ları kullanıldığında maliyet açısından GPT-3.5 ile rekabet etmek zor.
• Bu kişinin Wanderer uygulamasına baktım; kullanım şartları, gizlilik politikası, net fiyatlandırma ya da yapay zekaya dair herhangi bir ifade hiç yok, bu da oldukça şüpheli görünüyor. GPT-4 kullanan yaklaşım, modelin GPT-4 kadar akıllıymış gibi davranması için iyi olabilir, ama gerçekten önemli anlarda daha zayıf bir model olduğu ortaya çıkıyor.
• Together.ai belgelerine göre Mixtral ince ayar için kullanılamıyor ve ince ayar yapılmış modelleri serverless olarak çalıştırmadıkları görülüyor. Bu da anlatının tutarlı olmadığına işaret ediyor.
• Etik sorunlar ve kısıtlayıcı koşulları bir kenara bırakırsak, gönderiyi paylaşan kişinin yaptığı iş için GPT-4 gerekli olmayabilirdi. Mixtral ya da 3.5 ile ilk 100 iyi prompt-yanıt çiftini üretip, sonra bunu gönderen kişinin elle düzeltmesi ne kadar daha kötü ya da zor olurdu?
• Yapay zekayla büyük ölçekte içerik özetleyen bir yan proje uygulaması geliştiriyorum ve bunun gelir getiren bir SaaS olmasını umuyorum. Hızlı çıkış için şimdilik OpenAI kullanmayı planlıyorum, ama daha sonra kendi kendine barındırılan LLM seçeneğine geçmenin ekonomik ve teknik olarak mümkün olacağını düşünüyorum. Bu konuda deneyimi olan varsa ipucu ya da püf noktaları paylaşabilir.
• Bunun OpenAI kullanım şartlarını ihlal edip etmediğini merak ediyorum.
• Maliyetin nasıl $1'a düştüğünün açıklanması isteniyor. GPT-4, Mixtral 8x7b'nin ince ayarlı bir sürümüyle değiştirilmiş, ancak bunun için birden fazla GPU gerekiyor. Modeli kendi başlarına quantize etmiş olsalar bile donanım ve altyapı maliyeti olur; bu da $1'ın üstüne çıkar. Acaba kendi kendilerine mi barındırıyorlar?
• Klasik bilgi damıtma metodolojisine bir gönderme yapılıyor. Burada ince ayar için 8x7b'ye ihtiyaç olmayacağı savunuluyor ve yakında phi-2 veya phixtral modellerinin bu alanlar için yeterince güçlü hale geleceği söyleniyor.
• Hiçbir değişiklik yapmadan openhermes 7b chat ile harika sonuçlar aldım; bu, GPT-4 kullanım senaryolarının %90'ını kapsıyor ve hızlı çalışıyor. Tavsiye ederim.