Magic: The Gathering draftında Mistral 7B’nin ince ayarı

Özet: yapay zekada ince ayar tekniklerini keşfetmek

• İnce ayar tekniğinin etkisi ve zorluğu
  • İnce ayar, GPT-4’ün yeteneklerini tamamlamayı ve hız ile maliyet verimliliği sağlamayı vaat ediyor.
  • İnce ayarın gerçekte ne kadar etkili ve ne kadar zor olduğuna dair bilgi eksikliğini gidermek için doğrudan deney yapıldı.

Problemin seçimi

• Modelin akıl yürütme yeteneğini Magic: The Gathering (MTG) draftı üzerinden test etmek
  • MTG stratejik bir kart oyunudur; draft ise rastgele bir kart havuzundan kart seçerek deste kurma yöntemidir.
  • Draft, akıl yürütme ve yeni verileri anlama gerektiren karmaşık bir görev olduğundan uygun bir test alanıdır.
  • 17lands adlı hizmetin sağladığı büyük ölçekli tarihsel veriler kullanılarak en iyi oyuncuların draft seçimleri "ground truth" olarak alındı.

Sonuçlar ve özet

• İnce ayarlanmış 7B modelin performansı
  • İnce ayarlanmış 7B model, GPT-4’ü geride bırakan ve insan seviyesine yaklaşan bir performans gösterdi.
  • GPT-3.5’i ince ayarlamak daha iyi sonuç verebilir, ancak maliyeti çok yüksektir.
  • İnce ayar hâlâ deneysel bir süreçtir; özellikle prompt engineering oldukça zaman alır.
  • Yeni bir kart seti üzerinde yapılan ince ayarın ardından, model görülmemiş kart setlerinde de genelleme yeteneği gösterdi.

Saha raporu: yöntem ve öğrenme süreci

• Veri oluşturma
  • 17lands’in CSV dosya biçimindeki verileri, ince ayara uygun olacak şekilde metin biçimine dönüştürüldü.
  • Veri biçimlendirme zorlu ve deneysel bir süreçti.
• İnce ayarın yürütülmesi
  • GPU erişim sorunları nedeniyle Runpod üzerinden saatlik GPU kiralandı.
  • axolotl kullanılarak ince ayar optimizasyonu kolayca uygulandı.
• Değerlendirme
  • Deneye başlamadan önce değerlendirme ölçütlerini belirlemek önemlidir.
  • Dil modelleri için değerlendirme ölçütleri oluşturmak zor olabilir.

Başlıca dersler

• İnce ayarın etkisi
  • Yeni veriler üzerinde yapılan ince ayar, doğruluk ve maliyet açısından GPT-4’ten üstündür.
  • İnce ayarı doğru yapmak için deneysel bir süreç gerekir; bu, prompt engineering’den öğrenmesi daha zor, uzmanlık gerektiren bir beceridir.

Magic ile ilgili ek bilgiler

• İnce ayarlanmış yapay zeka draft botunun performansı
  • Magic Arena günlüklerine bağlanan bir draft modeli kullanılarak draft yardımcı uygulaması geliştirildi.
  • Seçimleri ince ayarlanmış model üretirken, açıklamaları GPT-4 sağlıyor.
  • Birden fazla yapay zeka draft botu simüle edilerek insan draft oyuncularına benzer performans elde edildi.

GN⁺ görüşü

Bu yazıdaki en önemli nokta, ince ayar tekniklerinin mevcut büyük dil modellerinin (GPT-4 vb.) performansını aşma potansiyeline sahip olması ve bunun belirli görevlerde yapay zekanın anlama düzeyini ile verimliliğini büyük ölçüde artırabilmesidir. Yazıyı ilgi çekici kılan şey, ince ayarın somut sürecini ve etkisini gerçek bir uygulama örneği üzerinden göstermesi; bunun da giriş seviyesindeki yazılım mühendislerinin yapay zeka teknolojilerinin gelişim potansiyelini ve uygulanma yöntemlerini anlamasına yardımcı olabilmesidir.

[GN⁺]

Hacker News görüşleri

• LLM ince ayarında en basit kavramların bile hayata geçirilmesinin zor olabildiğini göstermesi etkileyici. Kaliteli bir başlangıç veri kümesi ve model olmasına rağmen bu yine de zorlu bir görevdi.
• LLM’lerin doğal bir doğru cevabı olmayan sorunlara uygun olduğu düşünülüyor. Mükemmel kartı seçmek hesaplama açısından imkânsız olabilir, ancak iyi bir kartı seçmek mümkündür ve LLM’ler insan seviyesine yakın performansa ulaşabilir.
• LLM ince ayarıyla çözülebilecek bir problem kümesi var gibi görünüyor. Günlük hayatta devrim yaratacak bir şey olmasa da, Magic: the Gathering gibi oyunlarda ilginç oyun tarzlarına sahip botlarla karşılaşmak heyecan verici olurdu.
• En iyi oyuncuların draft seçimlerini analiz ederek "gerçek veri" çıkarmanın nasıl mümkün olacağı sorgulanıyor. Galibiyet oranına göre sıralanmış veriler, en iyi oyuncuları değil en şanslı oyuncuları yansıtıyor olabilir.
• LLM belli ölçüde kural bilgisine sahip olabilir, ancak muhtemelen daha çok kartın nadirliği, maliyeti vb. unsurları dikkate alacaktır. Draftın "doğruluğu" konusunda soru işaretleri var.
• LLM kaybını 0’a indirmeye çalışmak yerine, Axolotl kullanarak ağırlıklı loss denemenin yardımcı olabileceği söyleniyor. Alan uyarlaması ince ayara katkı sağlayabilir.
• Ajan için verilen prompt’un yalnızca kart adlarını içerdiği ve önceki seçimlerle bağlamı korumadığı görülüyor. Bu da botun iyi draft yapmasının tamamen tesadüfi olabileceğini düşündürüyor.
• Magic the Gathering: Arena’yı hackleyerek %100 kazanma oranına ulaşılan bir örneğe bağlantı paylaşılıyor. Bu, MTGA’daki sanal AI olan Sparky’nin çok karmaşık olmayabileceğini düşündürüyor.
• Magic: The Gathering için LLM ince ayarına ilgi ifade ediliyor. Bir kart benzerliği tarayıcısı geliştiriliyor ve InstructorXL ile çeşitli prompt’lar denenmiş olsa da henüz tatmin edici sonuç alınamamış. Bu gönderi ilham verici olmuş.
• Her kartı bir token olarak ele alıp draft durumunu girdi olarak kullanarak seçilecek kartı tahmin eden küçük bir modelin kullanılıp kullanılamayacağı merak ediliyor.
• Mistral’i başlangıç noktası olarak kullanmadan bir sinir ağı eğitip draft yaptırmakla karşılaştırmanın ilginç olacağı belirtiliyor. LLM bileşeninin neden önemli olduğu net değil.
• Draftın LLM ile temsil edilebilmesi oldukça ilgi çekici. En iyi draft AI’ları bir şekilde temsil öğrenmesinden yararlanıyor.