2018’den bu yana kullanılan BERT’in eğitim yöntemi, gerçekte modern bir difüzyon modeliyle aynı ilkeye dayandığı ortaya çıktı. Bu, yalnızca akademik bir keşif olmanın ötesinde, mevcut BERT modellerini GPT gibi metin üreten bir modele dönüştürmenin uygulanabilirliğini gösteriyor.
Öne çıkan noktalar:
- BERT’in maske dil modelleme (MLM) yaklaşımı, sabit bir difüzyon oranı sürecidir: Yedi yıl boyunca kullanılan BERT’in öğrenim yöntemi aslında, gürültü giderme temelli bir difüzyonla aynı prensibi paylaşır. Maskeleme oranını dinamik olarak ayarlamak, tamamen üretken bir modele geçişi mümkün kılar.
- Sadece 30 dakikalık eğitimle GPT-2 düzeyinde metin üretimi: Mevcut bir RoBERTa modeli, yalnızca bir miktar ince ayarla metin üretim modeline dönüştürülebilir. Kelime kelime tahmin eden GPT yaklaşımı yerine, tüm cümleyi kademeli olarak geri yükleyen bir şekilde çalışır.
- Metin üretiminde yeni bir olasılık: GPT’nin oto-regresif yaklaşımının dışında, difüzyon temelli bir üretim yöntemi alternatif olarak öneriliyor. Google DeepMind’in Gemini Diffusion gibi örneklerle yeni bir eğilimin başlangıcıdır.
Henüz yorum yok.