Apple'ın yeni `Transformer` tabanlı kestirimli metin modeli

• Apple, Transformer dil modelini kullanan iOS ve macOS için yeni bir özellik duyurdu: kullanıcı yazarken kestirimli metin önerileri sunuyor
• Apple'ın kamuoyuna açık biçimde kabul ettiği ilk Transformer tabanlı modellerden biri ve işletim sistemine entegre edilmesi planlanıyor
• Gmail'in otomatik tamamlama özelliğine benzer şekilde, tek tek kelimeleri tamamlıyor ve bazen aynı anda iki veya daha fazla kelime öneriyor
• Kestirimli metin modeli, kullanıcı yazarken yazım ve dilbilgisi hatalarını denetleyen macOS iç uygulaması AppleSpell içinde keşfedildi
• Model, yazı yazma sırasında kullanılan çeşitli Espresso model dosyalarını içeren /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle konumunda bulunuyor
• Kestirimli metin modelinin söz varlığı; özel token'lar, kısaltmalar ve emojiler dahil 15.000 tokendan oluşuyor
• Kestirimli metin modelinin mimarisi, token embedding, positional encoding, bir dizi decoder block ve output layer içermesi bakımından GPT-2 tabanlı görünüyor
• Apple'ın kestirimli metin modeli yaklaşık 34 milyon parametreye ve 512 hidden unit'e sahip; bu da onu GPT-2'nin en küçük sürümünden bile çok daha küçük yapıyor
• Modelin küçük boyutu sayesinde cihazın pilini fazla tüketmeden hızlı ve sık çalıştırılabiliyor, bu da kullanıcı deneyimini iyileştiriyor
• Boyut kısıtları nedeniyle tam cümleler veya paragraflar yazmakta yeterli değil; ancak bir sonraki kelime ya da iki kelime konusunda yüksek güvene sahip olduğunda kullanıcıya öneri sunmak için yeterince iyi
• Özelliği doğrudan denemek isteyenler için yazar GitHub'da bir script sağlıyor

[GN⁺]

Hacker News görüşleri

• Gönderinin yazarı, makalesinin Hacker News'te ilgi görmesine şaşırdığını ve bununla ilgili soruları yanıtlayacağını belirtiyor.
• Bazı kullanıcılar, Apple'ın yeni öngörücü metin modelinin GPT2'den daha iyi olup olmadığını sorguluyor. İkincisi, kullanıcının girdisine dayanarak ilgisiz metin üretme eğiliminde.
• Öngörücü metin modelinin tüm cümleleri üretmesi gerekip gerekmediği ya da yalnızca kullanıcının yazmayı amaçladığı girdiyi tahmin etmesi gerekip gerekmediği tartışmalı.
• En yüksek olasılıklı tahmin dışındaki token'ların seçilme olasılığını kontrol eden sıcaklık ayarından testlerde bahsedilmedi. Bu ayar, model çıktısının yaratıcılığını ve tekrar oranını etkileyebilir.
• Bazı kullanıcılar, iOS simülatörünün konsol günlüklerini inceleyerek unilm.bundle'ın yeni metin tahmin modeli olduğunu fark etti.
• Apple'ın modelinin gelecekteki sürümlerinde daha yüksek kaliteli verilerle eğitilmiş daha küçük modellere geçip geçmeyeceği ve Apple'ın Xcode için kendi Copilot sürümünü geliştirip geliştirmeyeceği yönünde spekülasyonlar var.
• Bazı kullanıcılar, metin tahmininin amacı metin girişini hızlandırmaksa, giriş arayüzünün darboğaz olabileceğini ve bunun daha hızlı metin girme yöntemlerine ihtiyaç olduğunu düşündürdüğünü belirtiyor.
• Yapay zekanın dağıtımı tartışılıyor; bazı kullanıcılar, yapay zekanın uçtan uca bir çözüm olarak satılmasındansa küçük ve güvenilir işleri yapmak için kullanılması gerektiğini öne sürüyor.
• Yeni öngörücü metin modelinin deneyimle ya da iMessage geçmişine dayanarak gelişip gelişemeyeceği sorusu gündeme getirildi.
• UnilmCtrl teriminin Socher'in CTRL modeline bir bağımlılık işaret ettiği tahmin ediliyor, ancak bu doğrulanmış değil. Bazı kullanıcılar, Apple NLP alanında daha uzun süredir çalışıyor olsaydı şirkete daha fazla saygı duyacaklarını söylüyor.