- Apple, doğrudan akıllı telefonda çalışabilecek kadar küçük boyutlu bir yapay zeka dil modeli olan OpenELM’i tanıttı
- OpenELM, "Open-source Efficient Language Models" ifadesinin kısaltması ve Hugging Face üzerinden Apple Sample Code License ile kullanılabiliyor
- Kaynak kodu yayımlandı ancak lisansın bazı kısıtlamaları bulunduğundan, genel "açık kaynak" tanımına tam olarak uymayabilir
OpenELM modellerinin özellikleri
- OpenELM, 270 milyon ile 3 milyar parametre arasında değişen 8 modelden oluşuyor
- Son dönemdeki araştırmalar, birkaç yıl önceki büyük yapay zeka dil modelleri kadar yetenekli küçük yapay zeka dil modelleri oluşturmaya odaklanıyor
- OpenELM modelleri iki türde sunuluyor: önceden eğitilmiş (pretrained) sürümler ve komutla ince ayar yapılmış (instruction-tuned) sürümler
- OpenELM-270M, OpenELM-450M, OpenELM-1_1B, OpenELM-3B
- OpenELM-270M-Instruct, OpenELM-450M-Instruct, OpenELM-1_1B-Instruct, OpenELM-3B-Instruct
OpenELM modellerinin eğitim verisi ve performansı
- OpenELM, en fazla 2048 token’lık bir context window’a sahip
- Yaklaşık 1,8 trilyon token verisiyle eğitildi; buna kamuya açık RefinedWeb, PILE’ın yinelenmeleri kaldırılmış sürümü, RedPajama’nın bir alt kümesi ve Dolma v1.6’nın bir alt kümesinden oluşan veri setleri dahil
- Apple’ın "layer-wise scaling strategy" yaklaşımı sayesinde parametreler her katmana daha verimli dağıtılarak hesaplama kaynaklarından tasarruf sağlanıyor ve model performansı artırılıyor
- OpenELM, Allen AI’ın OLMo 1B modeline kıyasla, ön eğitim için kullanılan token sayısının yarısıyla bile %2,36 daha yüksek doğruluk gösteriyor
Yayınlanan ek materyaller ve Apple’ın hedefi
- Apple, OpenELM eğitiminde kullanılan CoreNet kütüphanesinin kodunu ve yeniden üretilebilir eğitim reçetesini yayımladı
- Büyük teknoloji şirketleri arasında nadir görülecek şekilde ağırlıkları da yayımlayarak şeffaflığı vurguladı
- Kaynak kodu, model ağırlıkları ve eğitim materyallerini yayımlayarak "açık araştırma topluluğunu güçlendirmek ve zenginleştirmek" hedefleniyor
- Ancak kamuya açık veri setleriyle eğitildiği için hatalı, zararlı, önyargılı veya tepki çekebilecek çıktılar üretme olasılığı bulunduğu konusunda uyardı
Geleceğe dair beklentiler
- Apple, yeni yapay zeka dil modeli özelliklerini henüz tüketici cihazlarına entegre etmiş değil
- Ancak hazirandaki WWDC’de tanıtılması beklenen iOS 18 güncellemesinde, kullanıcı gizliliği için cihaz içi işlemeyi kullanan yeni yapay zeka özelliklerinin yer alacağı tahmin ediliyor
- Daha karmaşık cihaz dışı yapay zeka işlemleri için Siri’yi yükseltmek amacıyla Google veya OpenAI ile çalışabileceği de konuşuluyor
2 yorum
iOS 18 güncellemesinin gerçekten ne kadar büyük değişeceğini merak ediyorum. Yapay zeka özellikleri güçlendirilmiş M4’ü de sabırsızlıkla bekliyorum!