Apple, yapay zekanın bulutta değil doğrudan kendi donanımında çalışmasını istiyor

Apple, yapay zekayı bulutta değil doğrudan donanımda çalıştırmak istiyor

• Apple, kısa süre önce yayımladığı araştırmayla akıllı telefonlarda büyük dil modellerini çalıştırmanın bir yolunu ortaya koyarak, yapay zeka alanında rakiplerini yakalama planını ortaya koydu
• "LLM in a Flash" adlı araştırma makalesi, mevcut hesaplama darboğazlarına bir çözüm sunuyor ve sınırlı belleğe sahip cihazlarda LLM çıkarımını verimli biçimde yapmanın yolunu açıyor
• Bu yaklaşım, ChatGPT gibi uygulamaları çalıştıran büyük veri depolarının kullanıcı sorularına nasıl yanıt verdiğine, yani nasıl çıkarım yaptığına dair yeni bir yol açıyor

Apple'ın yapay zeka araştırmaları ve pazar görünümü

• Apple, Stable Diffusion gibi görüntü üretim modellerini kendi çiplerinde çalıştırmayı mümkün kılması da dahil olmak üzere, yapay zeka araştırmalarında yeni hamleler sergiliyor
• Akıllı telefon üreticileri ve çip üreticileri, yeni yapay zeka özelliklerinin akıllı telefon pazarını canlandırmasını bekliyor; Counterpoint Research'e göre 2024'te yapay zeka odaklı 100 milyondan fazla akıllı telefon sevk edilecek
• Apple, Siri'yi 2011'de piyasaya sürmüş olsa da OpenAI'nin ChatGPT'yi duyurmasının ardından Silikon Vadisi'ni saran yapay zeka heyecanının dışında kaldığı yönünde bir algı var

Teknik zorluklar ve gizlilik

• ChatGPT veya Google'ın Bard'ı gibi büyük yapay zeka modellerini kişisel cihazlarda çalıştırmak teknik açıdan oldukça zorlu; çünkü akıllı telefonlar veri merkezleri kadar büyük hesaplama kaynaklarına ve enerjiye sahip değil
• Bu sorun çözülürse yapay zeka asistanları buluta göre daha hızlı yanıt verebilir ve çevrimdışı da çalışabilir; ayrıca soruları kişisel cihazda yanıtlayarak verilerin buluta gönderilmesini gerektirmediği için gizliliğe de katkı sağlayabilir

Makalenin sonucu

• Apple araştırmacıları makalenin sonucunda şöyle diyor:

  “Çalışmamız yalnızca mevcut bilgisayar darboğazlarına bir çözüm sunmakla kalmıyor, aynı zamanda gelecekteki araştırmalar için de bir emsal oluşturuyor. LLM'lerin ölçeği ve karmaşıklığı büyümeyi sürdürdükçe, bu çalışmadaki gibi yaklaşımların çok çeşitli cihaz ve uygulamalarda LLM'lerin potansiyelini tam olarak ortaya çıkarmak için vazgeçilmez olduğuna inanıyoruz.”

GN⁺ görüşü

• Apple'ın bu araştırması, akıllı telefon kullanıcılarına daha hızlı ve daha kişisel bir yapay zeka deneyimi sunma ihtimalini ortaya koyuyor.
• Kullanıcıların gizlilik konusundaki kaygıları düşünüldüğünde, verileri bulut yerine kişisel cihazda işlemek birçok kişi için cazip bir alternatif olabilir.
• Bu teknoloji ticarileşirse, kullanıcılar internet bağlantısı olmadan da gelişmiş yapay zeka özelliklerinden yararlanabilecek; bu da akıllı telefonların kullanımını ve pratikliğini önemli ölçüde artırabilir.

[GN⁺]

Hacker News görüşleri

• Apple'ın yapay zeka (AI) alanında geride kaldığını söylemek saçmalık.

  • OpenAI ilgi görüyor, ancak arama; bağlantı reklamları ve veri satışına dayandığı için AI açısından daha az umut verici.
  • Bugünün "büyük" AI'ı, eğitim için gereken bulut maliyetleri nedeniyle tökezliyor ve büyük oyuncular yazılımı donanıma taşımak için yoğun çaba harcıyor.
  • OpenAI dünya çapındaki ticari ortaklarıyla iş birliği yapıp AGI'den (genel yapay zeka) söz ediyor, ancak bu, merkez bankalarının yerini alacak kripto para kadar gerçekçi değil.
  • Buna karşılık Apple, 4 yıldan uzun süredir cihazlara nöral işlemci yerleştiriyor ve AI özellikleri tüm pazarlama kampanyalarında yer alıyor.
  • VisionOS artırılmış gerçekliği, AI faydası için yeni bir alan sunuyor; yalnızca eğlenceyi değil, uzaktan çalışmanın norm haline geldiği iş ortamlarını da hedefliyor.
  • Apple, güvenli ve gizliliği koruyan tek ekosistem.

• AI'ın en güncel iOS'un bir parçası olarak donanım üzerinde çalışması sevindirici.

  • Araç kullanırken bir mesaj aldığında Siri'nin fotoğrafın içeriğini doğru şekilde açıkladığı bir deneyim paylaşılıyor.
  • Bu özellik uçtan uca (E2E) şifreli olduğundan, mesaj aktarım sırasında değil yerelde tanımlanmış olmalı.
  • Bu, kaliteyi artıran bir güncelleme olarak ilgi çekici; AI'ın donanım üzerinde daha fazla işlem yapabilmesiyle nasıl büyüyebileceğine dair beklenti yaratıyor.

• Mistral 7B'yi mobil cihazda denemeniz öneriliyor.

  • iPhone 15'te ilgili uygulamayı deneyip performansının çok iyi olduğu söyleniyor.
  • Dezavantajı, uygulamanın telefonun neredeyse tüm belleğine ihtiyaç duyması; başka bir uygulamaya geçip geri dönüldüğünde durum sıfırlanıyor ve modelin baştan yeniden yüklenmesi gerekiyor.

• Güçlü telefonların/cihazların olduğu günümüz dünyasında AI'ı cihaz üzerinde çalıştırmanın bir sonraki adım olduğu düşünülüyor.

  • 2021 model, güçlü özelliklere sahip bir telefon kullanan yorumcu, Apple'ın pahalı AI uygulamalarını bu güçlü kullanıcı cihazlarına offload etmek isteyeceğini düşünüyor.
  • Bu, kişisel verilerinin eğitim için kullanılmasını istemeyenler açısından bir gizlilik kazanımı gibi görünüyor; ayrıca hangi modeli kullandıkları ve modelin hangi etik ilkelere uyduğu üzerinde denetim tercih ediliyor.

• Apple'ın CoreML kütüphanesi yıllardır var ve BERT modelini de içeriyor.

  • iOS ve iPadOS'a BERT'ten daha gelişmiş transformer modellerinin gelmesi bekleniyor.
  • iPad Pro'da 16GB RAM var ve 13B modeli çalıştırabiliyor.
  • 32GB Mac Mini satın aldıktan sonra, 6 hafta içinde çalıştırabildiği modellerin ciddi biçimde iyileştiği hissediliyor.
  • Geleceğe dair beklenti yüksek.

• AI'ın akıllı telefonlar için yeni bir yükseltme döngüsü yaratma potansiyeline sahip olması ilgi çekici.

  • AI özelliklerinin gerçekten yükseltmeyi haklı çıkarıp çıkarmayacağı belirsiz; pil ömrünü etkilerse değer önerisi çok da değişmeyebilir.

• AI gizlilik riskleri sunduğunda, yerelde çalıştırmanın en iyi yol olduğu düşünülüyor.

  • Gelecekte AI ile bilişsel yetenekleri 10 kat artırmak isteniyor; bunun için bilginin beyinle gerçek zamanlı olarak alışveriş yapılması gerekecek.
  • Bunun bulut veri senkronizasyonuna bağlanıp reklamverenlerin ve istihbarat kurumlarının düşünceleri gözetlemesine yol açması istenmiyor.

• Apple, AI/ML seçeneklerini iPhone kullanıcılarına sunmak için altyapı işletme maliyetini düşürüyor.

  • Bu, hesaplamayı dağıtarak maliyet tasarrufu sağlıyor ve cihaz üretimine zaten harcanmış maliyeti değerlendiriyor.
  • Veriler telefondan çıkmadığı için tüketiciye gizlilik sağlıyor.

• Cihaz üzerinde AI ana akım olduğunda OpenAI gibi şirketlerin nasıl karşılık vereceği merak ediliyor.

  • İş modeli API erişimine dayandığı için çevrimdışı modeller satmaya başlayabilirler.
  • Ancak bu durumda korsan kullanım sorunu ortaya çıkabilir.

• Apple, son nesilde Neural Engine için ek yonga alanını neredeyse hiç artırmamış olmasına rağmen cihaz üzerinde AI çalıştırma niyetini açıkça ortaya koydu.

  • Bunun için birkaç olası açıklama var ve hangisinin doğru olabileceği konusunda daha bilgili kişilerin görüşü merak ediliyor.
  • Mevcut donanımın zaten yeterince güçlü olduğunu düşünüyor olabilirler ya da ANE kullanım oranı artırılmış kaynağı haklı çıkarmıyor olabilir.
  • AI hesaplamasını vektör işlemleri gibi yöntemlerle yeniden daha genel amaçlı hale getirmeyi planlıyor olabilirler.
  • En karamsar senaryoda ise, yükseltmeleri zorunlu kılmaları gerektiğinde büyük bir sıçrama yapmak için bunu saklıyor olabilirler.