Windows ML genel kullanıma sunuldu: Windows cihazlarında yerel yapay zekayı ölçeklendirme desteği

• Windows ML genel kullanıma sunuldu; CPU, GPU ve NPU genelinde cihaz üstü çıkarımı ve model·bağımlılık yönetimini standartlaştırarak üretim ortamı dağıtım verimliliğini iyileştiriyor
• Bulut ile istemciyi birleştiren hibrit yapay zeka akışı içinde Windows 11, yerel çıkarım için OS düzeyinde entegre bir yapay zeka çalışma zamanı sunuyor
• ONNX Runtime uyumluluğu ve Execution Provider(EP) otomatik dağıtımı sayesinde donanıma özgü optimizasyonları soyutluyor; uygulama boyutunu küçültme ve artımlı güncellemeler desteği sağlıyor
• AMD·Intel·NVIDIA·Qualcomm ile iş birliği kapsamında her şirketin EP’si Windows tarafından dağıtılıp kaydediliyor; güç/performans için cihaz politikası belirleme gibi ayrıntılı hedefleme seçenekleri sunuluyor
• Windows App SDK 1.8.1+ ve Windows 11 24H2 ve üzeri sürümlerde yerleşik olarak geliyor; AI Toolkit for VS Code ve AI Dev Gallery gibi araçlarla başlangıç süreci sadeleştiriliyor

---

Genel bakış: Windows ML’in amacı ve konumu

• Windows ML, Windows 11’e gömülü bir cihaz üstü yapay zeka çıkarım çalışma zamanı olarak hibrit yapay zeka çağında yerel çıkarım için standart katman olmayı hedefliyor
  • Windows AI Foundry’nin temel katmanı olarak çalışıyor ve Foundry Local üzerinden genişletilmiş silikon desteği sunuyor
  • Bulut maliyeti, gecikme ve gizlilik sorunlarını hafifletirken gerçek zamanlılık·güvenlik·verimlilik odaklı bir kullanıcı deneyimi sunmayı amaçlıyor

Çalışma zamanının yapısı: ONNX·EP·dağıtım modeli

• ONNX Runtime(ORT) uyumluluğu sayesinde mevcut ORT API’leri ve iş akışları aynen kullanılabiliyor
  • Windows, ORT ile Execution Provider’ların dağıtım ve bakımını üstlenerek bunların uygulama içine paketlenmesini gerektirmeyen bir yapı sunuyor
  • EP, çalışma zamanı ile silikon arasında bir optimizasyon köprüsü görevi görüyor; her üretici tarafından geliştirilip yönetiliyor ve Windows tarafından dinamik olarak indirilip kaydediliyor
• Altyapı API’leri üzerinden dağıtımı sadeleştirme·ek yükü azaltma·uyumluluğu koruma şeklinde üç avantaj sunuluyor
  • Cihaza uygun EP otomatik algılanıp kuruluyor; bu da onlarca ila yüzlerce MB düzeyinde uygulama boyutu tasarrufu sağlayabiliyor
  • Sertifikasyon·uygunluk süreçleri ile derlemeler arasında doğruluğun korunması hedeflenirken sürekli güncellemeler de yansıtılıyor
• Advanced Silicon Targeting ile NPU(düşük güç) ve GPU(yüksek performans) gibi hedefler için cihaz politikası belirleme destekleniyor
  • Model için AOT(ön derleme) seçeneğiyle son kullanıcı deneyimini sadeleştiren ek bir yol sunuluyor

Silikon iş ortağı optimizasyonları

• AMD: Ryzen AI genelinde Windows ML entegrasyonu; NPU·GPU·CPU için Vitis AI EP ile hızlandırma desteği; ölçeklenebilir yerel yapay zeka deneyimleri hedefi
• Intel: OpenVINO ile birleşen EP üzerinden XPU seçim optimizasyonu (CPU·GPU·NPU); Core Ultra tabanlı PC’lerde verimlilik ve performansı artırma hedefi
• NVIDIA: TensorRT for RTX EP ile RTX GPU’lara özel Tensor Core kütüphanelerini kullanıyor ve cihaza özgü optimize çıkarım motorları oluşturuyor
  • DirectML’e kıyasla %50+ çıkarım hızlandırması iddiasında bulunuyor ve 100 milyondan fazla Windows RTX cihazına dağıtım kolaylığını vurguluyor
• Qualcomm Technologies: Snapdragon X Series üzerinde QNN EP ile NPU hızlandırması sağlıyor; ORT entegrasyonu sayesinde GPU·CPU yollarını da destekliyor
  • Copilot+ PC’ler ve yeni nesil Snapdragon X2 dahil olmak üzere birleşik çerçeveyi genişletme niyetini ortaya koyuyor

Ekosistemde benimsenme örnekleri

• Adobe Premiere Pro / After Effects: Yerel NPU tabanlı medya arama·ses etiketleme·sahne algılama hızlandırması; ileride cihaz üstü modelleri kademeli olarak Windows ML’e taşıma planı
• BUFFERZONE: Gerçek zamanlı web sayfası analizi ile oltalama/dolandırıcılık önleme; hassas verilerin buluta gönderilmesini gerektirmeyen güvenlik senaryoları sunuyor
• Reincubate Camo: Görüntü segmentasyonu gibi gerçek zamanlı görsel işleme ile video kalitesini artırıyor; tüm silikonlarda NPU yolunu kullanıyor
• Dot Vista (Dot Inc.): Eller serbest sesli kontrol·OCR özelliklerini sağlık ortamları gibi erişilebilirlik senaryolarına uyguluyor; Copilot+ PC NPU kullanıyor
• Wondershare Filmora: Body Effects (Lightning Twined, Neon Ring vb.) için gerçek zamanlı önizleme ve uygulamayı AMD·Intel·Qualcomm NPU üzerinde optimize ediyor
• McAfee: Deepfake·dolandırıcılık tespiti için yerel çıkarım uyguluyor; sosyal ağ ortamlarına karşı korumayı güçlendiriyor
• Topaz Photo: Keskinleştirme·odak geri yükleme gibi profesyonel düzeyde yapay zeka fotoğraf iyileştirme özelliklerini yerel çıkarımla sunuyor

Geliştirici araçları ve başlangıç süreci

• AI Toolkit for VS Code ile PyTorch→ONNX dönüşümü; nicemleme·optimizasyon·derleme·değerlendirme işlemleri tek noktadan destekleniyor
  • Windows ML hedefli tek derleme yaklaşımıyla çoklu hedefe özel dallanma mantığını en aza indirmeyi amaçlıyor
• AI Dev Gallery içinde özel model örnekleri etkileşimli biçimde denenebiliyor
  • Yerel model tabanlı yapay zeka senaryolarını keşfetme ve hızlı prototipleme için uygun bir çalışma alanı sunuyor

Başlangıç koşulları ve dağıtım hedefleri

• Windows App SDK 1.8.1+ içinde Windows ML yer alıyor; Windows 11 24H2 ve üzeri cihazlar destekleniyor
  • En güncel Windows App SDK’ya güncelledikten sonra Windows ML API çağrısı → ONNX model yükleme → çıkarımı başlatma şeklinde basit bir yol izlenebiliyor
  • Ayrıntılı belgeler·API’ler·örnekler için ms/TryWinML ve ms/ai-dev-gallery yolları gösteriliyor

Teknik anlamı ve çıkarımlar

• OS’nin ORT·EP yaşam döngüsü yönetimini üstlenmesiyle uygulamaların model ve hafif çıkarım mantığına odaklanabileceği bir yapı kuruluyor
  • Donanım parçalanmasını emip performans·güç optimizasyonunu otomatikleştirerek geliştirme ve dağıtım karmaşıklığını kullanılabilirlik açısından azaltıyor
• NPU öncelikli tasarım ile GPU yüksek performans yolu birlikte sunularak çevrimdışı kullanım·gizlilik·maliyet gereksinimlerini karşılayan yerel yapay zeka temeli oluşturuluyor
  • Üretici EP’lerinin özellik ve performans farkları ile Windows sertifikasyon·uygunluk süreçlerini birleştirerek doğruluk tutarlılığına odaklanan bir işletim modeli öneriliyor
• Ekosistem açısından video·güvenlik·erişilebilirlik·yaratıcı üretim alanlarındaki önde gelen uygulamalar benimsemeyi duyurarak yerel yapay zeka yüzeyinin genişleyeceğine işaret ediyor
  • Geliştiricilerin model hazırlama(dönüştürme·nicemleme) → EP politikası belirleme → dağıtım otomasyonu hattıyla ürünleştirme hızını artırması bekleniyor

Dikkat edilmesi gerekenler ve sınırlamalar

• EP optimizasyon kalitesi ile cihazlar arası performans/doğruluk farklarının yönetimi temel zorluk olarak öne çıkıyor
  • Model AOT ile dinamik EP dağıtımının önbellek·güncelleme stratejileri ve uyumluluğu korumaya dönük sürüm yönetimi gerekiyor
• Mevcut DirectML, üretici SDK’ları ve çapraz platform çalışma zamanlarıyla örtüşme ve görev paylaşımı sınırlarının belirlenmesi, mimari kararlar açısından değişken oluşturuyor
  • Çoklu OS hedefleyen ürünlerde ortak çıkarım çekirdeği mi yoksa Windows’a özel yol mu sorusundaki ödünleşimlerin değerlendirilmesi gerekiyor

Sonuç

• Windows ML’in genel kullanıma sunulması, Windows 11’i yerel yapay zekanın varsayılan çalışma ortamı haline getiren aşamalı bir dönüm noktası niteliğinde
  • Donanım soyutlama·dağıtım otomasyonu·araç bütünleşmesi sayesinde ürünleştirme eşiğini düşürüyor; NPU/GPU kullanımını en üst düzeye çıkararak tepki süresi·gizlilik·maliyet verimliliğini güçlendiren bir temel sunuyor
  • Temsilî uygulamaların benimsemesi ve üretici EP optimizasyonları hız kazandıkça Windows ekosistemi genelinde cihaz üstü yapay zeka kullanımının hızla genişlemesi bekleniyor

[GN⁺]

Hacker News görüşleri

• Ollama başlangıçta “modelleri yerelde basitçe çalıştırma” odaklı, açık kaynak benzeri bir yönelime sahipti; ancak son dönemde ücretli web arama gibi özelliklerle kapsamını genişletirken o saflık hissi bulanıklaştı. Buna karşılık Windows ML derin OS entegrasyonu hedefliyor, ama yalnızca Windows ekosistemine bağımlı olması bakımından DirectX’i hatırlatıyor. Şimdi asıl merak edilen, vLLM/ONNX ya da doğrudan CUDA/ROCm üzerinde çalıştırma dışında bir alternatif olup olmayacağı; yoksa sonunda sadece başka bir vendor lock-in türüyle mi yer değiştirdiğimiz.
  • Ollama, LLM’lere (büyük dil modelleri) odaklanıyor. Yazıda geçen Topaz Labs’in Topaz Photo’su gibi görüntü yükseltme örneklerine bakıldığında, burada teknolojik yönelimin farklı olduğunu not etmek gerekiyor.
• System ONNX, Windows uygulamaları açısından oldukça cazip olabilir; ancak bu, backend’in çoğu sistemde güvenilir biçimde çalıştığı varsayımına bağlı. Örneğin AMD tarafında ROCm, MIGraphX ve Vitis olmak üzere 3 seçenek var, ama bunların hiçbirini düzgün çalıştırabildiğim olmadı. MIGraphX artık experimental olarak işaretlenmediği için bir kez daha denemeyi düşünüyorum.
• Windows ML ile Ollama+yerel LLM indirme yaklaşımı gerçekten karşılaştırıldığında hangisinin daha basit olduğunu merak ediyorum. Özellikle Windows ML kullanıldığında gizlilik açısından ne kadar verinin Microsoft’a gönderildiği de soru işareti.
  • Windows ML, yerel LLM modellerinin CPU, GPU, NPU gibi çeşitli donanımlarda kullanılabilmesi için kodu belirli bir donanıma bağımlı olmayacak şekilde soyutluyor. Bu teknoloji, önceki DirectML’in (DirectX for ML) geliştirilmiş bir versiyonu.
  • Ollama, NPU desteği sunmuyor.
• Custom layer’ların, özellikle de (flash) attention gibi birçok şirketin benimsediği çeşitli sürümlerin nasıl desteklendiğini merak ediyorum. Eğer MS ilgili işlevi runtime’da uygulayana kadar beklemek gerekiyorsa, belirli modelleri çalıştıramamak ya da yalnızca değiştirilmiş sürümlerini kullanabilmek gibi bir durum mu olacak?
• “Windows ML, cihaz üstü model çıkarımı için optimize edilmiş yerleşik bir yapay zeka inference runtime’ıdır ve hem yeni başlayan hem de deneyimli geliştiricilerin yapay zeka tabanlı uygulamalar oluşturmasını kolaylaştırır” açıklamasına bakınca, bu duyuru Apple’ın kısa süre önce yaptığı “Apple Intelligence’ın çekirdeği olan cihaz üstü LLM erişimini tüm geliştiricilere açıyoruz” duyurusuna oldukça benziyor.
  Apple’ın yakın zamanda duyurduğu yeni Apple Intelligence özellikleri ile birlikte düşününce, hangi cihaz olursa olsun geliştiricilerin ve kullanıcıların gizliliğe odaklı uygulamalar üretip kullanabilmesi sonuçta herkes için kazan-kazan gibi görünüyor.
  • Bu Windows ML, Direct ML’in evrimleşmiş hâli. Eski DirectX’in C++ ağırlıklı olma sorununu dikkate alarak, C#, C++ ve Python’ın da WinRT projection üzerinden bu yeni API üzerinde kullanılabilmesi sağlanmış.
  • Ben bunun aynı anlama geldiğini düşünmüyorum; bu Windows ML duyurusunun asıl noktası daha çok “her türlü modeli çalıştırabilirsiniz”e yakın.