Google Chrome, tarayıcı içine Gemini Nano yapay zeka modeli `window.ai` ekliyor

• Chrome 127 sürümünden itibaren Gemini Nano yapay zeka modeli, window.ai aracılığıyla tarayıcıda kullanılabilecek şekilde sunuluyor
• Chatbot demo sitesi Next.js + Vercel AI SDK kullanılarak yazıldı
• Kullanım örneği

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Bilginize, model dosyası kısa süre önce çıkarıldı.

[edunga1]

https://developer.chrome.com/docs/ai/built-in
Denemek için ayrıca başvuru yapmak gerekiyor gibi görünüyor.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Hacker News görüşleri

• Apple’ın yapay zeka stratejisine benzer şekilde, web kullanıcıları için de tarayıcıya varsayılan olarak böyle bir özelliğin eklenmesi olumlu

  • Yerel model kullanarak gizlilik ve güvenlik güçlendirilebilir
  • Google bunu iyi uygularsa oldukça ilgi çekici olabilir

• Vercel, window.aiyi duyururken Chrome API’si yerine kendi soyutlama katmanını gösterdi

  • window.ai API’si çok basit olduğu için bir wrapper gerekmiyor
  • Örnek kod:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Google’ın API’sinde model belirtilememesi büyük bir kusur

  • Model sürekli yükseltilirse test ve bakım zorlaşır
  • Önerilen kod:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Web sitelerinin kullanıcı CPU’sunu dağıtık LLM işlemleri için kullanması sorunlu

• window.ai API’si için herkese açık dokümantasyon yetersiz

  • Gemini Nano modelinin hangi sürüm olduğu net değil

• Mevcut teknolojiyle instruct modeller, base modellere göre daha az kullanışlı

  • LoRA çalıştırma, sıcaklık ayarı, prompt şablonu belirleme gibi özelliklere ihtiyaç var
  • Teknoloji çok hızlı değiştiği için bunu tarayıcıya entegre etmek için henüz erken olabilir
  • Model, arayüzden ayrılmalı ki başka yerel modeller de kullanılabilsin

• Standardizasyon eksik

  • Microsoft’un WebNN’i gibi bir yaklaşıma ihtiyaç var
  • Apple’ın Metal’i WebGPU üzerinden açığa çıkarma girişimi gibi, diğer üreticilerin de bunu hayata geçirmesi gerekiyor

• Chrome’un "Create theme with AI" özelliği, rastgele tema seçmekten farklı görünmüyor

  • pixabay’den rastgele görsel döndüren bir API yapmayı planlıyor

• Genel amaçlı modeller, boyut büyüdükçe daha kullanışlı oluyor

  • Belirli görevlere göre ince ayarlanmış on-device modeller daha doğru sonuç veriyor

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))