Yerel yapay zeka standart haline gelmeli

 (unix.foo)
13 puan yazan GN⁺ 8 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Uygulama özelliklerine OpenAI ya da Anthropic API’leri ekleme akışı yaygınlaştı; ancak bulutta barındırılan yapay zeka modellerine bağımlılık, yalnızca sunucu kesintisi veya ödeme sorunları yüzünden özelliklerin durmasına yol açıyor ve mahremiyet yükünü de artırıyor
  • Modern cihazlarda Neural Engine gibi güçlü cihaz üstü işlem kapasitesi var, ancak bunların çoğu atıl durumda bırakılıp yalnızca sunucu yanıtı bekleniyor
  • Örneğin Apple’ın FoundationModels çatısını kullanarak, sunucu olmadan doğrudan cihaz üzerinde özetleme, sınıflandırma ve çıkarım gibi yapay zeka özellikleri uygulanabilir
  • The Brutalist Report’un native iOS client uygulaması, makale özetlerini Apple’ın yerel model API’siyle cihaz üzerinde üreterek sunucuyu devre dışı bırakıyor; böylece prompt’lar ve kullanıcı günlükleri, üretici hesapları ve içerik saklama dipnotları gerekmiyor
  • Yerel modeller bulut modelleri kadar akıllı olmayabilir, ancak özetleme, sınıflandırma, çıkarım, yeniden yazım ve normalizasyon gibi veri dönüştürme işleri için yeterli olabilir; bulut modelleri yalnızca gerçekten gerektiğinde kullanılmalı

Bulut yapay zekaya bağımlılığın sorunları

  • Geliştiricilerin uygulama özelliklerine OpenAI veya Anthropic API çağrılarını düşüncesizce eklediği bir eğilim yayılıyor
  • Bu yaklaşım yazılımı kırılgan, mahremiyeti ihlal eden ve temelden istikrarsız hale getiriyor
    • Sunucu kesintisi ya da kredi kartının süresinin dolması halinde uygulamanın çalışmayı bırakması gibi bir yapı ortaya çıkıyor
  • Kullanıcı içeriğini üçüncü taraf yapay zeka sağlayıcısına akıtmaya başladığınız anda, ürünün doğası değişiyor
    • Veri saklama, onay, denetim, sızıntı, devlet talepleri ve eğitim verisi kullanımı gibi sorunlar da beraberinde geliyor
  • Ağ durumu, dış üreticinin çalışma süresi, rate limit, hesap ödemesi ve kendi backend’inizin durumuna aynı anda bağımlı hale gelerek yığın daha karmaşıklaşıyor
  • Sonuçta tek bir UX özelliği, maliyet üreten dağıtık bir sisteme dönüşüyor
  • Yerelde işlenebilecek bir özelliği gereksiz yere buluta göndermek kendi ayağına sıkmak oluyor

Yerel cihaz kullanımının gerekçesi

  • Bugün cebinizdeki cihazların silikonu, 10 yıl öncesiyle kıyaslanamayacak kadar hızlı; özel Neural Engine ise çoğunlukla boşta duruyor
    • Buna rağmen Virginia’daki sunucu çiftliklerinden JSON yanıtı bekleyen yapı mantıksız
  • Hedef “AI everywhere” değil, işe yarayan yazılım olmalı
  • Yerelde işlenebilecek bir özellik için dış bağımlılık seçmek başlı başına gereksiz bir zarar

The Brutalist Report’un cihaz üstü özetleme yaklaşımı

  • The Brutalist Report, 1990’lar tarzı web’den ilham alan bir haber toplayıcı hizmeti
  • Yakın zamanda native iOS client geliştirirken, yüksek yoğunluklu haber okuma deneyimini korumak bir tasarım hedefi olarak belirlendi
  • iOS istemcisi; yüksek kontrastlı başlık listesi, web’i okunması zorlaştıran öğeleri temizleyen bir reader mode ve makaleleri isteğe bağlı özetleyen bir “intelligence” görünümü içeriyor
  • Asıl nokta, özetlerin Apple’ın yerel model API’si aracılığıyla cihaz üzerinde üretilmesi
  • Sunucuyu aradan çıkarmaya, prompt ya da kullanıcı günlüğü tutmaya, üretici hesabına veya “içeriği 30 gün saklarız” tarzı dipnotlara gerek kalmıyor
  • Tüm yapay zeka kullanımının sunucu tarafında gerçekleştiğini varsayan akış fazlasıyla doğal kabul edilir hale geldi; bunu tersine çevirmek için sektör çapında çaba gerekiyor
  • Bazı kullanım senaryoları yalnızca bulutta barındırılan modellerin sağlayabildiği zekâ düzeyini gerektiriyor; ancak tüm senaryolar böyle değil, bu yüzden dikkatli değerlendirme şart

Apple ekosistemindeki yerel yapay zeka araçları

  • Apple ekosisteminde son bir yılda, geliştiricilerin yerleşik yerel yapay zeka modellerinden kolayca yararlanabilmesi için yatırım yapıldı
  • Temel akış; FoundationModels içe aktarmak, SystemLanguageModel.default kullanılabilirliğini kontrol etmek ve ardından LanguageModelSession ile prompt oluşturup yanıt almak şeklinde 
    import FoundationModels  

let model = SystemLanguageModel.default  
guard model.availability == .available else { return }  

let session = LanguageModelSession {  
  """  
  Provide a brutalist, information-dense summary in Markdown format.  
  - Use **bold** for key concepts.  
  - Use bullet points for facts.  
  - No fluff. Just facts.  
  """  
}  

let response = try await session.respond(options: .init(maximumResponseTokens: 1_000)) {  
  articleText  
}  

let markdown = response.content
  • Uzun içerikler için düz metin yaklaşık 10 bin karakterlik parçalara ayrılabilir; her parça için kısa “facts only” notları oluşturulup ikinci geçişte nihai özet birleştirilebilir
  • Bu tür işler yerel modellere çok uygun
    • Girdi verisi, kullanıcının zaten okumakta olduğu içerik olduğu için cihazda mevcut
    • Çıktı hafif
    • Hızlı ve özel biçimde işleniyor
    • Yapılan iş, kullanıcının az önce açtığı sayfayı özetlemek; dünya bilgisine yeni şeyler eklemek değil, bu yüzden insanüstü düzeyde zekâ gerekmiyor
  • Yerel yapay zeka, modelin görevi tüm evrende arama yapmak değil de kullanıcının sahip olduğu veriyi dönüştürmek olduğunda öne çıkıyor

Güven oluşturmanın yolu

  • E-posta özetleme, notlardan yapılacak iş çıkarma ve belge sınıflandırma gibi yapay zeka özellikleri, insanların istediği ama güvenmediği özellikler arasında
  • Tipik bulut yaklaşımı, tüm bu özellikleri “veriyi sunucuya göndermenin güvenli olup olmadığı” sorusuna dönüştürüyor
  • Yerel yapay zeka ise cihazda zaten bulunan veriyi yine orada işleyerek bu yapıyı değiştiriyor
  • Kullanıcı güveni 2.000 kelimelik bir gizlilik politikasıyla inşa edilmiyor
  • Güven, en baştan böyle bir gizlilik politikasına ihtiyaç bırakmayan bir yapı kurularak oluşturuluyor

Yapılandırılmış çıktı ve tip tabanlı yapay zeka

  • Apple’ın son dönemde yaptığı iyi tercihlerden biri, “AI output”u yapısız bir metin yığınından tipli veriye taşımak oldu
  • “Modele JSON isteyip düzgün gelmesini ummak” yerine, istenen sonucu temsil eden bir Swift struct tanımlamak daha yeni ve daha iyi bir kalıp
  • Her alana doğal dilde yönlendirme verip modelden bu tipin bir örneğini üretmesi isteniyor 
    import FoundationModels  

@Generable  
struct ArticleIntel {  
  @Guide(description: "One sentence. No hype.") var tldr: String  
  @Guide(description: "3–7 bullets. Facts only.") var bullets: [String]  
  @Guide(description: "Comma-separated keywords.") var keywords: [String]  
}  

let session = LanguageModelSession()  
let response = try await session.respond(  
  to: "Extract structured notes from the article.",  
  generating: ArticleIntel.self  
) {  
  articleText  
}  

let intel = response.content
  • Bu yaklaşım sayesinde UI’nin Markdown içindeki madde işaretlerini ayıklamasına ya da modelin JSON şemasını hatırlamasını ummasına gerek kalmıyor
  • Uygulama, gerçek alanlara sahip gerçek bir tipi alıp tutarlı şekilde render edebiliyor
  • Böylece uygulamanın gerçekten kullanabileceği yapılandırılmış çıktı üretiliyor ve bu sürecin tamamı yerelde çalışıyor
  • Bu yalnızca kullanışlı bir arayüz değil, aynı zamanda mühendislik kalitesinde iyileşme
  • Yerel öncelikli bir uygulamada yapay zekanın “havalı bir özellik” değil, “güvenilir bir alt sistem” olarak çalışmasını sağlayan fark bu

“Yerel modeller daha az akıllı” itirazına yanıt

  • Yerel modellerin bulut modelleri kadar akıllı olmadığı doğru, ancak bu durum çoğu uygulama özelliği için belirleyici değil
  • Çoğu özelliğin ihtiyaç duyduğu şey Shakespeare yazmak ya da kuantum mekaniğini açıklamak değil; özetleme, sınıflandırma, çıkarım, yeniden yazım ve normalizasyon işlerinden birini istikrarlı biçimde yapmak
  • Yerel modeller bu görevlerde yeterince iyi
  • Yerel modelleri tüm internetin yerine koymaya çalışırsanız hayal kırıklığı yaşarsınız; ama uygulama içindeki bir “veri dönüştürücü” olarak kullanırsanız neden sunucuya gönderildiğini sorgularsınız
  • Bulut modelleri yalnızca gerçekten gerektiğinde kullanılmalı, kullanıcı verisi de yerinde kalmalı
  • Yapay zeka kullanırken bir sohbet kutusu eklemek yerine, tipli çıktı ve öngörülebilir davranış sunan gerçek bir alt sistem kurmak gerekiyor

Mahremiyet ve güven inşası

  • E-posta özetleme, notlardan aksiyon maddesi çıkarma, belge sınıflandırma gibi insanların istediği ama güvenmediği pek çok yapay zeka özelliği var
  • Bulut yaklaşımı bunların hepsini bir güven deneyine dönüştürüyor: “Verinizi sunucuya gönderin, biz de onu düzgün ele alalım”
  • Yerel yapay zeka bunu kökten değiştiriyor — veri zaten cihazda ve doğrudan orada işleniyor
  • Güven, 2.000 kelimelik bir gizlilik politikası yazarak değil, en başta böyle bir politikaya ihtiyaç duymayan bir yapı kurarak inşa ediliyor

İlgili okumalar

1 yorum

 
GN⁺ 8 시간 전
Hacker News görüşleri

  • Ana akım kullanıcıların şu anda yerel AI'ya bakışı, birkaç on yıl önce açık kaynağa bakışa benziyor
    Bazı ürünlerde ücretli çözümler çok daha ilerideydi, bu yüzden açık kaynak sık sık tamamen göz ardı ediliyor, ortam da “neden uğraşayım ki?” gibi oluyordu
    Sonra bağımlılık yaratan SaaS'ler ve platformlar ortaya çıktı ve bugün bunun büyük ölçüde yanlış bir değerlendirme olduğu açık
    Kodlamada Anthropic ve OpenAI bağımlılığı akıl almaz düzeyde, ama çoğu kişi ya bunu umursamıyor ya da sadece Çin'in açık ağırlıkları durdurmamasını umuyor
    Açık ağırlıkların iş modeli çok yeni, içine devletlerle araştırma kurumları arasındaki güç mücadelesi karışmış durumda ve ortada neredeyse hiç gerçek denetim yokken saçma miktarda para dönüyor
    Şu anda muazzam bir değer neredeyse herkesin erişimine açık, ama bizim kontrol edemediğimiz nedenlerle hiçbir uyarı olmadan durabilecek tehlikeli bir kumar bu

    • Şu an mevcut en üst düzey açık ağırlıklı LLM'leri tüketici donanımında sürekli çalıştırmayı engelleyen ne var, bilmiyorum
      Kullanım senaryolarının %95'i için yeterli ve son kullanma tarihi de yok
      “Risk”, bir sonraki nesil modeli kullanamamak kadar; bunun etkisi de oldukça düşük görünüyor
    • Açık ağırlıklı AI'ın iş modelinin ne olduğunu bilmiyorum, hatta fiilen yok gibi görüyorum
      En iyi ihtimalle daha gelişmiş modeller satmak için reklam işlevi görüyor
      Açık kaynakla büyük fark, sadece boş zaman ve iradeyle bir LLM eğitemiyor olmanız
      Çok fazla veri ve muazzam hesaplama kaynağı gerekiyor
      Bu konuda yanılıyor olmayı isterim; geleceğin açık ağırlık tarafına gitmesi bana çok daha cazip geliyor
    • Bunun yerel AI ile bulut AI arasında bir karşıtlık olmaması gerektiğini düşünüyorum
      Yerel AI ayrı bir ürün olarak ele alınmalı; gerçekten bulut AI gerektirmeyen işleri yerelde yapıp, bulut AI'ı yedek seçenek olarak kullanırsanız maliyet ciddi biçimde düşer
    • ABD hükümetinin kendi yerel AI'ını geliştirmesini bekliyorum
      Vergiyle finanse edildiği için sonunda açık kaynak olarak yayımlanması gerekebilir ve NSA'in elinde onlarca yıllık internet verisi olduğundan, bununla eğitilirse açık ağırlıklar bazı şirket modelleri kadar iyi olabilir
    • Maliyet önemli bir faktör haline geldiğinde ya da ücretsiz ama daha zayıf bir seçenek cazip ve erişilebilir olduğunda, örneğin Apple tarzı kullanıcı deneyimine sahip cihaz üstü ajanlar gibi, kullanıcılar epey yerel tarafa kayardı
      Fotoğraf arka planı kaldırma, PDF OCR gibi örneklere bakınca, gündelik kullanım için bunlara ücretli servis kullanan neredeyse kimse yok

  • O an gelecek ve o kadar da uzak değil
    Yön çoktan belli oldu. Başta yüksek performanslı LLM'ler sadece büyük veri merkezlerinde çalışabiliyordu; şimdi ise net biçimde birkaç H100 takılı birkaç sunucu düzeyine inmiş durumdayız ve giderek “128GB VRAM'li MacBook Pro veya Strix Halo” tarafına gidiyoruz
    Önümüzdeki bir yıl içinde şirketlerde standart desen “planlamayı pahalı uzak LLM ile yap, yürütmeyi ise yerelde çalışan, yavaş ama insandan hızlı LLM ile yap” olacak; zamanla da bu “her şeyi tamamen yerel LLM ile yapmak yeterli” noktasına kayacak
    Sonunda mevcut bulut dünyasına benzer bir denge oluşacak: ya kendin barındırırsın ya da esneklik ve hız için para ödersin
    Asıl soru, yerel barındırmanın mevcut hesaplama kaynağı çılgınlığını ne kadar bitireceği ve bunun piyasa için ne anlama geleceği

    • O nokta aslında şimdiden geldi
      3 yıllık iyi bir oyuncu PC'sinde, kabaca RTX 3080 12GB ve 32GB RAM ile nicemlenmiş Qwen ve Gemma çalıştırıyorum
      Yavaşlar ve bağlam pencereleri küçük, ama uygun bir çalışma ortamıyla seyahat fotoğraflarını tarayıp sınıflandırabiliyorlar
      Fiş OCR'ı yapıp harcamaları özetleyebiliyor, basit soruları yanıtlayabiliyor, kodu analiz edebiliyor ve az bağlam gerektiğinde kod da yazabiliyorlar
      VS Code entegrasyonuna biraz emek verilirse idare eder bir otomatik tamamlama da yapılabilir gibi duruyor
      “128GB VRAM'li MacBook Pro veya Strix Halo”yu ajan tarzı kodlama için asgari uygulanabilir kurulum olarak görüyorum
      Ama şu anda durum tersine işliyor. Bulut sürümü, paylaşımla sunucu kullanım oranını çok yükseltebildiği için kendi barındırmandan katbekat daha ucuz
      Bir şirket GLM 5.1 çalıştıracak donanıma 500 bin dolar harcarsa veri güvenliği, esneklik ve sansürsüzlük kazanır ama Anthropic'in koltuk lisansı fiyatlamasıyla kıyaslayınca bu aşırı pahalı kalır
    • Yerel modellerin en büyük etkisi, yalnızca uzak çıkarımın tek seçenek olmasını engellemek olabilir

  • Hemen birkaç satır aşağıdaki yazıda Chrome'un yerel çıkarım için birkaç GB alan kullanan bir yerel LLM modeli eklediği diye kıyamet kopuyordu
    Yapsa da eleştiriliyor, yapmasa da eleştiriliyor

    • Sormadan gigabaytlarca bant genişliği ve depolama alanı kullanmazsa sorun kalmaz
    • Modele ihtiyacım olursa gidip kendim indiririm
      Kısa süre önce görüntü üretimiyle oynamak için tam olarak bunu yaptım
    • Bu biraz dürüst olmayan bir yorum
      İnsanlar yerel model kurulmasına değil, kullanıcı özerkliğinin eksikliğine kızıyor
      Gizlice kurmak yerine, modeli indirip indirmemek için seçenek sunmak yeterli
      Bu o kadar da zor değil; diğer tüm yerel seçenekler de böyle çalışıyor
    • Tuhaf bir yorum
      Opt-in değilse ya da tarayıcıya zorla sıkıştırılıyorsa kötü tabii
      Yerel LLM çalıştıran bir uygulamanın gerekli veriyi indirmesine öfkelenen kimse yok
    • İnsanların gerçekte neden şikayet ettiğini görmek için yorumları okumak iyi olur
      Bu yorum, tartışmanın niteliğini epey dürüst olmayan biçimde ele alıyor

  • Özel AI tartışması ile yerel AI tartışmasını ayırmak gerektiğini düşünüyorum
    Büyük bir LLM çalıştırmanın pratik seçeneği çevrimiçi bir ya da birkaç büyük sunucu olabilir, ama bu onu sadece özel şirketlerin işletmesi gerektiği anlamına gelmez
    İyi kiracı izolasyonu garantileri, ideal olarak zero-trust sunan ve dağıtımı ile bakımı yeterince kolay olan kendi barındırdığın bir çıkarım çözümü, yani AI için Plex benzeri bir şey, mahremiyet açısından bir seçenek olabilir
    Dürüst olmak gerekirse bu kısmı hiç araştırmadım; ne kadar mümkün olduğunu da bilmiyorum. Belki zaten vardır ve benim sadece girmem gereken bir Discord sunucusu vardır
    Ayrıca, burada özellikle söylemeye bile gerek yok ama şaşırtıcı olan şu ki açık modeller, en iyi ticari modellere iyice yaklaşmış durumda; yani en zor kısım büyük ölçüde çözülmüş sayılabilir

    • Bir diğer seçenek, buluttaki güvenli enclave içinde açık kaynak modeli çalıştıran doğrulanabilir özel çıkarımdır
      NVIDIA confidential computing kullanılır, enclave kodu açık kaynaktır ve bağlantı sırasında uzaktan doğrulamayla kontrol edilerek çıkarım sağlayıcısının hiçbir veriyi göremediği kriptografik olarak kanıtlanır
      Tinfoil: https://tinfoil.sh/ bunun iyi bir örneği. Çıkar çatışması beyanı olarak söyleyeyim, ben kurucu ortaklardan biriyim
      Nasıl çalıştığını burada daha ayrıntılı okuyabilirsiniz: https://docs.tinfoil.sh/verification/verification-in-tinfoil
      Açık modellerin en iyi ticari modellere yaklaştığı iddiası, belirli görevlerde büyük ölçüde doğru
      Örneğin sohbet arayüzlerinde model zekâsındaki ilave artışı, en iyi açık kaynak modellerin sunduğu seviyenin ötesinde kullanmak zaten zor
      Ancak kodlama çalışma ortamları daha yüksek model zekâsından hâlâ fayda görüyor; özellikle claude-code veya codex gibi sağlayıcının kodlama çalışma ortamının modelin araç çağırma arayüzüyle pekiştirmeli öğrenmeyle sıkı biçimde bağlanmış olması, model zekâsını sabit tutsanız bile neden fark yarattığını açıklayan başka bir unsur
      Birden çok model sağlayıcısını destekleyen açık kaynak kodlama çalışma ortamı opencode'un kurucusu da kısa süre önce sağlayıcı bazında çalışma ortamını iyi uyarlamanın zorluğundan yakındı: https://x.com/thdxr/status/2053290393727324313

  • Yazıdaki örnekler, yerel modellerin başarılı olması için frontier modellerle rekabet edecek kadar büyük olmasına gerek olmadığını, sadece yeterince iyi olmalarının yeterli olduğunu düşündüğümü doğruluyor
    Küçük görevleri iyi yapmalı ve tüketici cihazlarında makul biçimde çalışmalı
    Telefonda da çalışabilirse daha da iyi
    Yerel LLM'lerle deneme yaparken gördüm ki model boyutunu büyütmek güzel ama neredeyse işe yaramaz bir modeli faydalı hale getiren asıl unsur araç kullanma yeteneği oldu
    Web araması ve web sayfası getirme izni vermek, daha büyük bir model kullanmaktan çok daha fazla halüsinasyonu azalttı ve eğitim kesim tarihi sorunu da kalmadı
    Elbette daha büyük modeller araçları daha iyi kullanabilir, ama küçük modeller de çoğu zaman yeterli oldu

  • Chrome'un yerel model kullanan yeni Prompt API'siyle neler yapılabileceğine dair bir demo hazırladım: https://adsm.dev/posts/prompt-api/#what-could-you-build-with...
    Orijinal yazıda dendiği gibi, kullanıcının sahip olduğu veriyi dönüştüren sınırlı ortamlarda parlıyor
    Daha açık uçlu işler içinse kesinlikle daha az faydalı

    • Chrome'un Prompt API'sini yerel LLM için iyi bir örnek olarak önermem
      Fena değil ama gerçekten zayıf
      Bir yıl önceki 8B modeller bazı açılardan daha iyiydi, son çıkan modeller ise anlamlı biçimde daha iyi hale geldi
    • “Çevredeki bağlamı kullanarak reklam metnini yeniden yazmak”; evet, plan tam olarak bu
      Yerel model de yoksa, web sayfası da yoksa olmuyor
      Geri kalan herkes elektrik ve donanım yıpranmasının yükünü taşırken satıcı tarafında daha fazla, daha iyi ve daha ucuz adtech sömürüsü ve gözetim oluşuyor
    • Deterministik süreçlerin çok daha uygun olduğu veri dönüşümlerini yapmak için LLM çalıştırıp bunun için 1000 watt güç kaynağı kullanıyorsunuz
      Gerçekten muhteşem

  • Mevcut çıkar grupları yereli engellemek için ellerinden geleni yapacak ama küçük ve uzmanlaşmış modellerin sonunda standart olabileceğine inanmak için bazı teknik nedenler var
    Böyle olursa yerel de peşinden gelir
    Asıl yazı, kullanıcının istediği şey için büyük modele gerçekten ihtiyaç olup olmadığına odaklanıyor
    Oysa büyük modellerin a) mekanistik yorumlama yeterince olgunlaşmadıkça ya da b) çok etmenli sistemlerin hepsi çok modelli hale gelmedikçe gerçekten yeterince güvenilir olamayacağına dair gerekçeler de var
    a durumunda, mekanistik yorumlamadaki ilerleme büyük modellerin sorunlarını çözebilir ama aynı zamanda birleşik temsilleri alıp dev modelin yalnızca yararlı kısımlarını kesip kullanmayı da mümkün kılabilir
    Yalnızca gerekeni alır, gereksiz olanı atar, böylece maliyeti ve sorun yüzeyini küçültürsünüz
    Sadece muhakeme mi gerekiyor? Sadece görme mi? Dev canavarın o kısmını kesip kullanın
    Sorunları izole etme yeteneği, işlevsel alt sistemleri izole etme yeteneği olmadan kolay gelmez
    b durumunda ise evil vector'lere veya araç kullanımına özgü halüsinasyon türlerine bakabilirsiniz
    Yardımseverlik/dürüstlük/zararsızlık hizalaması için tam bir çözüm yoksa yaratıcılık ile titizlik ve daha pek çok unsur arasında temel çatışmalar olması muhtemel
    Zaten her iş için birden fazla modele ihtiyaç duyulacaksa neden pahalı ve devasa bir genel amaçlı modele ihtiyaç olsun ki
    Bu yüzden uzmanlaşma aynı zamanda her şeyi mümkün olan en küçük güvenilir uzman modellere indirme yönünde bir baskı yaratıyor

  • LLM'lerle ilgili temel kaygım, felsefi boyut ve ekonomik etkilerden ayrı olarak, yerelde işlevsel bir modeli eğitmenin zor görünmesi
    Oyuncak seviyesinde LLM'ler mümkün olabilir ama gerçekten faydalı bir şey zor görünüyor
    Sadece muazzam işlem gücü değil, çoğu zaman yasa dışı yollarla elde edilmiş veri kümeleri de gerekiyor

    • Fazla karamsar görünüyor
      Ben kişisel olarak çok üstün zekâlı biri olmayabilirim ama şu anki zekâmı edinmek için bugüne kadar yazılmış tüm kitapları, tüm Wikipedia maddelerini, tüm blog yazılarını, tüm başvuru kılavuzlarını, tüm kod satırlarını öğrenmem gerekmedi
      Aslında bunların %1'ini bırakın, %0.00000000001'ini bile öğrenmedim
      Metnin tek başına zekânın ön koşulu olmadığı açık
      En azından çevremi yaklaşık 20 yıl gevşek biçimde gözlemleyerek zekâya yakın bir şeye ulaştıysam, gereken “veri kümesi”nin sensörler ve çevredeki dünya olduğuna dair güçlü bir kanıt var
      Tabii insan beyni sıfırdan başlamıyor; zekânın kök salacağı zemini hazırlamak için milyonlarca yıllık evrim vardı
      Ama bu temel yapı oldukça genel ve belirli bir eğitim kümesine bağımlı gibi görünmüyor
      Bunun yapay olarak evrimleştirilmesi de mümkün olabilir
    • Mevcut teknolojiyle tüm modeli değil ama LoRA, fine-tuning için gerçekten çok iyi ve güçlü bir oyuncu bilgisayarında birkaç saat içinde üretilebilir
      Temel model benim dilimi desteklediği sürece, sahip olduğunuz elektronik cihazların boşta kalan hesaplama gücüyle ayda birkaç LoRA eğitmeniz oldukça olası
      Gelecekte sıradan ev bilgisayarları bugünün sunucu düzeyi gücüne geldiğinde, evde tam LLM eğitmek de mümkün olur
    • Bunun önemli olmasının nedeni, modeli yerelde çalıştırıyor olsanız bile onun hâlâ tescilli bir model olabilmesi
      Nelerle eğitildiğine, eğitim verisinin nasıl etiketlendiğine, hangi guardrail'lerin bulunduğuna, hangi önyargıların olabileceğine dair hiçbir şeye benim etkim yok
    • Yerelde yeniden üretilemeyen çok fazla teknoloji var; LLM'lerin bu açıdan özel olarak farklı olduğunu düşünmüyorum
      Diğer her şeyde olduğu gibi büyük LLM üreticileri, küçük LLM üreticileri, zanaatkâr tipte LLM yapımcıları, LLM meraklıları ve LLM tüketicileri olacak
    • Bu alana göre değişir
      Kişisel veya ticari olmayan kullanım için gerekli eğitim verisini elde edebileceğiniz pek çok kullanım senaryosu var
      O noktadan sonrası, eğitim için gereken hesaplama ve zaman meselesi; beklemeye razıysanız tüketici donanımıyla bile yararlı modeller üretmek mümkün olabilir

  • “Bulut modelleri yalnızca gerçekten gerektiğinde kullanın” sözü doğru, ama sorun şu ki yerel modellerin ayarlarıyla uğraşmaktansa sübvanse edilen en ileri modelleri kullanmak çok daha kolay
    Bunu kodlama ajanlarında yeni fark ettim
    Her zaman en son sürümü xhigh modunda kullanmanız gerekmeyebilir ama sonunda öyle yapıyorsunuz
    Çünkü işi daha kısa sürede, daha az çabayla ve fiilen aynı fiyata bitirebiliyorsunuz
    Büyük satıcılar gerçek token kullanımına göre fiyatlandırmaya başladığında ancak o zaman yerel AI için ciddi çaba göreceğimizi düşünüyorum

    • En ileri modeli kullanmanın daha kolay olması bir sorun değil, bir özellik
      Sekiz kadar ücretsiz katman sağlayıcısı sekmem açık ve ChatGPT, Claude, Gemini en ileri tarafta
      Birini limitine kadar kullanıp sonra diğerine geçmekte hiçbir sorun yok
      Bunu bütün gün yapıp kodumun belirli bir fonksiyonunu ya da sınıfını yazdırabiliyorum
      Gerçekte yazılım yazmayı ve tasarlamayı bildiğim için her şeyi tek günde üretmeye çalışıp ajanı döngüye sokmam gerekmiyor
      Sadece web sohbet botları ve kopyala/yapıştır ile saatte binlerce satır kod üretirken aynı zamanda kod için güçlü bir mental modelimi koruyabiliyor ve gereken yerleri kendim değiştirebiliyorum
      Bugün sabah da bir Python projesinde bunu yaptım
      İhtiyacım olan şeyi ben tasarladığım için her üretim tek bir fonksiyon talebi şeklindeydi; sabah bir şey eklemem gerektiğinde de sohbet botuna sormadan doğrudan doğru yere gidip kendim düzelttim
      Tüm sistemi bir spesifikasyondan üretirseniz bunu yapamazsınız
    • En az dirençli yol genelde kazanır
      Özellikle fiyatlandırma gerçek maliyeti gizlediğinde daha da fazla
    • Yerel modellerde iyi performans gördüğümü söyleyemem
      Ne zaman LLM'lerle ilgili bir yazı çıksa yorumlarda en yeni DeepSeek/Qwen vb. ile Opus kadar iyi sonuç aldığını hararetle söyleyen birileri oluyor ama benim deneyimim hiç öyle değil
      Açık kaynak modeller, biraz karmaşık bir iş verdiğim anda Claude'la kıyaslandığında tamamen dağılıyor
      Bunun 90'lardaki Linux durumuna benzeyip benzemediğini merak ediyorum
      Bir ölçüde çalışıyordu ama ev kullanıcıları için gerçekten hazır değildi; buna rağmen özellikle ideolojik nedenlerle insanların yüzünüze karşı her şeyin gayet iyi gittiğini iddia ettiği döneme benziyor

  • İnsanlar gerçekten de “en iyi yazılımı” yapmaya çalışıyor
    AI'nin Don Kişotvari hızlandırmacıları, yazılım geliştirenler arasında sadece sesi çok çıkan küçük bir azınlık ve çevrimiçi API'leri yerel sistemlere tercih etmek çoğunlukla geliştirici tembelliği değil, kullanıcı lehine verilmiş bir karar
    Şu anda özel AI ile yerel modellere kıyasla daha çok işi daha iyi yapabilirsiniz
    Bundan kaçış yok
    Yerel AI daha iyi hale gelse bile, LLM performansının en ileri ucunda olmak çoğu zaman yeterince değerli bir yatırım olmaya devam edecek
    İnsanların çoğu, ürün en üst düzeyde ve aşırı kullanışlı olmadıkça onu benimsemez
    Bu çıta yüksek ve yerel AI bu çıtayı sık sık karşılayamıyor
    HN'nin herkesi açık kaynak, mahremiyet öncelikli, kendi kendine barındırılan Linux fanatiği gibi görme ısrarı, bakması utandıracak kadar demode duruyor