Darkbloom – Boştaki Mac’leri kullanan kişisel yapay zeka çıkarım ağı

• Darkbloom, boşta duran Apple Silicon Mac’leri birbirine bağlayarak dağıtık yapay zeka çıkarımı gerçekleştiren bir ağdır; yapay zeka hesaplamalarını merkezi bulut olmadan kişisel cihazlarda işler
• Mevcut GPU, bulut ve API sağlayıcıları arasındaki üçlü marj yapısını ortadan kaldırarak %70’e varan maliyet tasarrufu sağlar
• Tüm istekler uçtan uca şifrelenir, bu nedenle operatörler kullanıcı verilerini göremez; güven, Apple güvenlik donanımı tabanlı doğrulama zinciri ile sağlanır
• OpenAI uyumlu API sunar; sohbet, görsel üretimi, ses tanıma gibi mevcut SDK’lerle aynı işlevleri destekler
• Operatörler gelirin %95–100’ünü elinde tutar ve boşta duran Mac’ler sayesinde elektrik maliyeti dışında ek gider olmadan USD geliri elde edebilir

---

Boştaki Mac’leri kullanan kişisel yapay zeka çıkarım ağı

• Darkbloom, Eigen Labs tarafından geliştirilen bir dağıtık yapay zeka çıkarım ağıdır; boşta duran Apple Silicon Mac’leri birbirine bağlayarak yapay zeka hesaplamaları yürütür
• Günümüzde yapay zeka hesaplamaları GPU üreticisi → hyperscaler → API sağlayıcısı → son kullanıcı şeklindeki 3 aşamalı marj yapısından geçer; Darkbloom bunu ortadan kaldırarak %70’e varan maliyet tasarrufu sağlar
• Ağ operatörleri kullanıcı verilerini göremez ve tüm istekler uçtan uca şifrelenerek işlenir
• API, OpenAI uyumludur ve mevcut SDK’lerle aynı şekilde sohbet, görsel üretimi ve ses tanıma işlevlerini destekler
• Operatörler gelirin %95–100’ünü elinde tutar ve elektrik maliyeti dışında ek maliyet neredeyse yoktur

Kullanıcılar için özellikler

• Boştaki donanımın marjinal maliyeti neredeyse 0 olduğundan, sağlanan tasarruf doğrudan kullanıcı fiyatlarına yansır
• OpenAI uyumlu API üzerinden sohbet, görsel üretimi ve sesten metne dönüştürme işlevleri sunulur
• Tüm istekler uçtan uca şifrelenerek iletilir

Donanım sahipleri için özellikler

• Apple Silicon Mac sahibi kullanıcılar, boşta kaldığı süre boyunca yapay zeka çıkarımı çalıştırarak USD geliri elde edebilir
• Operatörler çıkarım gelirinin %100’ünü elinde tutar ve elektrik maliyeti saatlik $0.01~$0.03 düzeyindedir
• Kalan tutar net kâr olarak yazılır

Yapay zeka hesaplama pazarındaki yapısal sorun

• Mevcut yapay zeka hesaplama pazarı, GPU üreticisi → bulut sağlayıcısı → yapay zeka şirketi → son kullanıcı şeklindeki üçlü marj yapısına sahiptir
• Bu nedenle son kullanıcılar gerçek silikon maliyetinin 3 katından fazlasını öder
• Buna karşılık, 100 milyondan fazla Apple Silicon cihazı günde ortalama 18 saatten fazla boşta kalır
• Bu atıl hesaplama kaynakları birleştirilirse, Airbnb veya Uber benzeri dağıtık varlık kullanımı mümkün olur
• Darkbloom, bu boştaki Mac’leri yapay zeka çıkarım düğümlerine dönüştürerek merkezi altyapının yerini almayı hedefler

Güven sorunu ve çözüm gereksinimleri

• Dağıtık hesaplama ağlarının temel sorunu güvenilirliktir
• Kullanıcılar verilerini tanımadıkları üçüncü taraf cihazlarda işlemek zorundadır; bu nedenle yalnızca kullanım şartlarına dayalı güvenlik yeterli değildir
• Doğrulanabilir gizlilik (Verifiable Privacy) olmadan dağıtık çıkarım mümkün değildir

Darkbloom’un teknik yaklaşımı

• Erişim yollarını kaldırma

  • Operatörlerin verilere erişebileceği tüm yazılım yolları kaldırılır
  • Sistem, her biri ayrı ayrı doğrulanabilen dört bağımsız katmandan oluşur

• Şifreleme katmanı

  • İstekler kullanıcının cihazında gönderilmeden önce şifrelenir
  • Coordinator yalnızca şifreli veriyi yönlendirir; çözme işlemini yalnızca hedef düğümün donanım anahtarı yapabilir

• Donanım katmanı

  • Her düğüm, Apple’ın güvenlik donanımı içinde üretilmiş bir anahtara sahiptir
  • Bu anahtar, Apple Root CA’den başlayan doğrulama zinciri (attestation chain) ile doğrulanır

• Çalışma zamanı katmanı

  • Çıkarım süreci işletim sistemi seviyesinde kilitlenir
  • Debugger bağlantısı ve bellek incelemesi engellenir
  • Operatörler çalışan süreçten veri çıkaramaz

• Çıktı katmanı

  • Tüm yanıtlar ilgili donanımın imzasıyla doğrulanabilir
  • Doğrulama zincirinin tamamı herkese açık olduğundan herkes bağımsız olarak doğrulama yapabilir

• Sonuç olarak operatörler çıkarımı çalıştırır ama verileri göremez

  • Prompt’lar gönderimden önce şifrelenir
  • Coordinator, içeriği okuyamadan yönlendirme yapar
  • Provider, doğrulanmış izole ortamda çözme ve yürütme işlemini gerçekleştirir
  • Doğrulama zinciri herkese açıktır ve şeffaflık sağlar

Uygulama ayrıntıları

• OpenAI uyumlu API

  • Mevcut OpenAI SDK ile tamamen uyumludur
  • Yalnızca Base URL değiştirilerek aynı kodla kullanılabilir
  • Streaming, Function Calling, Image Generation, Speech-to-Text desteğinin tamamı sunulur
  • Desteklenen işlevler
  • Streaming: SSE tabanlı, OpenAI formatı
  • Image Generation: FLUX.2 on Metal
  • Speech-to-Text: Cohere Transcribe
  • Large MoE: 239B parametreye kadar model desteği

Maliyet karşılaştırması sonuçları

• Boştaki donanımın marjinal maliyeti neredeyse sıfır olduğundan fiyat düşüşü etkisi ortaya çıkar
• Abonelik ücreti veya minimum kullanım sınırı yoktur
• OpenRouter’a kıyasla %50 tasarruf düzeyindedir

Model	Girdi	Çıktı	OpenRouter	Tasarruf oranı
Gemma 4 26B4B	$0.03	$0.20	$0.40	50%
Qwen3.5 27B	$0.10	$0.78	$1.56	50%
Qwen3.5 122B MoE	$0.13	$1.04	$2.08	50%
MiniMax M2.5 239B	$0.06	$0.50	$1.00	50%

• Görsel üretimi: $0.0015/görsel (Together.ai’ye kıyasla %50)
• Ses tanıma: $0.001/dakika (AssemblyAI’ye kıyasla %50)
• Platform ücreti %0, operatörler gelirin %100’ünü elinde tutar

Operatör ekonomisi

• Apple Silicon cihaz sağlanarak USD geliri elde etmek mümkündür
• Elektrik maliyeti dışında ek maliyet yoktur, gelirin %100’ü korunur
• CLI kurulum yöntemi desteklenir, macOS menü çubuğu uygulaması geliştirilmektedir

• Kurulum yöntemi

  • Terminal komutuyla provider binary’si indirilir ve launchd servisi kaydedilir

  • Bağımlılık yok**,** otomatik güncelleme**,** arka planda çalışma

    • macOS 14 ve üzeri, yalnızca Apple Silicon

• Beklenen gelir

  • Günde 18 saat çalışma esas alınarak gelir tahmini yapılabilir
  • Gerçek gelir, ağ talebi ve model popülerliğine göre değişir

Araştırma ve model kataloğu

• Araştırma makalesi, mimariyi, tehdit modelini, güvenlik analizini ve ekonomik modeli ayrıntılı biçimde açıklar
• Donanım doğrulamasına dayalı özel çıkarım mimarisini ele alır
• PDF indirme bağlantısı sunuluyor

• Kullanılabilir modeller

  • Gemma 4 26B: Google’ın en yeni çok modlu MoE modeli, 4B etkin parametre
  • Qwen3.5 27B: Yüksek kaliteli çıkarım modeli (Claude Opus distillation)
  • Qwen3.5 122B MoE: 10B etkin parametre, token başına en yüksek kalite
  • MiniMax M2.5 239B: SOTA kodlama modeli, Mac Studio’da 100 tok/s
  • Cohere Transcribe: 2B conformer, üst düzey sesten metne dönüştürme

[shw00]

Kavramsal olarak ilgi çekici ama pratikte gerçekten iyi çalışıp çalışmayacağı soru işareti. HN görüşlerinde de söylendiği gibi, iki taraflı pazarın (two-sided market) her iki yönde de başlangıç müşterilerini başarıyla kazanması gerektiği için bu büyük bir sorun.

[GN⁺]

Hacker News görüşleri

• Onların gelir hesaplamasına inanmakta zorlandım
  Bir Mac Mini 2–4 ayda kendini amorti ediyor ve sonrasında ayda 1–2 bin dolar kazandırıyorsa, neden gidip doğrudan Mac Mini alıp çalıştırmıyorlar diye merak ediyorum

  • Hesabın kendisi iyimser varsayımlara dayanıyor. Tüm makineler için sürekli talep olduğunu varsaydıkları için böyle
    Şu anda durum öyle değil ama bir gün öyle olacağını umuyorlar. Bu yüzden yeni cihaz almayı önermiyorlar. Zaten elinizde olan bir cihazla çalıştırırsanız maliyet neredeyse sıfır
    Elektrik maliyeti yalnızca istek geldiğinde oluşuyor ve o da her seferinde karşılanıyor
    Sorunuz varsa @gajesh'e DM atabilirsiniz
  • Doğrudan Mac Mini almaya başlarsanız, güç, soğutma ve depolama sorunları yüzünden sonunda küçük bir veri merkezi kurmuş olursunuz
    Ölçek ekonomisi devreye girer ve giderek daha büyük merkezler istersiniz ama bu pahalıdır ve komşular da bundan hoşlanmaz
    Sonunda bu, hiper ölçekleyicilere karşı asimetrik bir savaşa benziyor
  • Hiçbir GPU sağlayıcısı %100 kullanım oranını koruyamaz. Talep dalgalanır
    Örneğin borsa saatlerinde yoğundur ama onun dışında sakindir
    Fazla kapasite ayırmazsanız müşteri kaybedersiniz, fazla ayırırsanız da kâr düşer
    Gerçekçi olarak 1/8 düzeyinde bir kullanım oranı olur gibi görünüyor. Kendi M4 Pro Mini'm için hesaplayınca Gemma 4 modeliyle ayda yaklaşık 24 dolar ediyor
  • Asıl mesele başlangıç sermayesinin yetersiz olması. Çoğu insanın zaten boşta duran bir bilgisayarı var ve tek yapmanız gereken onları yazılımı kurmaya ikna etmek
    Donanımı doğrudan satın alıp bakımını yapmak çok daha pahalı. En büyük giriş bariyeri ilk yatırım maliyeti
  • Dünyada boşta duran çok sayıda Mac var, bu yüzden bir kullanıcı tabanı toplamak kolay
    VC fonu olmadan bile başlanabilir ve farklılaşma da net
    Yine de bir başkası daha yüksek komisyonla aynısını yapabilir, bu yüzden pazarı erken kapmak önemli

• Ben de kurup denedim ama pek olgun değildi
  Görsel model indirme hatası, ses/TTS modeli yükleme hatası gibi birçok sorun vardı
  15 dakika boyunca Gemma sundum ama gerçek çıkarım isteği 0 oldu, yalnızca birkaç health check geldi
  Şu anda talep yetersiz olduğu için gelir tahmini tutmuyor

  • Daha çıkalı bir gün olduysa henüz talep olmaması normal. Biraz zaman gerekir
  • Karşı tarafta gerçekten prompt gönderip yanıt alan bir test yapan biri olmuş mu merak ediyorum
  • İstatistik sayfasına bakınca sağlayıcı çok ama gerçek talep neredeyse yok
    Şu an sağlayıcı toplamaya odaklanmış gibiler, ücretli müşteri bulmaları acil görünüyor
  • En azından başlangıçta kendi taraflarından istek üretip hosting için teşvik vermelerini beklerdim ama böyle bir özellik yok
  • Ben de aynı hatayı gördüm; loglarda “STT backend health check failed” uyarısı vardı. Gerçek talep olsa bile sebep bu olabilir

• Bu hizmeti kullanmak için MDM (cihaz yönetim yazılımı) kurmanız gerekiyor
  Fiilen o andan itibaren o bilgisayar onların kontrolüne girmiş oluyor
  Bankacılık gibi hassas işler yaptığınız bir bilgisayarda bunu asla önermem

  • macOS'taki MDM, yetkileri AccessRights ile sınırlandığı için SSL sertifikası değiştirecek düzeyde erişim mümkün değil
    Ama onların gizlilik politikası zayıf, bu yüzden güven vermiyor
  • MDM benim için kesinlikle kabul edilemez. MacBook'umu potansiyel bir tuğlaya çeviremem
    Üstelik ayda birkaç dolar kazanmak için bu riski almaya değmez

• Modelin ve kodun bütünlüğünü doğrulamak için TEE (Trusted Execution Environment) kullandıklarını söylüyorlar
  AWS'de benzer bir şey gördüm ama GPU kullanırken bellek korumasının gerçekten mümkün olup olmadığı şüpheli
  İlgili makalelere buradan bakabilirsiniz

  • Tüm makale LLM kokuyor. Aşırı formül kullanımı güveni azaltıyor
  • Gerçekçi olmak gerekirse, veriyi dış bir sunucuya gönderdiğinizde bir miktar veri tutulması kaçınılmazdır
    Hassas veri yerine sınıflandırma ya da görsel üretimi gibi ticari olmayan kullanım alanları için kullanmak daha güvenli
  • Apple Silicon'da CPU ve GPU birleşik bellek kullanıyor
    Makalede sözü edilen hipervizör sayfa tablosu tekniğinin, GPU belleğini RDMA'dan koruduğu iddia ediliyor
  • Mac'lerde SGX benzeri bir donanımsal TEE yok, yalnızca Secure Enclave var

• Günümüz MacBook'larında doğrulanabilir gizlilik fiziksel olarak mümkün değil
  Secure Enclave var ama SGX/TDX/SEV gibi açık tip bir enclave değil
  Sonuçta bu sadece OS sertleştirmesi düzeyinde güvenlik; gerçek bir gizli yürütme ortamı değil

  • Bizzat SGX SDK geliştirdim. Apple platformlarında da belli ölçüde benzer bir güvenlik seviyesi uygulanabilir
    macOS, önyükleme sırası ve TCC yapılandırması uzaktan doğrulanabilirse oldukça güvenilir bir mimari
    Mükemmel SGX kadar olmasa da kullanılabilirlik açısından daha iyi
  • Merkezi sağlayıcılardan (OpenAI vb.) ziyade rastgele dağıtık düğümlere daha çok güven duyuyorum
  • Yeterli teşvik olduğunda her türlü donanım anahtarı eninde sonunda aşılır. İddiaları biraz fazla özgüvenli

• Basit bir hesapla, benim M5 Pro'm Gemma 4 26B'de saniyede 130 token (4 stream) üretiyor
  Darkbloom'un fiyatı Mtok başına $0.20 olduğuna göre, 7/24 çalışmada aylık yaklaşık $67 gelir demek
  Elektrik maliyeti düşünce ayda yaklaşık $9 gider kalıyor; yılda yaklaşık $700 cep harçlığı seviyesinde

  • Gerçekte 50W'tan çok daha fazla güç tüketiyor. Elektrik de pahalı, ayrıca donanım yıpranması da hızlanıyor
    Bana göre kârlılığından çok fikrin kendisi ilginç
  • Onların hesabı Gemma 4 26B için tok/s değerini 414 alıyor
    Güç hesabında boştaki 12W'ı düşme numarası yapıyorlar ama çoğu insan bilgisayarını 24 saat açık tutmuyor
  • 130 tok/s yüksek görünüyor. Hangi quantization ayarına göre olduğunu merak ettim
  • Donanım arızası hesaba katılmıyor. Eskiden GPU ile madencilik yaparken fanın bir ayda bozulup zarar ettirdiği olmuştu
  • OpenAI'da bile ücretli müşteri oranı yalnızca %5; böyle bir model sürdürülebilir mi emin değilim
    Geçmişte Cubbit gibi dağıtık depolama girişimleri de olmuştu ama başarısız oldular

• @eigengajesh'e söylemek istediğim şey, Mac Mini M4 Pro için 64GB seçeneği de olduğu
  Ayrıca birçok hata var — metallib yükleme hatası, model indirmede 404, belgelerde gelir paylaşımının (100% vs 95%) tutarsız olması gibi
  Genel olarak çok sayıda LLM yazmış gibi duran belge var; biraz daha toparlandıktan sonra yayımlanması daha iyi olurdu

• Bu proje bana eskiden okul bilgisayarlarına dağıttıkları DataseamGrid'i hatırlattı
  Benzer kavramda bir dağıtık hesaplama ağıydı

• İlginç bir fikir. İki taraflı pazar yeri (two-sided marketplace) başlangıçta zor açılır ama merak duygusu bunu harekete geçirebilir
  Yalnızca sağlayıcı değil, insanları hizmeti kendileri denemeye de yönlendirebilirlerse arz-talep dengesini kurabilirler
  Kurumlara yönelik self-hosted sürüm olursa güzel olur. Birçok şirketin elinde Mac stoğu var; bunu şirket içi çıkarım ağı olarak kullanabilirler

• Donanım tabanlı gizlilik ilginç olsa da ekonomik açıdan asıl büyük risk yükleme maliyeti
  Örneğin MiniMax M2.5 239B modelinde, 239B içinden yalnızca 11B etkin olsa bile 120GB yüklemek gerekiyor
  Bunu SSD'den çekmek onlarca saniye sürüyor
  İstek başka bir Mac'e yönlendirilirse her seferinde cold load gecikmesi oluşuyor
  Modeli sürekli bellekte tutarsanız elektrik maliyeti artıyor, tutmazsanız da gecikme büyüyor
  Özellikle 16GB–32GB Mac'ler büyük modelleri zaten hiç barındıramaz, bu yüzden pratikte uygun sağlayıcı sayısı çok sınırlı