Kimi K2 1T modeli, iki adet 512GB M3 Ultra üzerinde çalıştırıldı

• Kimi K2 1T modeli, 512GB belleğe sahip iki M3 Ultra çipinde çalıştırılmış bir örnek olarak paylaşıldı
• Twitter gönderisinde modelin çalıştırma ortamı ve donanım yapılandırmasından bahsediliyor
• 1T ölçeğindeki bir modelin ticari Mac donanımı üzerinde çalıştırılmış olması dikkat çekiyor
• Yüksek performanslı Apple Silicon tabanlı yapay zeka hesaplamalarının mümkün olabileceğini gösteren bir örnek
• Büyük dil modellerinin yerelde çalıştırılma sınırlarının genişleyebileceğine işaret eden teknik bir deneme

---

Twitter gönderisi içeriği

• Gönderi, Kimi K2 1T modelinin iki M3 Ultra (her biri 512GB bellek) üzerinde çalıştırıldığını açıkça belirtiyor
• Ek performans verileri veya sonuçlara ilişkin herhangi bir açıklama yok
• Söz konusu tweet dışında ek bağlam veya ayrıntılı teknik bilgi sunulmuyor

[GN⁺]

Hacker News yorumları

• Kimi K2 gerçekten tuhaf bir model
  Opus 4.5 ya da 5.2-Pro kadar akıllı değil ama yazı stili çok kendine özgü ve insanla konuşuyormuş gibi doğrudan bir tona sahip
  E-posta gibi kısa metinler yazarken şu anda gördüğüm en iyi seviyede ve sohbet sırasında hataları işaret etmekten ya da saçmalıkları düzeltmekten çekinmiyor
  Diğer modellerden tamamen farklı eğitilmiş gibi hissettiriyor; veri analizinden çok editörlük işlerinde daha kullanışlı
  Bu yüzden gerçekten Kimi aboneliği ödeyip kullanıyorum
  • Ben de aynı düşünüyorum. Kısa iletişimlerde Kimi K2 rakipsiz
    Duygusal zeka (emotional intelligence) açısından çok güçlü; mesajın nüansını ve niyetini iyi okuyor, hatta sosyal bağlamı da hesaba katarak cümleyi düzenliyor
    Moonshot bunu nasıl eğitti bilmiyorum ama bu kısmı gerçekten dikkat çekici
    EQ-bench üzerinde duygusal zeka değerlendirmesinde 1. oldu ve bu benim deneyimimle birebir örtüşüyor
  • Sevdiğim yapay zeka benchmark’larından biri olan Clocks testi'ni sürekli iyi geçen tek model bu
  • Yanıldığımda bunu dürüstçe söyleyen tek model bu
    “Yeniden üretilebilir bir örnek ver” diyen bir chatbot görmek ilginç bir deneyim
    Bu arada Kagi üzerinden de Kimi K2 kullanılabiliyor
  • Sonnet 4.5 de benzer şekilde kullanıcıya karşı çıkabiliyor ama çoğu zaman bu, bağlam eksikliğinden doğan bir yanlış anlama oluyor
    Kimi K2’nin bu konuda ne kadar isabetli olduğunu merak ediyorum
    Sonuçta modelin özünün instruction following olduğu düşüncesine kapılıyorum
  • Bu özellikler yüzünden EQ-bench puanının yüksek olması da doğal
• Kimi K2 gerçekten etkileyici bir model
  Aşırı yalakalık yapmayan tavrı sayesinde mantık kontrolü için faydalı
  Eski ChatGPT modelleri her şeyi övüyordu ama Kimi, istersen zekanı ya da soyunu sopunu sorgulayacak kadar acımasız eleştirebiliyor
  • İstersen gerçekten roast moduna giriyor. Odaklanmayı korumaya yardımcı oluyor
  • Daha önce Tesla’nın içinde Grok’u açmıştım ve ses tanıma yanlış çalışınca oldukça garip bir durum yaşamıştım
    O model de Kimi gibi hiç yaltaklanmayan bir karaktere sahipti
• M3 Ultra 512GB modeli $9,499
  Apple resmi bağlantısı
  • Refurbished ürünler bu bağlantıda $8,070 fiyatla alınabiliyor
    Hediye kartıyla ek %10 indirim de mümkün
• Bunun Linux sürümü var mı diye merak ediyorum
  RDNA desteği konuşuluyor ama bunun donanıma bağımlı mı olduğunu (ConnectX ya da Apple Thunderbolt gerektirip gerektirmediğini), yoksa sıradan bir 10G NIC ile de mümkün olup olmadığını bilmiyorum
  • Prodüksiyon seviyesinde performans için RDNA uyumlu donanım gerekiyor
    Ama vLLM, sıradan Ethernet tabanlı çok düğümlü kümeleri de destekliyor
• Her zamanki gibi, performans iddiaları bağlam uzunluğu ya da prefill koşullarını belirtmediği için yanlış anlamalara yol açıyor
  Uzun bağlam kullanırsan bir yanıtı beklemek birkaç dakika sürebilir
• Böyle cihazlardan birkaç tane almak istiyorum ama amortismanı düşününce hâlâ erken gibi geliyor
  Birkaç yıl içinde çok daha ucuzlayacaklarını düşünüyorum
  • Satın almadan önce gerçek hız benchmark sonuçlarını mutlaka görmek gerekir
    Sadece “çalışıyor” denmesine güvenmemek lazım; uzun bağlam senaryolarındaki işleme hızı tamamen başka bir mesele
  • Bana göre böyle cihazlar almak ekonomik açıdan mantıklı değil
    Aynı parayla çok daha fazla bulut kullanım hakkı elde edebilirsin
    Üstelik bunu 7/24 çalıştırmayacağın için verim de düşüyor
    Açık kaynak modelleri Groq ya da Cerebras gibi ultra düşük gecikmeli servislerde çalıştırmak çok daha rahat
  • Yerel model çalıştırmanın sebebi gizlilik, maliyet ya da gecikme değil
  • Bir sonraki güncellemede M5 türevi bir çip gelmesini umuyorum
  • RAM fiyatları oturana kadar beklemek daha iyi olabilir
• Bugünlerde hangi benchmark’ların geçerli olduğunu merak ediyorum
  Cursor’da çeşitli modelleri test ediyorum ama Deepseek v3.2 ya da Kimi K2 biçimlendirme sorunları yüzünden düzgün çalışmıyor ve başka modeller de eksik
  Özellikle C++ ya da Rust gibi web dışı alanlara yönelik benchmark’ları merak ediyorum
• Bunun modelin 4bit quant sürümü olduğunu belirtmek gerekir. Yine de etkileyici
  • Kimi K2 zaten baştan 4bit optimizasyonu hedeflenerek tasarlanmış bir model
  • Parametre sayısı trilyon seviyesindeyse, quantization zaten işin doğal parçası gibi geliyor
• Exo Labs’in token pre-fill hızlandırmasını DGX Spark üzerinde çalıştırmanın mümkün olup olmadığını merak ediyorum
  2 Spark ve 2 Mac Studio’yu birleştirince, 2 adet M5 Ultra’ya benzer çıkarım hızı elde edilir mi diye düşünüyorum
• Son dönemdeki gerçek zamanlı saat çizme yarışmasını kazanan model de bu değil miydi diye düşünüyorum