Kimi K3 ve pelikan benchmark’ından hâlâ öğrenebileceklerimiz

 (simonwillison.net)
1 puan yazan GN⁺ 3 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Moonshot AI’ın duyurduğu Kimi K3, 2,8 trilyon parametreli, şirketin en yüksek performanslı modeli; web sitesi ve API üzerinden sunuluyor, açık ağırlıkların ise 27 Temmuz 2026’ya kadar yayımlanması planlanıyor
  • Kendi benchmark’larında genel olarak Claude Opus 4.8 max ve GPT-5.5 high’ı geçti, ancak Claude Fable 5 ve GPT-5.6 Sol’un gerisinde kaldı; Arena.ai Frontend Code arena’da ise 1. sıraya yükseldi
  • Girdi için 1 milyon token başına 3$, çıktı için 1 milyon token başına 15$ ile Çinli yapay zeka laboratuvarlarının modelleri arasında en pahalı olanı; tek bir pelikan SVG’si üretmek, 13.241 akıl yürütme token’ı dahil 16.658 çıktı token’ı ve 0,25$ tuttu
  • Bisiklet süren pelikan SVG testi, bugün önemli olan ajan araç çağırmayı veya uzun konuşmalarda araç işletme güvenilirliğini ölçmediği için modeller arası genel performans karşılaştırması için uygun değil
  • Yine de aynı basit prompt’u doğrudan çalıştırmak, API erişilebilirliği ve maliyetini, akıl yürütme miktarını, SVG geçerliliğini, uzamsal algıyı, görsel yetenekleri ve ürün ailesi içindeki nesiller arası iyileşmeyi hızlıca görmeyi sağlıyor

Kimi K3’ün duyurulması ve performansı

  • Moonshot AI, Kimi K3’ü 2,8 trilyon parametreli şirketin en yüksek performanslı modeli olarak duyurdu
    • Web sitesi ve API üzerinden kullanılabiliyor
    • Açık ağırlıkların 27 Temmuz 2026’ya kadar yayımlanması planlanıyor
  • K3’ü ilk “açık 3T sınıfı model” olarak adlandırıyor; 2,8 trilyonu 3 trilyona yuvarlayarak sınıflandırıyor
    • Bugüne kadarki en büyük ölçeklerden biri olarak anılan DeepSeek V4 Pro, 1,6 trilyon parametreye sahip
    • K3, 1 trilyon parametreli Kimi K2.6’dan iki kattan fazla büyük
  • Kendi benchmark’larında genel olarak Claude Opus 4.8 max ve GPT-5.5 high’ı geçti, ancak Claude Fable 5 ve GPT-5.6 Sol’un gerisinde kaldı

Dış değerlendirme ve fiyat

  • Artificial Analysis değerlendirmesinde kapalı uzun süreli bilgi görevlerinde toplam Elo 1.547 kaydetti
    • Kimi K2.6’dan 732 puan yüksek
    • Claude Fable 5’in ardından 2. sırada
  • Görev başına maliyet 0,94$; GPT-5.6 Sol’un 1,04$ maliyetine benzer
    • Claude Opus 4.8’in 1,80$ maliyetinin yaklaşık yarısı düzeyinde
    • Diğer açık ağırlıklı modellerden daha pahalı
  • Artificial Analysis Intelligence Index’te çıktı token kullanımı K2.6’ya göre %21 azaldı
  • Arena.ai Frontend Code arena’da Claude Fable 5’i geçerek 1. sıraya yükseldi
  • API fiyatı girdi için 1 milyon token başına 3$, çıktı için 1 milyon token başına 15$
    • Anthropic Claude Sonnet ürün ailesiyle aynı seviyede
    • Çinli bir yapay zeka laboratuvarının yayımladığı modeller arasında en pahalısı
    • Kimi K2.6’nın 0,95$/4$ fiyatından ciddi biçimde artırılmış

Pelikan SVG üretme deneyi

  • OpenRouter ve llm-openrouter eklentisi kullanılarak Generate an SVG of a pelican riding a bicycle prompt’u çalıştırıldı
  • Üretim sürecinde 95 girdi token’ı ve 16.658 çıktı token’ı kullanıldı
    • Çıktının 13.241’i akıl yürütme token’ıydı
    • Toplam maliyet 0,25$ oldu
  • Görsel girdiyi de desteklediği için üretilen SVG’ye alternatif metin prompt’u uygulandı
    • Analiz sonucu, kırmızı atkılı beyaz pelikanı ve kırmızı bisikleti, şerit çizgilerini ve hareket göstergelerini, gökyüzü·bulut·güneş·kuş·çim·çiçekleri doğru yakaladı
    • Görsel analizi 822 girdi token’ı ve 243 çıktı token’ı, 0,006$ tuttu

Genel benchmark olarak sınırlamaları

  • Bisiklet süren pelikan SVG testi, 21 ay önce model karşılaştırmanın zorluklarını hicveden bir şaka olarak başladı; ancak ilk bir yıl boyunca gerçek model kalitesiyle şaşırtıcı derecede yüksek korelasyon gösterdi
  • Bugün bu korelasyonun büyük kısmı ortadan kalkmış durumda
    • GPT-5.6 ve Claude Fable 5’in ürettiği pelikanlar, GLM-5.2 sonuçlarından daha kötü
    • Ancak GLM-5.2’yi Claude Fable seviyesinde bir model olarak görmek zor
  • Laboratuvarların bu test için modellerini eğittiğine dair kesin bir kanaat yok
    • Gerçekten optimize etmiş olsalardı çok daha iyi sonuçlar çıkması gerekirdi
    • Gemini’nin “hayvanların taşıta binmesi” kombinasyonlarının geneline optimize edilmiş olma ihtimali ise duruyor
  • En büyük sınırlama, günümüz modellerinde önemli olan ajan araç çağırmayı hiç değerlendirmemesi
    • Konuşma uzadığında araçları istikrarlı biçimde işletme yeteneğini de ölçmüyor
    • Bu nedenle pelikan sonuçları modeller arası genel performans karşılaştırması için kullanılmamalı

Doğrudan çalıştırmaya zorlayan deney

  • Pelikan testi, yeni bir modeli gerçekten çağırmayı sağlayan bir zorlama mekanizması işlevi görüyor
    • Ortada bir çıktı olması, en azından prompt’un çalıştırılmasının başarıyla tamamlandığı anlamına geliyor
    • Resmi API varsa o kullanılıyor
    • 128GB M5 MacBook Pro’ya sığacak kadar küçük açık ağırlıklı modeller, llama.cpp, LM Studio, Ollama ile yerel olarak çalıştırılıyor
    • Yeni API anahtarı olmadan resmi API proxy’si kullanılabildiği için OpenRouter sıkça kullanılıyor
  • Sonuçların çoğu LLM CLI aracı ile üretiliyor; bu süreçte eklentinin en yeni model desteği de kontrol edilmiş oluyor
  • Tek bir SVG prompt’u bile modelin maliyet·akıl yürütme biçimi·girdi işleme özelliklerini ortaya çıkarabiliyor

Kimi K3’te görülen özellikler

  • K3’ün mevcut akıl yürütme çabası seviyesi yalnızca max; 3.417 token’lık yanıt üretmek için 13.241 akıl yürütme token’ı harcadı
    • Basit bir pelikan üretiminin maliyeti 0,25$’a ulaştığı için yükü büyük
  • Kısa prompt’un 95 girdi token’ı olarak hesaplanması, gizli bir girdinin varlığına işaret ediyor
    • OpenAI tokenizer aynı prompt’u 10 token olarak hesaplıyor
    • Anthropic token hesaplayıcısı Opus 4.6’da 10 token, Opus 4.7’de 30 token, Sonnet 5/Fable 5’te 25 token olarak hesaplıyor
    • K3’e hi gönderildiğinde de 86 token sayıldığı için yaklaşık 85 token’lık gizli bir sistem prompt’u bulunma ihtimali var
    • K3, söz konusu sistem prompt’unun açıklanması talebini reddetti
  • Üretilen SVG’yi analiz eden alternatif metnin kalitesinde görsel yeteneklerin iyi çalıştığı görülüyor
  • K3’te yalnızca tek bir akıl yürütme çabası seviyesi var; ancak diğer modellerde aynı prompt’u birden fazla çaba seviyesiyle çalıştırarak etkisi hızlıca karşılaştırılabiliyor

Pelikan testinin hâlâ gösterdikleri

  • Yeni bir modele prompt göndermek için “Hello World” alıştırması olarak kullanılabilir
  • Basit bir iş için gereken maliyet ve akıl yürütme miktarı kabaca anlaşılabilir
  • Geçerli SVG çıktısı üretip üretmediği ve temel geometri·uzamsal algı incelenebilir
    • Bu yetenek özellikle dizüstünde çalışan küçük modellerde daha önemli
  • Aynı model ailesinin sürümleri arasında hâlâ karşılaştırmaya değer
    • K3’ün pelikanı, Kimi 2.5’e göre belirgin biçimde iyileşmiş
  • Modeli doğrudan kullanmış olma bilgisini paylaşmayı sağlar; Hacker News’te yeni modellerle ilgili yorumlara pelikan sonuçlarını koymak adeta bir gelenek hâline geldi

İlgili okumalar

1 yorum

 
GN⁺ 3 시간 전
Hacker News görüşleri

  • Pelikan benchmark'ı, teknoloji sektöründeki işe alım sorunlarını olduğu gibi gösteriyor. Gerçek işle ilgisi olmamasına rağmen pelikan çizdirip ardından yetkinlik değerlendiren mülakatlardan farksız

    • Pelikan çizme 10x geliştirici 9 yıl deneyimi olmayan birinden beklenecek sözler

  • “Bisiklete binen bir pelikanın SVG'sini üret” isteminin 95 input token olarak sayılmasının nedeni, kullanıcı tanımlı akıl yürütme yoğunluğu ayarlanırken başlangıç token'ından önce bu yoğunluk için bir istem eklenmesi olabilir. DeepSeek-V4 maksimum mod örneğine de bakılabilir: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Ciddi ciddi SWE-bench-adversarial-pelican-gen öneriyorum. SWE-bench'e benzer ama her 5 konuşma ya da araç çağrısından sonra durup rastgele bir hayvan SVG'si üretmesini, sonra işe devam etmesini istiyor; ayrıca araç çıktılarının çeşitli yerlerine pelikan SVG ile ilgili yorumlar da serpiştiriliyor
    Bağlam 800 bin token'a ulaşınca tekrar bir pelikan SVG'si yaptırılır ve pelikan kalitesiyle asıl işin tamamlanma düzeyi ve verimliliği birlikte değerlendirilir. SVG pelikan saldırısı altında da problemi çözebiliyorsa, işte gerçek yetenek budur

    • Codex ile çalıştırılsa muhtemelen yaklaşık 5 dolar tutar; neden kimsenin bunu denemek istemediği üzerine düşünmeye değer

  • Simon'un sonucunda olduğu gibi, bu benchmark'ın asıl kullanım amacı hangi modelin daha iyi olduğunu kesin ilan etmek değil, kalite, maliyet ve hız ilişkisini görmek. Yakın zamanda Opus, Fable ve Kimi'yi kabaca karşılaştırdım; Kimi 5 kat daha ucuzdu ama 2 kat daha yavaştı
    https://9gpyw4uxr2.evvl.io/

    • Ortadaki üç sonuç, istemin istediğinden fazlasını üretmeye yönelik tipik bir Gemini/Google tarzı başarısızlık gibi görünüyor. K2.6 da saf SVG yerine HTML+CSS+SVG kullandığı için sınırda bir başarısızlığa yakın
      Sitenin sağ üstündeki “Expires in 6 days” de tuhaf. Topu topu birkaç KB veri içeren bir sayfanın neden süresinin dolması gerektiğini anlamak zor

  • Bloglarda, forumlarda ve GitHub'da bisiklete binen yüzlerce pelikan varken Simon'un bunların eğitim verisinde olmadığına inanması şaşırtıcı. Bizim şirket blogumuz Simon'ın sitesinden 1.000 kat daha az trafik alıyor ama yazılar 6 ay sonra LLM'ler tarafından biliniyor oluyor

    • Mevcut pelikan çizimleri hâlâ çok kötü. Eğitim verisine girseler bile daha iyi pelikan üretimine yardımcı olmazlar, hatta performansı düşürebilirler
    • Simon da pelikanın eğitim verisinde yer almış olabileceğini defalarca kabul etti ve kamuya açık olmayan başka testleri de var. Sadece pelikanları seviyor
    • Pelikan ve bisiklet ayrı ayrı eğitim verisinde olsa bile bu, bu özel benchmark'ın öğrenildiği anlamına gelmez
    • Bisiklete binen pelikan başlı başına özel bir konu değil. Herhangi bir modele solucanla kızılgerdanın boks maçı gibi herhangi bir kombinasyonu SVG olarak yaptırabilirsiniz ve bunun, model vision modeli olsun olmasın, daha akıllı modellerin daha iyi sonuç vermesiyle güçlü bir korelasyon gösterdiği görülür
      İlk başta bu değerlendirmeyi görünce saçma gelmişti ama eğitim verisinde kesinlikle olmayacak kombinasyonları test ettikten sonra geçerliliğini doğruladım
    • Geçen yılki eğitim verisinin tükendiği yönündeki haber akışını ve bu iddianın ne kadar gülünç olduğunu hatırlatıyor

  • Pelikan benchmark'ına cevabımız MacBook SVG benchmark'ı: https://playcode.io/blog/macbook-svg-benchmark

    • Terra xhigh sonucu gerçekten çok iyi
    • Fable 5'in o kadar uzun süre akıl yürütüp resmi bitirmeden önce çıktı bütçesini tüketmesi komik

  • Her model için pelikanın yalnızca bir kez üretilmesi takılıyor aklıma. Aynı model bile her çalıştırmada farklı sonuç verebildiği için hangi sonucun seçildiği, “bu model daha iyi” kararını etkileyebilir
    Model başına 8 çalıştırma sonucunu yan yana görmek isterim. Birbirine yakın iki modelde, modeller arası fark kadar tekil çalıştırmalar arası sapmanın da büyük olacağını düşünüyorum

    • Eskiden üç kez çalıştırıp en iyi sonucu seçiyordum. Bir gün bunu, aynı model ailesinden bir LLM jüri üyesinin en iyi sonucu seçip bir sonraki tura göndermesiyle otomatikleştirmek istiyorum
      Daha önce bir ELO puan sistemi de kurmuştum: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      Benchmark'ın kendisi biraz eskimiş görünüyor ama sonuç galerisine talep yüksek, bu yüzden yeniden zaman ayırmaya değer

  • Fark kapanıyor. Kimi 3, ABD modellerinin yaklaşık 3 ay gerisinde ve Nisan sonu çıkmış GPT 5.5 seviyesinde bir model gibi görünüyor

  • Çinli laboratuvarların kaçınılmaz olarak çok daha az olan hesaplama kaynağıyla 3 trilyon parametreli modelleri nasıl eğittiğini merak ediyorum. ABD'nin hesaplama üstünlüğü sürerse Çin'in fiziksel olarak sonsuza kadar yetişmesi zor olurdu ama şu ana kadar gayet iyi gidiyorlar

    • Gerçekte anlamlı bir hesaplama kaynağı erişim kısıtı olmayabilir. Çinli şirketler, Malezya gibi ihracat kısıtına tabi olmayan yakın ülkelerdeki GPU'ları kullanabiliyor ve ByteDance de bunu açıkça yaptı: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Tencent'in de Japonya üzerinden erişim sağladığı söyleniyor: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Singapur'dan satın alıp kaçırma yöntemi de var ve yapay zeka odaklı çiplerin tasarım ve üretimi, yüksek performanslı CPU ve GPU'lara kıyasla görece daha kolay olduğundan, Çin'in kendi tasarımlarının sürekli geride kalacağını düşünmek için de neden yok. Sonuçta aynı dökümhaneleri kullanabiliyorlar
    • Gamers Nexus'un Çin'de doğrudan yaptığı iyi bir video var: https://www.youtube.com/watch?v=1H3xQaf7BFI
      İhracat kısıtı kapsamındaki GB202 tabanlı 5090 ve RTX 6000 Pro Blackwell, TSMC'de üretildikten sonra Çin'de paketlenip tamamlandığı için sistem baştan açık veriyor. NVIDIA ve dağıtım ortakları da Singapur gibi ülkelerde pek bir doğrulama yapmadan satış yapıyor; bireysel taşıyıcılar ürünü bizzat içeri soksa bile Çin gümrüğü Çin topraklarında ABD yasalarını uygulamak zorunda değil
    • Huawei Ascend çipleri 4 aydan da önce DeepSeek v4 eğitiminde kullanıldı ve Huawei çekirdekleri diğer Çinli laboratuvarlarla paylaştı. Çin'in kendi DDR5 dökümhaneleri de var
    • Parametre sayısı aynı olsa bile model aynı demek değildir; dolayısıyla bu sayı kaliteyi ya da hesaplama gereksinimini gösteren bir ölçü gibi görünmüyor. İyi model yapmak için yalnızca parametre sayısını artırmaktan fazlası gerekiyor
    • Çin dünyayı kurtarmak için kimsenin bilmediği dev petrol rezervlerini salıvermişti; bu yüzden gizli hesaplama kaynaklarının da bol çıkması şaşırtıcı olmaz

  • Pelikan kalitesi ile genel model kalitesinin birbirinden ayrı hareket etmesi ilginç. Genel yetenekler ön eğitimde oluştuğu için, yüksek kaliteli ön eğitimin daha iyi pelikanlar üreteceğini ve pekiştirmeli öğrenmenin pelikan kalitesine neredeyse hiç etki etmeyeceğini düşünmüştüm
    Ama GLM 5.2'nin GPT 5.6 ve Claude Fable'ın önüne geçmesi bu hipotezle uyuşmuyor. Aklıma gelen tek olasılık, GLM 5.2'nin özellikle SVG üretimi için ayrı bir pekiştirmeli öğrenmeyle güçlendirilmiş olması