AI tokenleri veri merkezinde nasıl yolculuk eder?

• 2026’da yapay zeka çıkarımı, toplam yapay zeka bilişiminin yaklaşık üçte ikisine kadar büyüdü; dağıtıma alınmış bir modelin yaşam döngüsü boyunca bilişim maliyetinin %80–90’ını oluşturduğu için token işleme maliyeti ve gecikme, altyapı ekonomisini belirler.
• Tek bir istek; tokenizasyon, API gateway, kimlik doğrulama, yönlendirme, zamanlama, KV cache, GPU·HBM, CUDA kernel’ları, NVLink·switch·NIC·Ethernet üzerinden geçip yanıt olarak dönen 15 aşamalı bir yol izler.
• Girdiyi paralel işleyen prefill, hesaplama miktarı ve ilk token gecikmesiyle; tokenleri tek tek üreten decode ise bellek bant genişliği, üretim hızı ve maliyetle sınırlıdır. Bu yüzden batching, quantization ve speculative decoding farklı darboğazları hedefler.
• Continuous batching ve PagedAttention, GPU kullanım oranını ve eşzamanlı işlem kapasitesini artırır; prompt caching tekrarlanan girdi maliyetini en fazla %90, uzun prompt’larda gecikmeyi yaklaşık %85 azaltır; prefill ve decode’un ayrılması ise aşama bazlı GPU havuzları işletmeyi mümkün kılar.
• Sabit bir kalite sunmanın maliyeti yıllık medyan olarak yaklaşık 200 kat düştü, ancak işlem hacmi 7 kat arttı; uzun vadeli değer ise HBM bant genişliği, NVLink ağı, optik bileşenler ve güç gibi fiziksel darboğazlar ile verimliliği müşteri bağlılığına dönüştüren çıkarım platformlarında yoğunlaşır.

---

Çıkarım neden yapay zeka ekonomisinin merkezine yerleşti?

• Chatbot’lar, kodlama ajanları, arama özetleri ve görsel altyazıları; hepsi eğitilmiş modeli ileri yayılımla çalıştırıp bir sonraki tokeni tekrar tekrar tahmin eden token üretim işleridir; bu sürece çıkarım denir.
• Google, Mayıs 2026’da kendi hizmetleri genelinde ayda 3,2 katrilyon token işlediğini açıkladı.
  • Yıllığa çevrildiğinde bu yaklaşık 38,4 katrilyon tokene karşılık gelir.
  • Bir yıl önceki aylık 480 trilyona göre 7 kat artmıştır; 2024 başında ise ayda 9,7 trilyondu.
  • Bu sayı, eğitim değil kullanıcı isteklerine yanıt verme maliyetine karşılık gelir.
• Çıkarımın yapay zeka bilişimindeki payı 2023’te yaklaşık üçte birken, 2025’te yarıya, 2026’da ise yaklaşık üçte ikiye yükseldi.
• Dağıtıma alınmış modellerde çıkarım, her istekte tekrarlanan satışların maliyetidir; sektörün genel kabul gören kuralına göre yaşam döngüsü bilişim maliyetinin %80–90’ını oluşturur.
• Dört büyük hyperscaler’ın 2026 için açıkladığı sermaye harcaması yaklaşık 725 milyar dolar olup önceki yıla göre %77 artmıştır.
  • Bunun %60’tan fazlası çiplere değil güç, soğutma ve binalara ayrılır.
  • Yalnızca çıkarıma özel silikon pazarının 2026’da 50 milyar doları aşması bekleniyor.
• Çıkarım talebini büyüten iki değişim var.
  • Çıkarım zamanı ölçekleme ve ajan sistemleri, sorgu başına 10–100 kat daha fazla token tüketir.
  • Ajan iş akışları; yeniden deneme, araç çağrıları ve bağlamın yeniden yüklenmesi nedeniyle tekil isteklere kıyasla görev başına 5–25 kat daha pahalıdır.
• Sabit bir kalite düzeyi sunmanın maliyeti 2024 başından bu yana yıllık medyan olarak yaklaşık 200 kat düştü; ancak ucuzlayan tokenlerin daha fazla işi mümkün kılıp toplam kullanımı artırdığı Jevons paradoksu ortaya çıktı.
• Batching, paging, quantization, speculative decoding, ayrık serving ve network fabric; bunların tamamı hedef gecikme süresinde token başına maliyeti düşürmeye yönelik teknolojilerdir.

1–4. aşamalar: Metni batch’lenebilir işe dönüştürme

• 1. aşama: Kullanıcı ve tokenizasyon

  • İstemci metni HTTPS ile gönderir, ancak model metni değil tam sayı ID’lerini girdi olarak alır.
  • Byte düzeyinde BPE tabanlı tokenizer, dizgeyi alt kelime tokenlerine böler ve yaklaşık 100 bin–200 bin öğelik sözlükte her tokeni bir ID ile eşleştirir.
  • Örnekteki 12.000 tokenlik RFP ve soru, 12.022 tam sayı ID’sinden oluşan düz bir diziye dönüşür.
  • Tokenizasyon CPU’da deterministik olarak yürütülür ve maliyeti de yok denecek kadar azdır; ancak girdi ve çıktı token sayıları fatura tutarını belirler.
  • 2026 frontier modellerindeki 200 bin–1 milyon tokenlik context window, tek seferde girilebilecek belge boyutunun üst sınırıdır.

• 2. aşama: API gateway

  • API gateway, TLS’i sonlandırır ve isteği ayrıştırdıktan sonra şema doğrulama, API sürüm yönetimi, kabaca rate limiting, trace ID atama ve ilk kullanım kaydını yapar.
  • Envoy veya NGINX sınıfı proxy’ler ve web application firewall ile saniyede milyonlarca isteği işler; model mantığını çalıştırmaz.
  • Gecikme bütçesi 1 milisaniyenin altındadır; biçim hatası, kota aşımı veya saldırgan isteklere karşılık gelen trafiğin yaklaşık %5’ini pahalı kaynaklara ulaşmadan reddeder.

• 3. aşama: Kimlik doğrulama ve ücretlendirme kademesi

  • API anahtarı veya OAuth tokeni bir organizasyona bağlanarak rate limit kademesi ve harcama sınırı kontrol edilir; uygulanacak token başına fiyat belirlenir.
  • Cache’lenmiş girdi indirimi, öncelikli işlem yolu ve ucuz toplu işleme fiyatına uygunluk da bu aşamada belirlenir.
  • Organizasyon bazlı veri yalıtımı ve kötüye kullanımı önleme sınırları kurularak anonim byte’lar ölçülen, ücretlendirilen ve yalıtılan iş birimlerine dönüştürülür.

• 4. aşama: Yük dengeleme

  • Genel yük dengeleyici, sağlık kontrolleri ve gerçek zamanlı yük sinyallerini kullanarak istekleri aynı modelin replikalarına dağıtır.
  • LLM’lerde basit round-robin, aynı sistem prompt’una veya belge önekine sahip istekleri farklı replikalara göndererek cache yeniden kullanımı fırsatını kaçırır.
  • Modern yapay zeka yük dengelemesi, aynı öneke ait KV cache’i bulunan replikayı seçen cache-aware bir yaklaşıma evrilir; bir sonraki aşamadaki çıkarım router’ı ile rolü örtüşür.
  • Tüm donanım doygunluğa ulaştığında isteğin bekletileceğine mi yoksa 429 döndürüleceğine de bu aşamada karar verilir.

5–6. aşamalar: Çalıştırma konumu ve batch’i belirleme

• 5. aşama: Çıkarım router’ı

  • Çıkarım router’ı birkaç milisaniye içinde model·silikon·replika seçimini yapar.
  • Frontier 70B, distile edilmiş 8B, akıl yürütme modeli, taslak·hedef model çifti arasından hizmet seviyesi hedefini karşılayan en ekonomik yapılandırmayı seçer.
  • 8B modelin karşılayabileceği bir isteği 70B ile işlemek, marjı gereksiz yere tüketir.
  • Hesaplama ağırlıklı prefill için FLOPS, bellek ağırlıklı decode için HBM bant genişliği önemlidir; bu nedenle tek bir istek içinde bile uygun GPU değişebilir.
  • Aynı önek KV cache’ine sahip instance’a göndermek, 12.000 tokenlik prefill’i neredeyse ücretsiz bir cache hit’e dönüştürebilir.
  • Compiler ve auto-tuner’lar, model·girdi biçimi·çipe uygun GPU kernel’larını önceden derleyip ayarladıktan sonra runtime’da en ucuz yürütme planını seçer.
  • Together AI, Fireworks, Baseten ve Modular; bu katmanda kernel·çip·precision seçimini ürünleştirir ve kendi çıkarım altyapılarıyla gelir elde eder.

• 6. aşama: Scheduler ve continuous batching

  • Batch boyutu 1 olduğunda H100, hesaplamadan çok belleğe bağlı kaldığı için streaming multiprocessor kullanım oranı yaklaşık %30–40 seviyesinde kalır.
  • Scheduler, continuous batching ile her ileri yayılımda yeni istekler ekler ve tamamlanan dizileri çıkarır.
  • Sabit bir istek grubunun bitmesini beklemeden GPU’yu sürekli dolu tutabilir.
  • vLLM bu yöntemle önceki serving sistemlerine göre 2–4 kat daha yüksek işlem hacmi sağlar ve aynı H100 üzerinde basit bir PyTorch döngüsüne kıyasla 3–5 kat daha fazla trafik işler.

7~8. Adımlar: KV önbelleği ve GPU bellek yönetimi

• 7. Adım: KV önbelleği

  • Her attention katmanında her token için Key ve Value vektörleri oluşturulur; bir sonraki token, önceki tüm tokenların K/V’lerine başvurur
  • Bunları her seferinde yeniden hesaplamak uzun bağlamlarda O(n²) maliyet doğuracağından, prefill 12.022 konumun K/V’sini bir kez hesaplayıp KV önbelleğinde saklar
  • Sonraki decode aşaması yeni tokenın tek bir K/V’sini ekler ve mevcut önbelleği okur
  • KV önbelleği eşzamanlı sequence sayısına ve uzunluğuna göre büyür; serving sırasında GPU belleğini en büyük ve en dinamik biçimde tüketen yapıdır

• PagedAttention ve parçalanmayı önleme

  • Sequence uzunluğu öngörülmesi zor olduğundan, ardışık bellek ayırma belleğin %60~80’inin kullanılamamasına yol açabilir
  • PagedAttention / vLLM, işletim sisteminin sanal belleği gibi KV önbelleğini sabit boyutlu sayfalara böler
  • Gerektiği kadar fiziksel blok ayırıp bunları sayfa tablosuyla bağladığı için ardışık alan gerekmez
  • Tamamlanan sequence’lerin sayfaları hemen iade edilir
  • Birden çok kullanıcının sequence’leri tek bir GPU’yu güvenli ve verimli biçimde paylaşabilir
  • Bu bellek yönetimi yöntemi, vLLM’in işlem hacminde 2~4 kat artışı destekler

• Prompt ve önek önbellekleme

  • Aynı sistem promptunu, few-shot girişini veya belge önekini tekrarlayan istekler, bir kez hesaplanan KV önbelleğini yeniden kullanabilir
  • Anthropic, önbellek okumayı normal giriş fiyatının 0,1 katı olan 1 milyon token başına 0,30 dolar olarak sunar; normal giriş 3 dolardır
  • OpenAI GPT-5.x de önbelleğe alınmış giriş için 0,50 dolar, normal giriş için 5 dolar fiyatıyla her ikisinde de %90 indirim uygular
  • Uzun promptlarda gecikme de yaklaşık %85 azalır; örnek RFP’nin takip sorularında 12.022 tokenlık prefill’in tekrarlanması gerekmez

• 8. Adım: GPU belleğinin üç bileşeni

  • GPU paket belleğinde sabit model ağırlıkları, eşzamanlı isteklere ve uzunluğa göre artan KV önbelleği, geçici aktivasyonlar ve çalışma alanı birlikte yer alır
  • Ağırlıklar yüklendikten sonra kalan alan KV önbelleği bütçesi olur; bu yüzden çoğu durumda eşzamanlı kullanıcı sayısını hesaplama miktarından çok bellek sınırlar
  • 70B model FP16’da yaklaşık 140 GB olduğundan iki adet 80 GB H100 gerekir; FP8’de ise yaklaşık 70 GB’a düşerek tek GPU’da KV önbelleği için de alan bırakabilir
  • Kuantizasyonla ağırlıklardan tasarruf edilen bellek, doğrudan daha fazla eşzamanlı kullanıcı anlamına gelir

9~10. Adımlar: HBM darboğazı ve GPU kernel optimizasyonu

• 9. Adım: Prefill ve decode’un farklı darboğazları

  • Prefill, 12.022 giriş tokenını paralel işleyen büyük ölçekli matris çarpımlarıyla tensor core’ları doyurur; hesaplama miktarına ve ilk token süresine (TTFT) bağlıdır
  • Decode, her bir sonraki tokenı üretirken tüm model ağırlıklarını ve büyüyen KV önbelleğini HBM’den okumak zorundadır
  • Batch boyutu 1’de decode’un aritmetik yoğunluğu bayt başına yaklaşık 1 FLOP’tur; bu, roofline sınırı olan yaklaşık 410~590 FLOP/byte’ın çok altındadır
  • Tensor core’lar hesaplamadan çok belleği bekler hale gelir ve HBM bant genişliği üretim hızının ve maliyetin üst sınırını belirler

• Hassasiyeti düşürme

  • Hassasiyet FP16’dan FP8’e, FP4’e düşürüldüğünde token başına okunması gereken ağırlık baytı azalır ve bellek merkezli decode işlem hacmi artar
  • NVIDIA NVFP4, Blackwell 5. nesil tensor core’lar için 4 bit kayan nokta biçimidir
  • FP8’e kıyasla yaklaşık 2~3 kat daha yüksek aritmetik işlem hacmi ve yaklaşık 1,8 kat bellek tasarrufu sağlar
  • Referans doğrulukla farkı yaklaşık %1 içinde tutar
  • Hopper’a kıyasla uçtan uca çıkarımı en fazla 5 kat hızlandırmaya katkıda bulunur

• 10. Adım: CUDA kernel’ları ve fusion

  • GPU’daki matematik işlemleri, binlerce çekirdekte çalışan küçük programlar olan kernel’larla yürütülür
  • Transformer işlemlerini yüzlerce ayrı kernel olarak çalıştırmak, her kernel’ın verileri HBM’den okuyup sonucu yeniden yazmasına yol açtığı için bant genişliği merkezli işlerde büyük yük oluşturur
  • Kernel fusion, birden çok işlemi tek işlemde birleştirerek ara verileri çip üzerindeki SRAM’de tutar ve HBM erişimini azaltır
  • FlashAttention, tile tabanlı attention ve online softmax kullanarak sequence uzunluğuna bağlı HBM okuma/yazma miktarını karesel ölçekten doğrusal ölçeğe indirir ve 2~4 kat hızlandırır
  • FlashAttention-3, Hopper’ın asenkron motorlarından ve FP8’den yararlanarak H100’de 840 TFLOPS’a, maksimum performansın yaklaşık %85’ine ulaşır

• Spekülatif decode

  • Decode’da tek bir token üretirken bile tüm ağırlıklar okunduğundan, birden fazla aday tokenı paralel doğrulamanın ek maliyeti görece küçüktür
  • Küçük bir taslak model sonraki K tokenı önerir; büyük hedef model bunları tek bir paralel çalıştırmada doğrulayarak en uzun doğru öneki benimser
  • Çıktı matematiksel olarak normal decode ile aynıdır, hız ise 2~4 kat artar
  • EAGLE-3 gibi yöntemler taslak tokenların %75’inden fazlasını kabul eder

11~14. adımlar: Modelin içine giren ağ

• 11. adım: NVLink ölçek büyütme bağlantı ağı

  • Tek bir GPU’ya sığmayan trilyon ölçekli parametre modelleri ve MoE modelleri birden çok GPU’ya bölündüğünden, tüm katmanlarda ve tüm tokenlerde GPU’lar arası iletişim gerçekleşir
  • Ağ, decode döngüsünün dışındaki yardımcı bir unsur değil, decode döngüsünün içinde çalışır
  • NVLink 5, GPU başına 1,8 TB/s sunar ve PCIe Gen5 bağlantısının yaklaşık 14 katıdır
  • GB200 NVL72, 72 Blackwell GPU ve 36 Grace CPU’yu tek bir NVLink alanında birbirine bağlar
  • Toplam bant genişliği 130 TB/s, birleşik bellek 13,4 TB’dir
  • Güç tüketimi yaklaşık 120 kW’tır ve trilyon ölçekli parametre modellerinde H100 kümelerine göre 30 kata kadar daha yüksek çıkarım işleme kapasitesi sunar

• Paralelleştirmenin oluşturduğu iletişim miktarı

  • Tensor paralelleştirme, her katmandaki matris çarpımını birden çok GPU’ya böler; ardından her token için kısmi sonuçların birkaç kez all-reduce ile birleştirilmesi gerekir
  • MoE, tokenleri birden çok GPU’ya dağılmış uzmanlara gönderdiği için all-to-all iletişim çoğu zaman başlıca darboğaz olur
  • DeepSeek çalışma ortamı, her düğümde 8 adet 400 Gbps NIC kullanır; DeepEP ile uzmanlar arası iletişimi ve hesaplamayı örtüştürerek GPU duraklamalarını azaltır

• 12. adım: Switch ve tıkanıklık kontrolü

  • Ölçek büyütme alanındaki NVSwitch, 144 NVLink portu ve 14,4 TB/s bloklamasız anahtarlama sunarak 72 GPU’nun aynı anda en yüksek hızda iletişim kurmasını sağlar
  • Rafları aşan ölçek büyütme ağlarında NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet ve 102,4 Tbps Broadcom Tomahawk 6 gibi switch’ler kullanılır
  • Yapay zeka ağları, aynı numaralı GPU’ları aynı rail switch’e bağlayan rail optimizasyonlu topoloji ile kolektif iletişimdeki hop sayısını azaltır
  • SHARP gibi fabric içi işlemler indirgemeyi switch üzerinde gerçekleştirir
  • Binlerce GPU bir adımı aynı anda bitirdiğinde senkronize incast oluşur; tek bir bağlantıdaki tıkanıklık bile tüm kolektif iletişimi durdurabildiği için uyarlamalı yönlendirme zorunludur

• 13. adım: NIC ve DPU

  • Raflar arasında hareket eden paketler, NVIDIA BlueField gibi SmartNIC veya DPU’lardan geçer
  • RoCE veya InfiniBand verbs, CPU’dan geçmeden uzak GPU’nun başka bir GPU belleğini doğrudan okumasını sağlar
  • Bağlantı hızı şu anda 400 Gb/s’dir ve 800 Gb/s standartlaşıyor
  • DPU; tıkanıklık kontrolü, şifreleme, depolama sanallaştırması ve çok kiracılı izolasyonu ana CPU yerine işler
  • Rail optimizasyonlu kümelerde her GPU için özel bir NIC de bulunabilir; DeepSeek, 8 GPU’yu 8 adet 400 Gb/s NIC ile eşleştirir

• 14. adım: Ethernet ve optik bileşenler

  • InfiniBand yaklaşık 1~2 µs gecikme ve kayıpsız fabric sunduğu için yapay zeka kümelerinde geleneksel tercih oldu; RoCEv2 Ethernet ise yaklaşık 5~10 µs ile ikinci seçenek olarak görüldü
  • Ultra Ethernet Consortium, 2025 Haziranında yapay zeka için Ethernet yığınını yeniden yapılandıran UEC 1.0’ı duyurdu
  • Dell’Oro, yapay zeka arka uç ağlarında Ethernet’in 2027’ye kadar InfiniBand’i geçeceğini öngörüyor
  • Çıkarım maliyete duyarlıdır ve çok kiracılı/kurumsal ortamlara daha yakındır; bu yüzden Ethernet’in fiyat yapısı ve açık ekosistemi önemlidir

• Optik bileşenlerin maliyeti ve gücü

  • Optik transceiver’lar ağ maliyetinin yaklaşık %60’ını, ağ gücünün yaklaşık %45’ini oluşturur
  • Ağ, toplam küme maliyetinin yaklaşık %15~18’i olduğundan, yalnızca optik bileşenler toplam maliyetin yaklaşık %10’una karşılık gelir
  • Bir switch’teki 800G pluggable modüller toplamda 500 W’ın üzerinde tüketim yaparak switching ASIC’inden daha fazla güç kullanabilir
  • Yapay zeka optik transceiver pazarının 2025’te yaklaşık 16,5 milyar dolardan 2026’da yaklaşık 26 milyar dolara çıkarak %57 büyümesi bekleniyor
  • Ortak paketli optik (CPO), optik donanımı switch paketine taşıyarak 1.6T bağlantı gücünü yaklaşık 30 W’tan 9 W’a düşürür
  • NVIDIA, 2026’nın ikinci yarısında piyasaya sürülmesi planlanan fotonik switch’inde 5 kat güç verimliliği ve 10 kat dayanıklılık sunuyor
  • Tek bir GPU’dan daha büyük modellerde, NVLink ölçek büyütme ile Ethernet ölçek büyütme arasındaki yaklaşık 20~40 kat bant genişliği farkını yönetmek gerekir

15. adım: Yanıt akışı ve hesap kapatma

• Son token üretildiğinde detokenizasyon, tamsayı ID’lerini tekrar metne dönüştürür
• Yanıt; NIC, switch, yük dengeleyici ve gateway üzerinden geriye doğru ilerler ve genellikle server-sent events (SSE) ile token bazında stream edilir
• Kullanıcı, yanıtın tamamı bitmeden yaklaşık 0,3 saniye sonra okumaya başlayabilir; bu yüzden TTFT algılanan hızı büyük ölçüde belirler
• Son olarak normal veya önbelleğe alınmış giriş tokenleri ile daha pahalı çıkış tokenleri, kimlik doğrulama aşamasında belirlenen kademeye göre hesaplanır ve faturalama kapatılır

Ayrıştırılmış serving adlı çıkarım işletim sistemi

• Batch, KV paging, prefill-decode ayrımı, donanım seçimi ve kolektif iletişimin tamamı; bellek ve ağ katmanlarında heterojen işleri zamanlayarak pahalı silikonun kullanım oranını artırma problemidir
• 2026’daki ayrıştırılmış serving (disaggregated serving), hesaplama ağırlıklı prefill ile bant genişliği ağırlıklı decode’u ayrı GPU havuzlarına böler
• Her havuz bağımsız olarak ölçeklenir ve ayarlanır; iki havuz arasında KV cache stream edilir
• NVIDIA Dynamo, vLLM, SGLang, llm-d ve Mooncake bu yapıyı benimsiyor

Derleyici şirketleri neden çıkarım bulutuna dönüştü?

• Derleyici, kernel ve otomatik ayarlayıcı şirketleri teknolojiyi lisanslamak yerine kendi altyapılarında çalıştırıp token satarak verimlilik farkını brüt kâra dönüştürür
• Kernel, batch, quantization ve speculative decoding’de 2 kat iyileşme sağlanırsa GPU başına satılabilir token sayısı da 2 kat artar
• Model, giriş biçimi ve çip kombinasyonuna göre en düşük maliyetli kernel’i seçen otomatik ayarlayıcı, büyük ölçekli GPU ekipmanından doğrudan gelir üretir
• Baseten’in yıllıklandırılmış geliri 2025 Aralıkta yaklaşık 200 milyon dolardan 2026 Martta yaklaşık 600 milyon dolara çıkarak yıllık bazda yaklaşık %1.900 büyüdü
  • Şirket, 11 milyar~13 milyar dolar değerlemeyle 1,5 milyar dolar yatırım aldı
  • Değerleme, 5 ay önceki 5 milyar dolardan yükseldi
• Qualcomm’un Modular’ı yaklaşık 3,9 milyar dolara satın alması, çip şirketlerinin donanım bağımsız derleyicilerle NVIDIA’ya karşılık verme çabasına bir örnektir

Çıkarım sağlayıcısı seçme kriterleri

• Gecikme, maliyet, güvenilirlik

  • Gecikme; yanıtın başlamasını belirleyen TTFT ve yanıtın tamamlanma hızını belirleyen tokenlar arası gecikme olarak ayrı ayrı değerlendirilmelidir
  • Medyandan çok, kullanıcının gerçekten yaşadığı duraklamaları yansıtan p99 kuyruk gecikmesi önemlidir
  • Genel GPU çıkarımında ilk token yaklaşık 400~600 ms sürer
  • Groq ve Cerebras, Llama-70B sınıfı modellerde 100~150 ms’nin altında TTFT ve saniyede 1.600~2.100’den fazla çıktı hızı sunar; bu, genel GPU yığınının yaklaşık 4~6 katıdır
  • Maliyet, yayımlanan tekil fiyatla değil; giriş·çıkış oranı, cache isabet oranı ve toplu işleme olanağını yansıtan karma maliyet olarak hesaplanmalıdır
  • Çıktı, girdiden yaklaşık 4~5 kat daha pahalıdır ve toplam maliyetin ana kısmını oluşturur
  • Prompt caching giriş maliyetini %50~90, toplu işleme kademesi ise çoğunlukla yaklaşık %50 düşürür
  • 2026 ortası fiyatları, DeepInfra veya Groq gibi maliyet açısından optimize edilmiş açık model endpoint’lerinde 1 milyon token başına yaklaşık 0,04~0,20 dolardan, frontier modellerde birkaç dolara kadar çift haneli çarpanlarla farklılık gösterir
  • Groq’un örnek fiyatı giriş için 0,15 dolar, çıkış için 0,60 dolardır
  • Güvenilirlik, basit çalışma süresi SLA’sının ötesinde işlevsel kullanılabilirliği de ölçmelidir
  • Azure OpenAI, token üretimi için %99,9 SLA sağlar
  • Şirketler, çağrıların %99,99’unda TTFT’nin 200 ms’nin altında olması gibi gecikme SLA’ları da talep eder
  • Ret oranındaki ani artışlar, değerlendirme sonuçlarını kötüleştiren otomatik model sürümü değişiklikleri ve yük altında kota kısıtlamaları, resmi çalışma süresine uyulsa bile ürünü bozabilir
  • Model sürümü sabitlenmeli, kapasite müzakere edilmeli ve işlevsel kullanılabilirlik doğrudan izlenmelidir

• Üretime uygunluğu belirleyen yedi kriter

  • İşlem hacmi ve istek limitleri: Dakika başına token sınırları ve anlık kapasite payı, ajanların paralel işlerini ve ölçeklenme düzeyini sınırlar
  • Güvenlik ve uyumluluk: SOC 2 Type II, HIPAA, ISO 27001 ve GDPR, regülasyonlu sektörlerin temel koşullarıdır ve sonradan eklenmeleri zordur
  • Veri yerelliği ve özel dağıtım: Saklamama garantisi, VPC·BYOC ve on-premise desteği, kurumsal satın alma onayını belirler
  • Determinizm ve sürüm kontrolü: Sabit seed ve sabit checkpoint, otomatik değişikliklerin değerlendirme sonuçlarında drift yaratmasını engeller
  • Model kapsamı ve güncellik: Çeşitli modeller, yeni açık ağırlıkların çıktığı gün desteklenmesi, fine-tuning ve LoRA barındırma, en yeni modellerin benimsenme hızını belirler
  • Dağıtım esnekliği: Serverless, özel altyapı ve self-hosting seçenekleri, maliyet ile kontrol düzeyi arasındaki dengeyi belirler
  • Taşınabilirlik: OpenAI uyumlu API ve temiz çoklu sağlayıcı yönlendirmesi; arızalara, fiyat değişimlerine ve model değişikliklerine karşı yanıt araçları sağlar

Değerin biriktiği fiziksel darboğazlar

• HBM bant genişliği decode üst sınırını belirler, NVLink ölçek büyütme domain’leri tekel niteliği taşır; optik bileşenler ve güç kıt girdilere dönüşür
• 725 milyar dolarlık sermaye harcamasının %60’tan fazlası güç ve binalara harcandığından, uzun vadeli nihai metrik watt başına token sayısıdır
• Ağ pazarı iki yöne ayrılır
  • Ölçek büyütme bağlantı ağları kapalı ve savunulabilir bir alan olarak kalır
  • Rack dışındaki ölçek büyütme ağları Ethernet ve UEC etrafında açılır ve genelleşir
  • Farklılaşma alanı, genel anahtarlamadan ziyade NVLink domain’i, optik·CPO ve tıkanıklık kontrolü fikri mülkiyetidir
• Çıkarım yazılımının marjı; verimlilik farkı, kullanım oranı ve operasyon ölçeğinin çarpımıyla belirlenir. Performansı dağıtım gücüne ve geçiş maliyetine dönüştüren şirketler, fiyat düşüşleri karşısında savunma gücüne sahip olabilir
• Yalnızca ham hızı rekabet avantajı olarak öne çıkaran işlerde, derleyici katmanı ve NVIDIA’nın ücretsiz araçları aynı performansı genelleştirebilir
• Token ekonomisinin ölçek büyütmesi yüksek marjları otomatik olarak garanti etmez; farkı belirleyen, bellek·bağlantı ağı·optik·güç darboğazlarını ve verimliliği müşteri bağlılığına dönüştüren platformlardır