Token fiyatları giderek pahalanıyor
(ethanding.substack.com)- LLM token maliyetlerinin her yıl 10 kat düşeceği beklentisinin aksine, AI abonelik hizmetlerinde kârlılık giderek daha da kötüleşiyor
- En yeni LLM modellere yönelik talep her zaman en üst düzey (SOTA, State-of-the-art) modellere yoğunlaştığı için, “eski” modellerdeki fiyat düşüşü fiili maliyet azaltımına dönüşmüyor
- Model performansı arttıkça kullanılan token miktarı geometrik olarak artıyor; bu da birim fiyat düşüşünü telafi etmekle kalmayıp toplam maliyeti daha da yukarı taşıyor
- Sınırsız abonelik planı denemeleri (ör. Claude Code $200/ay) bile ağır kullanıcıların token patlaması nedeniyle sürdürülemez durumda
- Uzun vadede kullanım bazlı ücretlendirme dışında sürdürülebilir bir model yok; ancak startup rekabeti ve tüketici direnci nedeniyle bunun pratikte uygulanması zor
- Sürdürülebilir bir gelir modeline geçilmezse çoğu startup sonunda iflas riskiyle karşı karşıya kalacak
AI abonelik işi, token birim fiyatı düşse de neden zarar büyüyor?
LLM fiyat düşüşü yanılsaması
- Kurucular, "token birim fiyatı 10 kat düşüyor; biraz daha dayanırsak yüksek marjlı yapıya geçeriz" şeklindeki VC oyun kitabına inanarak başlangıçta maliyet seviyesinde ya da zararla abonelik ürünleri işletiyor
- Gerçekte GPT-3.5 gibi eski modellerde token birim fiyatı 10 katın üzerinde düşmüş olsa da, kullanıcıların ve pazarın talebi her zaman en yeni ve en yüksek performanslı (SOTA) modellere kayıyor
- Pratikte ise 18 ay geçmesine rağmen marjlar iyileşmek yerine daha da bozuluyor
- Eski model fiyat indirimlerinin hissedildiği tek durum, bunların "dünün gazetesi" gibi artık pazarın ilgisi dışında kalması
En yeni modellerin fiyatı ve talep yapısı
- GPT-4, Claude 3 Opus gibi en yeni modeller her zaman benzer derecede yüksek fiyatlarla piyasaya çıkıyor; eski modeller ne kadar ucuzlarsa ucuzlasın gerçek kullanım miktarı çok düşük kalıyor
- Kullanıcılar yalnızca "en iyi performansı" istiyor; "ucuz eski model" ise otomobil pazarındaki eski ikinci el araçtan farksız
- AI kullanırken aslında istenen şey en iyi sonuç olduğu için, maliyetten tasarruf etmek adına kullanıcıların gönüllü olarak eski modeli seçtiği durumlar nadir
- Sonuçta pazarda rekabetçi kalmak için her zaman en pahalı en yeni modeli sunmak gerekiyor ve bu da maliyet tabanını yüksek tutuyor
- Tıpkı 90'lı yıllardan kalma ikinci el araçların fiyatı düşse de tüketicinin yine de yeni araba almayı tercih etmesi gibi
Token kullanımındaki patlayıcı artış
- Model performansı yükseldikçe, tek bir işin tükettiği token miktarı geometrik olarak artıyor
- Eskiden 1.000 token ile biten bir iş, artık 100.000 token tüketebiliyor
- Önceden tek cümlelik bir sorgu tek cümlelik bir yanıtla çözülürken, bugün karmaşık araştırma, loop ve orkestrasyon süreçleriyle 10-20 dakika boyunca kesintisiz çalışıp devasa miktarda token harcanıyor
- AI'a daha derin araştırma/analiz yaptırıldıkça, "tek çalıştırmada 20 dakika, günde 24 saat kesintisiz çalışma" gibi senaryolar nedeniyle kullanıcı başına günlük ortalama kullanım hızla artıyor
- Örneğin her gün yalnızca 1 kez, $1 maliyetli bir 'deep research' kullanılsa bile, $20 abonelik ücretiyle bu iş sürdürülebilir olmuyor
- Birim fiyat düşüşü toplam token tüketimindeki artışla dengeleniyor ve $20/ay planıyla günde bir kez yapılan $1'lık işi bile karşılamak imkânsız hale geliyor
Sınırsız planların başarısızlığı
- Anthropic'in Claude Code'u gibi hizmetler $200/ay sınırsız planlar, otomatik token optimizasyonu ve kullanıcının PC'sinden yararlanma gibi çeşitli maliyet azaltma yöntemlerini denedi
- Ancak bazı güçlü kullanıcılar ayda 10 milyar tokene ("War and Peace"in 12.500 kitaplık hacmine) yaklaşarak, otomasyon, tekrar eden işler ve loop'larla token tüketimini patlattı
- "AI kullanımı insan zamanından kopuyor ve API 24 saat çalışarak token patlamasına yol açıyor"
- Mühendislik yeniliklerine rağmen sonunda planlar geri çekildi
- Sonuç: artık sınırsız abonelik modeli mümkün değil; denklem kendi başına işlemiyor
Tüm sektörün karşı karşıya olduğu ikilem
- Abonelik modelinde ısrar edilirse kârlılık daha da kötüleşiyor ve çöküş riski büyüyor
- AI şirketleri çözümün usage-based pricing olduğunu biliyor; ancak abonelik temelli bir rakip çıktığında kullanıcı kaybı riski çok yüksek
- "Mahkûm ikilemi" yapısı nedeniyle herkes ağır kullanıcı sübvansiyonu yarışına sürükleniyor
- Cursor, Replit gibi şirketler de "önce büyüme, kârlılık sonra" yaklaşımıyla ilerliyor; ama sonunda kârlılık sorunu nedeniyle yeniden yapılanma kaçınılmaz görünüyor
Gerçekçi 3 çözüm
- 1. Kullanım bazlı ücretlendirme
- Başından itibaren dürüst bir ekonomik model kurulursa, maliyeti aşmayan bir gelir yapısı tasarlanabilir. Uzun vadede sürdürülebilir olan tek model bu
- Ancak tüketiciler ölçüme dayalı ücretlendirmeyi son derece sevmez; bu yüzden kitlesel başarı elde etmek zor olabilir
- 2. Yüksek geçiş maliyetine dayalı kurumsal pazar stratejisi
- Yüksek geçiş maliyetine sahip kurumsal müşterilere (ör. büyük şirketler, finans kurumları) B2B satış yaparak pazara bir kez girildiğinde iptal neredeyse imkânsız hale gelir ve marjlar yükselir
- System of Record (SOR, CRM/ERP/EHR vb.) alanı bunun tipik başarı örneği (ör. Goldman Sachs için 40 bin mühendise dağıtım)
- 3. Dikey entegrasyonla katma değer yaratma (Vertical Integration)
- Replit örneğinde olduğu gibi, LLM inference tarafı zarar edilen bir "yem ürün" olarak sunulup bunun üzerine kurulan hosting, veritabanı, deployment, monitoring gibi hizmetlerden gelir elde edilebilir
- AI kullanımını artırıp bunu altyapı pazarına bağlayan bir yapı kurmak
- Önümüzdeki dönemde token birim fiyatı düşmeye devam etse bile, kullanıcı beklentileri ve kullanım miktarı da geometrik olarak artacak
- Yalnızca abonelik + büyüme stratejisinde ısrar eden şirketlerin sonunda 'yüksek maliyetli bir cenaze töreni' yaşama riski büyük
Özet
- "Gelecek yıl tokenlar 10 kat daha ucuz olacak" iyimserliği tek başına bir işi ayakta tutmaya yetmiyor
- Kullanıcılar her zaman daha yüksek beklenti ve daha fazla kullanım talep ediyor
- Model ilerlemesi = kullanım patlaması = maliyet artışı formülü artık geçerli; bu yüzden sürdürülebilir AI işi, kullanım bazlı fiyatlandırma, büyük kurumsal sözleşmeler ve dikey entegrasyonla kurulan yeni bir yapıya geçmek zorunda
- İşin sürmesini istiyorsanız 'neocloud' stratejisi gibi yeni yapısal yaklaşımlar gerekli
4 yorum
Önbelleğe almanın zor olması + MCP kullanılarak yapılan otomasyon nedeniyle sınırsız kullanım, gerçekten kelimenin tam anlamıyla sınırsız kullanıma kadar gidebilir. ..Sınırsız veri tarifesi olmayan operatörler gibi günde ~300 kez, günde ~2000 kez vb.. Eskideki SMS’ler gibi bir ücretlendirme modeline doğru gidebilir gibi görünüyor.
İnternet gibi miktarın aslında sınırsız olduğu bir modelde (gerçi kullanım başına ücret uygulanan durumlar da var), hıza sınırlama getiren bir yönteme gidilmesi iyi olabilir diye düşünüyorum. Uygulama tarafında da zaten bugün batch processing yöntemleri olduğu gibi, hesaplama kaynaklarıyla kullanıcıya ulaşan kaynakları ayırmak mümkün. Sonuçta sağlayıcı açısından da öngörülebilirlik sağlanır, kullanıcı da makul bir ücret ve hız garantisi alabilirse bu bir kazan-kazan olmaz mı? Bazı aşırı kullanım durumlarında ise ayrı bir sözleşmeyle özel kaynak tahsis etme yoluna gidilmesi gerekir.
Hacker News görüşü
Makalede alıntılanan yorumlara bakılırsa, tüketiciler kullanım başına ücretlendirmeden (metered pricing) hoşlanmıyor ve sürpriz derecede yüksek faturalarla karşılaşmaktansa sınırsız paketlere fazla ödemeyi tercih ediyor. Ama işin aslı daha karmaşık. Amazon’da maliyeti öngördüğünü sandığın anda birden çok yüksek bir fatura gelmesi sık görülüyor. Bunun nedeni, “aylık X doları aşarsa otomatik kapansın” diye ayarlayabileceğin bir mekanizmanın olmaması. Bu tür bir “sürpriz Net 30” yapısı her zaman öngörülebilir maliyet hissi veriyor ama sonunda beklenmedik ek masraflar geri dönüyor. Buna karşılık kullanım başına ücretlendirme, kullanıcıların kullanım miktarını net biçimde görebildiği ve bütçe aşımını önleyecek üst sınırlar koyabildiği durumda aslında iyi bir yöntem olabilir. Yapay zeka şirketleri açısından yapılması gereken şey, “kullanılan token / toplam token” çubuk grafiği, yanıt başına token tüketimi, limite ulaşmadan önce tahmini kaç yanıt kaldığı gibi bilgiler sunarak kullanıcıların bütçeyi yönetebilmesini sağlamak. Ani faturalardan kesinlikle kaçınmak önemli. Ama şirketler bu token ve dolar bilgisini gizlemeyi tercih ediyor; tıpkı kumar sitelerinin “corporate bucks”ı doğrudan USD karşılığıyla bağlamamasına benzer şekilde.
B2B altyapı hizmetlerinde (AWS vb.) kullanım başına ücretlendirmenin uygun olduğunu düşünüyorum. Şirket büyüdükçe altyapı kullanımı ve ücret de orantılı artıyor, dolayısıyla tahmin edilebilir oluyor; altyapı bir kez kuruldu mu da çok fazla ilgilenmek gerekmiyor. Ama AI gibi iş/araç olarak kullanılan senaryolarda kullanım başına ücretlendirme büyük bir engel. Böyle durumlarda bu model ürün kullanımını baştan bastırıyor ve her kullanımda maliyet/fayda hesabı yapma yorgunluğu yaratıyor. Eğer iş için kullanılıyorsa, yöneticiden sürekli onay almak da gerekebilir. Verimlilik artışı hedefleyen bir araç böyle bir bariyer oluşturmamalı. İnsanların neredeyse hiçbiri 250 kez “bu işlem 3 dolar eder mi?” diye düşünmez. Kullanım başına ücretlendirmeyse, insanlar aracı hiç kullanmaz.
Şirketlerin tokenları dolara çeviren bilgiyi gizlemeye çalışmasından rahatsızım. GitHub’ın Copilot agent denemesini kullanıyorum ve fiyatlandırma gerçekten çok belirsiz. Sürekli “premium request” terimi geçiyor ama panomda gerçek zamanlı kullanım ve limitleri göremiyorum. Arayüzde premium request ile ilgili bölüme tıklayınca dokümantasyona gidiyor ama gerçek limitleri veya ücretlendirme panosunu net biçimde göstermiyor.
Amazon’da (AWS) sorun daha da büyük. AWS’nin “daha ucuz” olma cazibesinin aksine, geçişin anlamlı olması için alternatiften gerçekten daha ucuz olması gerekir. Ama birçok şirket geliştirici zamanını harcayıp altyapıyı değiştirmez. Fırsat maliyeti büyüktür ve riskler (gelir, geliştirme süresi, rekabet vb.) nedeniyle getiri çok yüksek değilse bu, geliştirici zamanının boşa harcanması sayılır. Eğer altyapı yapısı alternatiften fiilen daha pahalı hale geldiyse, geliştirici zamanı zaten harcandığı için o zararı kabullenmekten başka çare kalmaz. Token tabanlı fiyatlandırmada henüz bu geçiş/fırsat maliyeti baskısı o kadar güçlü hissedilmiyor; çünkü eski yönteme dönmek kolay. Ama ileride bunun değişeceğini düşünüyorum.
Amazon’un fiyat yapısı çok muğlak ve karmaşık hissettiriyor. Örneğin veritabanı maliyetinin neden sürekli inip çıktığını anlayamadığın durumlar olabiliyor.
Tanımlı süreçlerde kullanım başına ücretlendirme gerçekten çok faydalı. AWS’de sevdiğim şey, maliyeti gerçek iş sonuçlarıyla hizalayabilmek. Eskiden bu zordu ve kurum içi politik sorunlar da çoktu. Satış temsilcisinin doğrudan yöneticilere gidip ekipman ihtiyacını savunması ve kimsenin istemediği ağ ekipmanlarının da pakete eklenmesi gibi şeyler oluyordu. Ama kullanıcı açısından bu kadar ayrıntılı maliyet yönetimi iyi değil. Çünkü üretkenlikle doğrudan ilgisi olmayan türlü metriklerle kullanıcıların sürekli değerlendirilmesine yol açıyor. 90’larda stajyerken bir şehirlerarası telefon görüşmesi için bile bürokrasiyle uğraşmak zorundaydım. Onay veren kişi 20 dakikalık görüşmenin uygun olup olmadığını tek tek değerlendiriyor, limit aşılırsa maliyeti ben karşılıyordum. Hiç eğlenceli değildi. Son kullanıcıya yönelik AI için doğru yaklaşım sabit ücretli planlar. Üretkenliğim %20 artıyorsa ve ChatGPT Pro’ya ayda $200 ödüyorsam, bunun yıllık değeri $16k eder. Son derece ucuz bir yatırım.
Makaledeki iddialar bana mantıklı gelmiyor. “Yeni model çıkınca talebin %99’u hemen oraya kayar” fikrine katılmak zor. Hatta Sonnet 4, Opus 4’ten daha fazla kullanılıyor; gerçekte en güçlü model yerine daha ucuz ve daha sıradan modelleri kullanan çok sayıda kullanıcı var. Kullanılabilirlik, hız, aşinalık gibi birçok nedenle yalnızca SOTA değil, farklı modeller birlikte kullanılıyor. Model sıralamaları için: https://openrouter.ai/rankings Ayrıca Opus’tan Sonnet’e, yük artınca da Haiku’ya geçişi sanki autoscaling gibi anlatıyor ama bence o davranış model ağırlıklarına gömülü değildir. Genel olarak yazıdaki fiyatlandırma sorunu, bulut barındırma döneminde de gördüğümüz meselelerin yeniden sahnelenmesi gibi duruyor - birçok kullanıcı aylık abonelikle, performans biraz düşük olsa da rahat kullanım istiyor; bazı API kullanıcıları (yoğun kullanıcılar/şirketler) ise kullanım başına ödeme yapıyor ve bu yapı zaten yeterince kârlı. Çoğu AI girişimi de B2C değil, B2B.
“Claude Code başlangıçta ayda $200’a sınırsız veriyordu ama geri aldı” iddiası doğru değil. Planın adı zaten 20x planı ve 5 saatlik oturum sınırı ile aylık 50 oturum sınırı (katı uygulanmasa da) gibi sınırlamalar baştan beri açıktı. Ben de kullanırken neredeyse hiç yetersiz bulmadım; hatta hâlâ limitin yüksek olduğunu düşünüyorum. Dolayısıyla gerçeği söylemek, savunulan argümana hiç zarar vermez.
Gerçekte asıl büyük sorun, şu anda ayrım yapmadan model kullanıyor olmamız; yani her probleme en üst düzey genel modeli yönelterek sivrisineği topla vuruyoruz. Her iş için SOTA model gerekmiyor. İleride kullandığımız hizmetler birden fazla modelin “bundle” edildiği yapılara doğru gidecek ve çok daha verimli kullanım grafikleri göreceğiz.
Henüz hiçbir model, kritik görevlerde tam güvenle emanet edilecek seviyede değil. En güçlü modeller bile bazen tuhaf davranıyor. Benim beynim işleri zaten kendi başına işliyor; ayrıca devretmenin yükünü taşımama gerek kalmıyor. Bu yüzden ancak AI’a bırakmanın “kesin bir kazanç” sağlayacağı durumda gerçekten devrediyorum. Önce kendi iyi yaptığım şeye güvenirim. AI şirketleri en iyi anlarını pazarlıyor ama kullanıcı için önemli metrik, AI’ın “en kötü anı”. SOTA’ya sürekli talep olmasının sebebi de bu. AI, “en kötü anına” göre değerlendirilir — ne kadar iyi olursa olsun tek bir hata ölümcül olabilir; tıpkı bir insanın en kötü hatası yüzünden işten çıkarılabilmesi gibi. Mükemmel laboratuvar performansı önemli değil; gerçek kullanımda tökezlediğinde ne olduğu daha önemli. Yazı bunu iyi yansıtıyor.
En zor görevler hâlâ çözülmüş değil ve düşük doğruluklu yanıtları kabul edebileceğiniz iş sayısı fazla değil. Bazı metin hattı işlerinde uygun olabilir ama kullanıcıya dönük kullanım alanlarının neredeyse tamamı yüksek kalite gerektiriyor.
Birçok kişi bu kısmı gözden kaçırıyor. 7b ve 32b GPU modelleri de birçok görevde gayet yeterli çalışıyor. Üstelik eski donanımlarda da koşabiliyorlar. Şu an hâlâ genel LLM performansının hızla yükseldiği bir hype evresindeyiz; zamanla büyük modellerin performans artışı plato yapacak ve daha gerçekçi tercihler öne çıkacak.
Farklı modelleri denemek çok değerli. Yakın zamanda yaptığım basit bir chatbot sistemi duruma göre 5 farklı modeli farklı şekillerde kullanıyor. Modelleri değiştirip karıştırmak maliyet, kullanıcı deneyimi ve kalite açısından inanılmaz fark yaratıyor.
Eğer Claude Opus’un Sonnet’i yönlendirdiği bir seçenek olsa, bunu neredeyse bütün konuşmalarda kullanırdım. Bunu manuel yapmak zahmetli ve akışı bozucu olduğu için sonunda hep Opus kullanmaya devam ediyorum. Paralel işleme sayesinde giriş maliyetinin düşük olması nedeniyle, prompt büyüse bile bunun büyük bir yük olmayacağını düşünüyorum.
Keşke bir AI şirketi, görevleri daha basit kısımlarda daha “kör” modellere devredebilen bir sistem kursa. Karmaşık iş Opus seviyesinde model gerektirebilir ama onun içinde aslında 3.5 Sonnet’in rahatça halledebileceği tonla iş var. Opus basit işler ile zor kısımları ayırıp kolay olanları birkaç 3.5 Sonnet arasında dağıtabilir. O kadar bariz bir fikir ki eminim herkes bunu zaten yapıyordur diye düşünüyorum.
Claude Code gerçekten Sonnet ve Haiku olmak üzere iki modeli otomatik kullanıyor. Oturum sonunda token, maliyet ve benzeri çeşitli istatistikleri de gösteriyor. Muhtemelen oturum sırasında da bunları görmenin bir yolu vardır.
Örneğin prompt içinde her alt görev için 1 ile 10 arasında bir “önerilen model seviyesi” üretmesini istemek ilginç olabilir.
Son 1-2 yıldır API’ye doğrudan ödeme yapıp, açık kaynak frontend’ler (LibreChat vb.) üzerinden farklı modellere erişerek kullanıyorum. Ara sıra kullanım için bu yöntem bana çok iyi uydu; birkaç ayda bir yaklaşık $10 yüklemek yetiyordu. Kullandığım token miktarı çoğu paket plandan çok daha az olduğu için bunun çok daha ucuz olduğuna karar verdim. Ama Claude Code gibi çeşitli araçları denemeye başlayınca tokenlar gözle görülür biçimde daha hızlı tükenmeye başladı. Dün 15 dakika içinde $5’lık token harcadım. Kod araçlarının, LLM’e basit soru sormaktan çok farklı çalıştığını biliyordum ama farkın bu kadar büyük olacağını düşünmemiştim. Token kullanımının çoğu aslında pek görünür olmadığı için de daha da şaşırtıcı; büyüyen context veya tool orchestration içinde gizleniyor.
Bunun nedeni, Claude Code’un normalden çok daha geniş context ve daha fazla yinelemeli işlem kullanması.
Deepseek API’ye $20 verip neredeyse 1 yıl kullandım (Çin şirketi olması umurumda değil). Yavaş ama bağımsız olarak barındırılan Deepseek modellerine kıyasla kalitesini daha iyi buluyorum (benim deneyimime göre). Agent benzeri şeyler kullanmıyorum.
“Talebin %99’u her zaman frontier modele gidiyor” iddiasına itiraz ediyorum. Gerçek frontier sadece “yetenek” değil, “fiyata göre yetenek” çizgisidir. En üst model %99 pay almıyor; hatta tam tersi. OpenRouter istatistiklerine göre Claude Opus 4’ün payı yaklaşık %1 seviyesinde. En popüler model Sonnet 4 ve abonelerin %18’i onu kullanıyor. Ayrıca daha ucuz Gemini Flash 2.0 ve 2.5 da çok kullanılıyor. Fiyatları da Sonnet 4’ten düşük.
San Francisco’da neden büyük harf ve noktalama işaretleri kullanılmadığını merak ediyorum. Ayrıca Silikon Vadisi insanlarının neden sahte üstel büyümeye bu kadar takıntılı olduğunu da anlamıyorum. Aslında AI ilerlemesinin gerçekten üstel biçimde gerçekleşmesinden çok, birkaç yıl öncesine kıyasla sisteme çok daha fazla kaynak pompalandığı daha açık görünüyor.
Acaba bu tuhaf yazım tarzı, metnin bir LLM tarafından yazılmadığını belli etmek için mi kullanılıyor diye düşünüyorum.
Dilin doğal değişimine ayak uyduramıyor musun? / şaka Bir ihtimal eski usul yaşamaya dönmek gerekebilir.
San Francisco Tenderloin ya da Mission Street taraflarında gerçekten büyük harf ve noktalama kullanmadan dolaşırsan vuruluyor musun? (şaka)
Yazı, “toprak kapma” sürecindeki müzikal sandalyeler oyununu atlıyor. Uber örneğinde olduğu gibi, girişim sermayesi yakıp pazar payını önce kaparsan ve yıllarca zarar etsen bile müşteri algısında yer ettikten sonra, daha ucuz ve yeni rakipler gelse de kolay kolay sarsılmıyorsun. İş böylece istikrarlı biçimde oturuyor ve halka arz sonrasında da sağlam sayılabilecek bir hisse performansı koruyor; tabii olağanüstü olmasa da.
Yazı sanki kimse kullanım başına fiyat ödemiyormuş gibi anlatıyor ama gerçekte API müşterileri, yani neredeyse tüm kurumsal müşteriler, zaten kullanım başına ücret ödüyor.
"San Francisco'da neden büyük harf ve noktalama işaretleri kullanılmadığını merak ediyorum"
İçeriğe girince gerçekten öyleymiş. İlginç olan, bazı cümlelerde nokta kullanılırken bazılarında kullanılmaması; bunun sebebi ne olabilir? Acaba bilen biri var mı? Merak ediyorum 🤔