GLM 5.2 ve Yaklaşan Yapay Zeka Çıkarım Marjı Çöküşü

 (martinalderson.com)
1 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • GLM 5.2, açık ağırlıklı (open weights) modellerin Opus ve GPT düzeyindeki ajan işlerine yaklaşarak kapalı frontier modellerin yüksek çıkarım marjlarını baskılayabileceğini gösteriyor
  • Yapay zeka maliyetlerinde asıl mesele, bir kez yapılan eğitim maliyetinden çok talebe göre artan çıkarım maliyeti; $25/MTok seviyesindeki API fiyatlarının yüksek brüt marj içeriyor olması muhtemel
  • Kalite Opus’tan ayırt edilmesi zor bir düzeyde olsa da, çok “düşünme” eğilimi nedeniyle hız ve token kullanımı artıyor; vision desteğinin olmaması ve zayıf web araması da zayıf noktalar olarak kalıyor
  • Z.ai ve Fireworks’ün OpenAI ve Anthropic uyumlu endpoint’leri sayesinde Claude Code ve Codex’te yalnızca base URL ve API key değiştirerek deneme yapılabiliyor
  • GLM 5.2 fiyatı yaklaşık $4.40/MTok; Opus perakende fiyatının %20’sinden az, GPT5.5’in ise yaklaşık %15’i düzeyinde ve servis stack’i optimizasyonu ile AMD kullanımı sayesinde daha da düşebilir

Maliyet yapısı: Marjı eğitim maliyetinden çok çıkarım maliyeti belirliyor

  • DeepSeek R1 döneminde piyasa, V3 modelinin eğitim maliyetinin 6 milyon doların altında olduğuna dair haberlere tepki verip model eğitimi için büyük ölçekli altyapı yatırımlarının sona erdiği yorumunu yaptı; ancak bu, yapay zeka maliyet yapısını yanlış okumaya yakın bir örnekti
  • Eğitim maliyeti büyük sermaye gerektirir, ancak temelde peşin sabit maliyet niteliği ağır basar
    • Frontier laboratuvarları rekabeti sürdürebilmek için sürekli yeni modeller eğittiğinden bu tamamen tek seferlik bir maliyet değildir
    • Yine de müşteri kullanım miktarıyla orantılı olarak artan çıkarım maliyetinden farklı bir yapıya sahiptir
  • Çıkarım maliyeti taleple birlikte artar ve gerçek marjinal maliyeti oluşturur
  • Anthropic ve OpenAI çıkarım için $25/MTok ücret aldığında, hesaplamalar bunun bilgi işlem maliyetine kıyasla yaklaşık %90 brüt marj anlamına gelebileceğini gösteriyor
    • OpenAI’ın sızan finansal verileri, gelir bazında yaklaşık %60 brüt marja işaret ediyor; ancak bunun destek, ödeme işleme ve diğer hizmet maliyetlerini içeriyor olması muhtemel
  • Frontier yapay zeka laboratuvarlarının iş modeli, pahalı insan kaynağı ve bilgi işlemle modeli eğitip ardından bu maliyeti yüksek kârlı, büyük hacimli çıkarım üzerinden amorti etmeye dayanıyor

GLM 5.2’nin kalitesi ve kullanım deneyimi

  • Z.ai’nin GLM 5.2 modeli, Opus ve GPT’ye karşı konumlanan ilk gerçek açık ağırlıklı rakip model olarak görülebilir
    • Yazının kaleme alındığı sıradaki en yeni GPT, GPT 5.5 olarak anılıyor
    • Gelecekteki modellerin bu seviyeyi aşabileceğine dair bir not da düşülüyor
  • Gerçek kullanımda kalite, günlük olarak kullanılan Opus’tan ayırt edilmesi zor olacak kadar yüksekti
  • En büyük dezavantaj hissedilen yavaşlık
    • Arka planda PR incelemesi gibi zamana duyarlılığı düşük, etkileşimsiz ajan işlerinde büyük bir sorun değil
    • Etkileşimli kullanımda ise dikkati korumak için biraz yavaş kalıyor
    • Yavaşlık, servis altyapısının kendisinden çok modelin fazla “düşünmesinden” kaynaklanıyor
    • Fireworks’ün GLM 5.2’si tokens/sec ölçütüne göre hızlı şekilde yayınlanmış olsa da, gerçek hızda bir miktar dalgalanma vardı
  • Daha çok düşünme özelliği nedeniyle token kullanımı artıyor ve maliyet verimliliği kısmen düşüyor

Vision ve web aramasındaki zayıflıklar

  • GLM 5.2’de vision desteği yok
    • Opus 4.7’nin yüksek çözünürlüklü vision özelliklerinden sonra görsel tabanlı PDF’leri, ekran görüntülerini ve tasarım dosyalarını okuma kullanımı arttığı için bu eksiklik belirgin şekilde hissediliyor
    • Frontier laboratuvarlarına kıyasla önemli bir zayıflık olarak kalıyor
  • Web arama işlevinin olmaması veya düşük kalitesi de ajan işlerini kısıtlıyor
    • Neredeyse her ajan oturumu, öğeleri araştırmak için çok sayıda web araması yapıyor
    • Z.ai web araması için alternatif bir MCP sunuyor, ancak yavaştı ve kalitesi düşüktü
    • Fireworks web arama özelliği sunmuyor
  • Geçici bir çözüm olarak ajana ddgr gibi CLI tabanlı web aramasını kullanması söylenebilir
  • İyi bir üçüncü taraf web arama API’si, açık ağırlıklı model sağlayıcılarının henüz dolduramadığı büyük bir boşluğu kapatabilir
  • Web arama yetkinliği birçok ajan işi için zorunlu; arama indeksini oluşturan taraflarla uygun ortaklıklar ve entegrasyon çalışmaları sağlandığında zamanla çözülebilir

Geçiş maliyeti düşük açık ağırlıklı modeller

  • Frontier laboratuvarları için daha tehditkâr olan nokta, açık ağırlıklı modellere geçiş zorluğunun düşük olması
  • Z.ai ve Fireworks, hem OpenAI uyumlu hem de Anthropic uyumlu endpoint’ler sunuyor
    • Claude Code ve Codex’te base URL çıkarım sağlayıcısına değiştiriliyor
    • API key ayarlanıyor
    • Kullanılacak model GLM 5.2 olarak belirtiliyor
  • Anthropic’in claude -p için etkileşimsiz ajan kullanımına API ücreti getireceğini duyurup sonra geri çektiği durumda, birçok kullanım senaryosu GLM ile değiştirilebilir
  • Etkileşimli kullanımda da vision eksikliği ve yavaş hız dışında Claude Code içinde Opus dışında bir model kullanıldığını fark etmek neredeyse zordu
  • Bu geçiş, Microsoft veya Salesforce tarzı lock-in gibi yıllarca planlanması gereken bir migrasyon değil
    • Geçiş maliyeti düşük
    • Frontier laboratuvarlarının politika ve şart değişikliklerini takip etmenin maliyetinden daha düşük olabilir
    • Claude Code’un gelecekte üçüncü taraf sağlayıcı kullanımını zorlaştırma ihtimali var
    • Codex ve OpenCode dahil olmak üzere iyi açık kaynak alternatifler çok

Kurumsal benimseme: Veri koruması ve dağıtım seçenekleri

  • Kurumlarda sık dile getirilen endişe veri gizliliği ve güvenliği
  • Z.ai’nin resmi API’si ve aboneliğinin, zayıf şartlar ve Çin ana karasıyla derin bağlantıları nedeniyle kurumlar için bir seçenek olmasının zor olduğu düşünülüyor
  • Açık ağırlıklı modelde başka sağlayıcılar seçilebilir
    • Pazarda daha uygun sözleşme koşullarına sahip birçok sağlayıcı var
    • Gerekirse on-premise barındırma da mümkün
  • On-premise dağıtım, daha önce hiçbir üçüncü tarafa gönderilemeyen daha hassas verilerin bile Opus düzeyinde ajan iş akışlarında kullanılmasını sağlayabilir

Fiyat ve marj baskısı

  • GLM 5.2’nin mevcut fiyatı yaklaşık $4.40/MTok seviyesinde
    • Opus perakende fiyatının %20’sinden az
    • GPT5.5 maliyetinin yaklaşık %15’i
  • Aynı işte GLM 5.2 daha fazla token kullandığı için bu tamamen bire bir karşılaştırma değil
  • Yine de neredeyse tüm iş akışlarında benzer kaliteyi %50’den fazla daha ucuza sunma olasılığı yüksek
  • Z.ai, Anthropic ve OpenAI’ın planlarına benzer bir “coding plan” aboneliği sunuyor ve daha yüksek kullanım limitleri öne çıkarıyor
    • Ancak eğitim ve veri saklama konusundaki gevşek şartlar, profesyonel kullanımda satışı zorlaştırabilir
    • Frontier laboratuvarları fiyatları ciddi biçimde artırırsa bütçeyi önemseyen kullanıcılar için güvenilir bir seçenek hâline gelebilir
  • GLM 5.2 maliyetinin önümüzdeki birkaç ayda servis stack’i optimizasyonuyla ciddi ölçüde düşmesi bekleniyor
    • Wafer, GLM 5.2’yi AMD donanımında çalıştırma deneyimini özetliyor
    • AMD üzerinde çıkarım çalıştırmanın, Nvidia Blackwell’e kıyasla token başına maliyeti 2,75 kat düşürdüğü belirtiliyor
  • Fireworks, GLM denemeleri için ücretsiz kredi sağlamıştı

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News görüşleri

  • Maliyetin kendisinin bu kadar önemli olduğundan emin değilim

    1. Bulutun ortaya çıkışından sonra bilişim maliyetleri ciddi şekilde düştü ama hyperscaler’lar hâlâ yüksek marjlarını koruyor
    2. Çok sayıda açık kaynak ofis paketi var ama G Suite veya Office’in yaygınlığıyla rekabet edemediler; GitHub ve Slack de benzer
    3. Windows ve macOS, ücretsiz alternatifler uzun süredir var olmasına rağmen ev tipi masaüstlerine hâkim
    4. Redis ve Elastic Search gibi eskiden açık kaynak olan altyapı bileşenlerinin de Apache tarzı alternatifleri var ama hâlâ iyi marjlar üretiyorlar
      Marj çöküşü argümanını anlıyorum ama tarihte buna çok benzeyen örnekleri pek göremiyorum. Şirketler hizmet garantisi, entegrasyon ve dava açabilecekleri bir muhatap için yüksek bedeller ödeyecek gibi görünüyor; sonunda “IBM satın aldığı için kimse kovulmaz” sözü tekrarlanıyor gibi
    • Bu benzetmenin o kadar net olduğunu düşünmüyorum. Birincisi, LLM’lerde girdi ve çıktı metin olduğu için kilitlenme etkisi neredeyse yok; kolayca taşınabiliyor. İkincisi, şirketlerin ödediği faturaların ne kadar büyük olduğunu hafife alıyor gibisiniz; finans departmanları, sübvansiyonlar hâlâ büyükken bile harcamaları kısmaları için zaten talimat alıyor
      Üçüncüsü, ABD stratejisi güçlü modellere erişimi yapay olarak sınırlama yönünde görünüyor; Çin mevcut gidişatı sürdürürse 6 ay içinde Fable kadar iyi bir model çıkaracak ve onu da kapalı tutmayacaktır. Daha ucuz ve daha iyi bir model açıksa, geçiş teşviki muazzam olur; Çin de pazar payı kazanıyorsa fiyatları artırmak için çok daha zayıf bir motivasyona sahip olur. David Sacks ve ABD hükümetinin AI stratejisi çok kısa görüşlü; ters tepecek gibi
    • Tarihsel benzerlikler düşünülürken hayatta kalan yanlılığı çok büyük. Çünkü marjların çöktüğü ve rekabet yüzünden sektörün emtiaya dönüştüğü durumlarda, o dönemin büyük tekelci isimleri artık ortada değildir
      1980’lerde bellek çipi marjları çöktü; Intel bellek çipi işinden tamamen çıktı ve o dönemde Intel, mikroişlemci şirketinden çok bellek çipi şirketi olarak biliniyordu. Üst seviye iş istasyonu marjları da ucuz IBM PC uyumluları ve MS Windows yazılımlarındaki patlama karşısında çöktü; bu, SGI, Sun, Symbolics, Lucid, LMI gibi şirketlerin yok olmasının doğrudan nedenlerinden biri oldu
      HP-UX, IRIX, AIX, SCO Unix gibi tescilli UNIX türevleri fiilen ortadan kalktı; yerlerini daha ucuz tescilli işletim sistemleri olan Windows ve MacOS’a ya da Linux ve BSD’nin açık kaynak torunlarına bıraktı. Oracle, dBase, Sybase, FoxPro, Microsoft’un SQL Server ve Access’i gibi ticari veritabanı üreticileri de PostGres, MySQL, SQLite’tan güçlü marj baskısı gördü. Oracle devasa kurulu tabanı ve hukuk ekibi sayesinde, Microsoft ise OS ve Office tekellerinden çapraz sübvansiyon yapabildiği için hayatta kaldı; ama dBase, Sybase, FoxPro ortadan kayboldu
    • Örneklerin aksine, LLM değiştirmek ucuz ve kolay. Her 3 ayda bir yeni model çıkınca insanlar hemen alıp kullanmaya başlayacak kadar kolay
      Sağlayıcı farklı olsa da kullanıcı deneyimi aynı: istemi gönderiyorsunuz, cevap geri geliyor. Diğer örneklerde destek kaybetmeyi ya da zorlu bir geçiş dönemine katlanmayı gerektiriyordu; LLM’lerde ise en başından beri neredeyse hiç destek yoktu ve geçiş de mevcut harness’in başka bir modeli tanıyacak şekilde güncellenmesi düzeyinde
      Daha uygun karşılaştırma AMD’nin yükselişi gibi. Pazar hâkimiyetini ele geçirememiş olabilir ama büyük bir gedik açtı; AMD x86’nın Intel x86’ya oldukça yakın ve uyumlu olup çok daha ucuz olması bunda büyük etkendi
    • Bunların sadece iyi marjlara ihtiyacı yok; birkaç yıl içinde neredeyse 1 trilyon doları geri kazanmaları gerekiyor. Elastic Search veya Redis ile karşılaştırmak pek doğru değil
      Hyperscaler’ların işe yaramasının nedeni, ücretsiz alternatiflere kıyasla gerçek değer sunmaları ve sağlayıcı değiştirme maliyetinin muazzam olması. Windows ve macOS’u başka bir şeyle değiştirmenin maliyeti de çok yüksek; bazı durumlarda mümkün bile değil. Office için de uyumluluk sorunları ve çalışanları yeniden eğitme nedeniyle geçiş maliyeti büyük
      Sonuçta kilit nokta kilitlenme etkisi; şu ana kadar LLM’lerde böyle bir şey görünmüyor. Bu yüzden yukarıdaki argümanların buraya pek uymadığını düşünüyorum
    • Açık kaynak ofis paketlerinin G Suite veya Office’in yaygınlığıyla rekabet edememesinin nedeni bence işbirliği sorununu çözmenin zor olması. İşbirliği yoksa G Suite/Office’in sunduğu neredeyse hiçbir şey kalmıyor
      Mac OS da ücretsiz sayılır. Bedava bira anlamında ücretsiz
      Şirketlerin hizmet garantisi, entegrasyon ve dava edilebilir bir muhatap için yüksek bedel ödediği doğru; ama büyük resimde ABD şirketleri inanılmaz derecede zengin, bu yüzden rasyonel harcama yapanlara iyi örnek olmayabilirler

  • Geçen ay Claude Pro aboneliğimi iptal edip o 20 dolarla Openrouter kredisi aldım. Bilgi keşfi sorularının çoğunu Gemma4 yanıtlayabiliyor; temel kod düzenleme için Qwen3.6 27b yeterli, gerçekten zor işlerde de GLM5.2 idare ediyor
    AI’ı çok yoğun kullanan biri de değilim; işin karmaşıklığına göre mümkün olan en küçük modeli kullanan API kredisi yöntemiyle aksine para tasarrufu ediyorum

  • Ters yönden katılıyorum. Yapay zeka, C/C++ kıdemli sistem yazılımı mühendisi olarak işimi sürekli emiyor; buna rağmen birkaç aydır gpt-5.5/5.6 ve codex kullanmak için sadece birkaç yüz dolar harcadım.
    İnsanlar ne yapıyor da bu kadar çok token yakıyor bilmiyorum ama benim için gülünç derecede ucuz ve her gün yeni bir özellik keşfediyorum. Maliyet artsa da düşse de, elde ettiğime kıyasla o kadar ucuz ki umursamıyorum.

    • Çünkü biz perakende tüketici fiyatı, yani abonelik ücreti ödüyoruz. Aynı tokenlar kurumsal faturalandırmada binlerce dolara mal oluyor.
    • Ajan tabanlı iş akışları çok tüketiyor. Otomatik ajan döngülerinin bir hedefe doğru sürekli ilerlediği durumlar.
      LLM’i kendi iş asistanınız olarak kullanırsanız o kadar çok token harcamazsınız; ama birden çok ajanın bağımsız çalışmasını ve birbirlerinin işini incelemesini sağlarsanız bütçe gerçekten çok hızlı yanar.
    • Cehalet, kötü kod hijyeni ve beceriksiz prompt’lar yüzünden. Kodlamayı neredeyse hiç beceremeyen biri olarak, ajan öncesi dönemde Gemini IDE kullanım sınırları neredeyse yokken vibe coding ile yaptığım eski projeler vardı; dosyalar binlerce satırın üzerine şişti ve hata birikimi oluştu.
      Aptal modeller o noktada dağılmaya başladı ve proje ihtiyaçlarım için idare eder düzeyde kullanılabilir olduğundan durdum. Sonra ajanlı kodlama ve sorunları düzeltecek kadar akıllı modeller çıktı, ama kod tabanı o kadar dağınıktı ki bunu son derece verimsiz şekilde ele aldılar. Sadece birkaç prompt ile 5 saatlik kotayı bitirecek kadar.
      Birkaç gün ayırıp düzgün bir agent.md hazırlayınca ve kod tabanını refactor edince artık tokenları azar azar kullanıyor. Hâlâ birçok kişinin o teknede olduğunu düşünüyorum. Birçoğumuz en iyi uygulamaları hiç bilmiyoruz ve ajana nasıl davranması gerektiğini nasıl söyleyeceğimizi de bilmiyoruz.
      Geriye bakınca temel şeyleri öğrenmek için birkaç gün ayırmalıymışım; ama sorun bilmediğini bilmemek. Şirketlerin yeni kullanıcıları onboard ederken ajanı düşünceli davranacak şekilde prompt’ladıklarına pek inanamıyorum; benim gibileri bağımlı yapıp mümkün olduğunca çok token harcatmak onların işine geliyor. Gereksiz aboneliklere ve katmanlara birkaç yüz dolar daha harcadım ama o sırada 0’dan 1’e giden üretkenlik artışına kıyasla küçük paraydı.
    • Aynı deneyim. İnsanların iddia ettiği kadar token tüketimini nasıl yakabildiklerini gerçekten anlamıyorum.
    • Kabaca 500 bin satırlık kod yazımını yönlendirdim.

  • Modelin kendisinde yerel vision özelliği olmadığından bunu tamamlayan bir vision MCP var: https://docs.z.ai/devpack/mcp/vision-mcp-server
    Web araması da genel olarak iyiydi. ZCode harness’ını kullanırsanız Coding Plan kotası daha büyüyor: https://zcode.z.ai/en
    Kısa süre denedim; OpenCode Desktop ile Claude Desktop arasında bir yerde. OpenCode Desktop hâlâ yeni ama iyi, Claude Desktop’ın son sürümü de iyi.
    Bir model olarak GLM 5.2, maksimum düşünme modunda genel olarak tatmin edici; Sonnet 5 ile Opus 4.8 arasında bir yerde ve DeepSeek V4 Pro’dan kesinlikle daha iyi.
    Fiyat açısından abonelik beklediğim kadar iyi görünmüyor. 50 dolarlık Pro planın haftalık sınırının yaklaşık %60’ını bir günde kullandım; üstelik her 5 saatlik sınırda yalnızca %20 kullanacak şekilde olduğum için bu kadardı, yoksa %80–100 olurdu. Özellikle çılgın bir iş de yapmadım; yaklaşık %96 cache isabet oranıyla, en fazla 3 paralel kod inceleme alt ajanı kullanarak 2 projede uzun işleri paralel yürüttüm.
    100 dolarlık Max abonelik bir hafta boyunca dayanır ama Anthropic de aynı paraya bunu yapıyor, OpenAI da yapar. Yoğun olmayan saatler daha iyi, ama yerel saatle sabah 9’dan öğleden sonra 1’e kadar başparmak emerek bekleyemem.
    Gerçek tasarruf ancak Max planına yıllık ödeme eklenince çıkar gibi, ama bunu ikna etmek daha zor.

  • Bu şirketlerin anlaşarak fiyat sabitleyememesi önemli. Çin’in rakip olarak bulunması bunu garanti ediyor.
    Token ekonomisini anlamanın en kolay yolu hâlâ temel mikroekonomi. Bu nasıl rekabetçi bir piyasa, yani kârın sıfıra gittiği bir piyasa olmayabilir ki?
    A ya da O’nun daha fazla marj bırakmak için yapacağı her şeyi rakipler kopyalayabilir veya daha düşük fiyatlayabilir; fiyat düşürmenin eğitim verisi toplama gibi bir avantajı da var. Gizli anlaşma veya fiyat sabitleme dışında tokenların brüt kârının sıfıra gitmesini ne engelleyebilir?

    • Kaçırdığınız bir şey var: bunu engelleyecek olan federal hükümet sanayi politikası.
    • Tek bir piyasa içindeki koşullara bakmak da hâlâ mikroekonomi. Katılıyorum ama şirketlerin piyasa gücünü nereden elde edeceğini görmek zor; bu yüzden kârların sıfıra yaklaşacağını düşünüyorum.
      Gerçi GPU’lar için de aynı şeyi düşünmüştüm, ama Nvidia’nın veri merkezlerinde hâlâ doğru düzgün bir rakibi yok gibi görünüyor.

  • Sevdiğim benzetme, yapay zekanın elektrik kadar ucuzlayacağı yönünde.
    Elektriği kimin sağladığını, hangi santralden geldiğini bilerek mi kullanıyorsunuz? Muhtemelen bilmiyorsunuz. Çünkü elektrik genel amaçlı bir emtia, büyük ölçüde oturmuş durumda ve enerji kaynakları çok. Alternatif enerji de var, kömür madenleri de. Bunların hepsi gerçek zamanlı enerji arz-talep işlemlerinde rekabet ediyor. Burada OpenRouter’ı düşünebilirsiniz.
    Sonunda bolluk yüzünden tüketici kazanır.
    Ucuz ve sonsuz zekâ bolluğunu gösterecek en büyük örnek GLM5.2 değil; giriş için 1 milyon token başına 0,435 dolar ve çıkış için 1 milyon token başına 0,87 dolar olan DeepSeek V4 Pro max olacak gibi.

  • “Eğitim sermaye harcaması yüksek ama sabit, peşin bir maliyettir; modeli eğitmek için yüz milyonlarca dolar harcarsınız ve iş biter” argümanını anlayamıyorum.
    Rakipler varsa ve insanlar sürekli daha fazlasını beklediği için yeni modelleri durmadan eğitmeniz gerekiyorsa, üstelik iyileşme oranına kıyasla eğitim maliyeti giderek daha da büyüyor gibi görünüyorsa, bu sürekli katlanılması gereken daimi bir maliyet değil mi? Dipnot bu noktaya işaret ediyor ama sonuçta üstünkörü geçiştiriyor gibi görünüyor.
    Modeli sürekli güncel ve ilgili tutmak için artımlı eğitim maliyetleri de var mı merak ediyorum. Yoksa model yalnızca eğitildiği güne kadarki olayları mı biliyor?

    • Bu modeller ağırlıkların içine gömülü bilgiye dayanıyor. Yeni bir kütüphane çıktığında, yeni bir Linux sürümü geldiğinde ya da yeni bir protokol eskisinin yerini aldığında LLM'in bunu bilmesini istiyoruz.
      Elbette bunu bağlam penceresine koyabilirsiniz, ama bunun da kendine özgü sorunları var.
      Umut vadeden bazı yeni araştırmalar yeni yöntemler sunmadıkça eğitim maliyeti sürekli para kaçıran bir delik olmaya devam edecek.
      Üstelik eğitimi durdurursanız 6 ay sonra biri açık ağırlıklı bir model çıkarır ve artık aynı ürünü en düşük fiyatla sunma yarışına girersiniz.
      Bu işin basit bir teknik araç değil, küresel iş gücü piyasasına mutlaka girmesi gereken bir iş olduğunu da unutmamak gerek. 1 trilyon dolarlık değerlemeyi haklı çıkarmak için modelin çok daha iyi olması gerekiyor.

  • “Yapay zeka ekonomisinde en az anlaşılan yaklaşan değişim” deyip her gün yapay zeka haberlerinde çıkan şeyden bahsediyor. Sanki açık kaynak modellerin ucuzlayıp kalitesinin arttığını hiç duymamış mısınız gibi.
    Öncelikle, hiçbir ölçüte göre GLM5.2 Opus kadar iyi değil.
    İkincisi, açık kaynak modellerin eninde sonunda marj baskısı yaratacağı doğru ve bunu herkes biliyor. Ama bugünün yapay zeka iş modelinin yarın da aynı kalacağını mı varsayıyoruz?

    • GLM-5.2 Opus kadar iyi değil, daha iyi. GLM-5.2'nin kısıtlarını kaldırıp Opus'un reddettiği projelerde kullanabilirsiniz.
    • Ne yaptığınıza bağlı. Karmaşık işler ya da tanımı kötü yapılmış işler için Opus doğru tercih olabilir; ama nispeten basit ya da çok iyi tanımlanmış işlerde GLM-5.2 de aynı derecede iyi ve genelde çok daha hızlı.
      Kişiliği de daha nötr ve Opus'a göre daha az çatışmacı. Opus hep “buna karşı bir itiraz getirmek gerekirse...” havasındayken GLM daha çok “Evet, anladım!” gibi. İkisini de kullanıyorum ve ikisini de iyi buluyorum, ama Opus yarın ortadan kaybolsa ağlamam. Sadece GLM-5.2 ile de kısa sürede uyum sağlarım.

  • GLM 5.2'nin web arama becerisinin kötü olduğu söyleniyor ama bence bu harness'ın sorumluluğu.
    VPS'imde kendi SearXNG instance'ımı çalıştırıp webfetch aracıyla birlikte Pi'ye entegre ettim; GLM 5.2 şimdiye kadar aradıklarımı iyi buldu. Agresif reklam katmanları yüzünden ayrıştırması zor olan Avusturyalı bir çevrimiçi gazeteden son haberleri istediğimde, ChatGPT ve Claude'un varsayılan sohbet uygulamaları ikisi de başarısız oldu. Pi içindeki GLM 5.2, RSS akışını arayacak kadar akıllıydı ve ayrıntılı bir genel bakış verdi.
    Vision olmaması gerçekten üzücü. Pi'de bir geçici çözüm uyguladım ve fena değil, ama o kadar da iyi değil; genel deneyim de tuhaf.

  • Yalnızca çıktı token'larına odaklanan epey anlamsız bir yazı gibi görünüyor.
    Ajan kodlamada önbelleğe alınmış girdi token'ları API “maliyetinin” %90'ı. GPU hesaplaması gerektirmiyor ve DeepSeek, MLA/CSA/HCA ve bol miktarda diskle bunun 50–100 kat daha ucuza işlenebileceğini gösterdi. Marjları çökertecek olan bu.

    • ABD'deki yapay zeka laboratuvarları ajan kodlama dışında başka pazarlar bulmaya umutsuzca çalışmıyor mu?
    • MLA/CSA/HCA'nın hepsi kayıplı sıkıştırma teknikleri değil mi? Bağlam boyutu büyüdükçe kalite düşüşünden şikâyet edilmesinin nedenlerinden biri de bu mu diye merak ediyorum.
    • https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse adresindeki mevcut en üst yorum, önbelleğe alınmış girdi token'larını doğru şekilde tespit etmiş ama ters sonuca varmış.
      “Aylık 100 dolarlık ücretle 3600 dolar değerinde API kullanımı alıyorsunuz. Bu muhtemelen Anthropic'in model yönlendirme ve girdi önbelleğe alma konusunda akıllı yöntemler bulmuş olmasından, yatırımcı parasıyla sübvanse etmesinden ve işletme marjı kayıplarını da göze alabilmesinden kaynaklanıyor” diyor.
      Benim yorumum, bunun tam da Anthropic'in herkesin inanmasını istediği tablo olduğu. Gerçekte o 3600 doların %90'ı önbelleğe alınmış girdi token'ları ve DeepSeek'in gösterdiği gibi bunlar neredeyse bedavaya yakın hale getirilebilir.