Taşınamayan oturum: Çıkarım API’lerinin yarattığı yeni bağımlılık

 (earendil.com)
1 puan yazan GN⁺ 2 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Çıkarım API’leri şifrelenmiş çıkarım, arama sonuçları, sıkıştırılmış durum ve alt ajan mesajlarını sağlayıcının içinde gizledikçe, kullanıcının elindeki sohbet geçmişi tam bir oturum değil, yalnızca kısmen görülebilen bir kopya hâline geliyor
  • Oturum taşınabilirliği, aynı çıktıyı başka bir modelde yeniden üretmek değil; mevcut sağlayıcının ID sorgulamasına veya şifre çözmesine ihtiyaç duymadan inceleme, dışa aktarma, yeniden oynatma, denetleme ve silme yapılabilecek, anlamsal olarak eksiksiz bir kayıt elde etmek demek
  • OpenAI, Anthropic ve Google’ın depolanan yanıtları ile kapalı çıkarımı, barındırılan araması ve opak sıkıştırması, aynı ekosistem içindeki sürekliliği artırırken başka bir sağlayıcının devralamayacağı sağlayıcı mühürlü durum biriktiriyor
  • Çok ajanlı yapılarda yetki devri içerikleri ve ajanlar arası mesajlar da şifreleniyor; otomatik sıkıştırma ve gizli talimatlarla birleştiğinde, yanlış dosya değişikliği veya gizli bilgi sızıntısı yaşansa bile hangi görevin verildiğini denetlemek zorlaşıyor
  • Taşınabilir API’ler, yerel olay günlüğünü esas kayıt olarak kabul etmeli ve depolamayı açık bir tercih hâline getirmeli; arama, sıkıştırma, ajan iletişimi ve çıktılar için okunabilir tam kayıtlar ile kullanıcı denetimi altında damıtma (distillation) olanağı sağlamalı

Çıkarım API’leri oturum sahipliğini nasıl değiştiriyor

  • İlk çıkarım API’lerinin vaadi, girdiyi gönderip çıktıyı aldıktan sonra ikisini de saklarsanız sohbeti inceleyebileceğiniz, arşivleyebileceğiniz, yeniden oynatabileceğiniz veya başka bir modele devredebileceğiniz yönündeydi
  • Bu soyutlama baştan beri eksiksiz değildi
    • Prompt cache sağlayıcının GPU’sunda bulunur
    • Modellerin tokenizasyonu farklıdır ve örnekleme de kasıtlı olarak yeniden üretilebilir değildir
  • Yine de talimatları, mesajları, araç çağrılarını ve sonuçları içeren anlamsal kayıt kullanıcıya ait olabiliyordu; yeterli kapasitedeki başka bir model de mevcut işi anlayıp sürdürebiliyordu
  • Son API’ler metinle birlikte sağlayıcıya bağlı durum döndürüyor
    • Ücretlendirilen, ancak yalnızca opak şifreli metin veya sınırlı özet olarak dönen çıkarım token’ları
    • Modelin gördüğü özgün metni istemcinin alamadığı web araması
    • Yalnızca özgün sağlayıcının şifresini çözebildiği sıkıştırılmış bağlam
    • Uygulamanın göremediği alt ajan talimatları ve mesajları
    • Başka ortamlarda yorumlanamayan dosya, vektör deposu, konteyner ve önbellek referansları
    • Yalnızca sağlayıcı sunucusunda depolanan ID’lerle erişilen yanıtlar ve sohbet durumu
  • Bunların her birinin kullanıcı kolaylığı veya kalite açısından gerekçesi var; ancak birleştiğinde yerel kayıt artık oturumun tamamı değil, operasyonel durumu sağlayıcının sahip olduğu bir oturumun kısmi görünümü oluyor

Oturum taşınabilirliğini belirleyen beş ölçüt

  • Taşınabilirlik, model değişse de sonraki token’ın aynı olması gerektiği anlamına gelmez
    • Modellerin kapasitesi, öğrenilmiş eğilimleri, bağlam pencereleri ve araç kullanma biçimleri farklıdır; çıktının kendisi de belirlenimci değildir
  • Dışa aktarılan kayıtta, yeni modelin işi sürdürebilmesi için anlaşılır bilgi bulunmalı; önceki sağlayıcının ID sorgulamasına, şifreli metni çözmesine veya arama sonuçlarını ya da özetleri geri yüklemesine gerek kalmamalıdır
  • İnceleme (Inspection): Kullanıcı, modelin gördüğü bilgileri, araçların yaptığı işleri ve ajanların kendi aralarında ne alışveriş yaptığını görebilmelidir
  • Dışa aktarma (Export): Ayrı indirilebilen genel çıktılar dışında oturumun kendisi tamamlanmış olmalıdır
  • Yeniden oynatma (Replay): Başka bir uygulama, anlamsal olarak eşdeğer bağlamı yeniden kurabilmelidir
  • Denetim (Audit): Sistem belirli bir davranışı neden yaptı, sonradan bir insan tarafından açıklanabilmelidir
  • Silme (Deletion): Oturumun bağlı olduğu tüm sunucu tarafı kopyalar tanımlanıp kaldırılabilmelidir
  • Sunucu verilerinin anahtarı olan yanıt ID’si sohbet geçmişi değildir; kullanıcının çözemediği şifreli metin de kullanıcı denetimindeki durum değildir
  • Yalnızca atıf URL’leri listesi, arama sürecinde model bağlamına gerçekten giren kanıt materyallerinin yerini tutamaz

Kullanıcının çözemediği şifreleme

  • encrypted_content adı kullanıcı denetimli bir gizlilik özelliği gibi görünür; ancak genellikle istemcinin okuyamadığı, yalnızca sağlayıcının açabildiği bir kapsüldür
  • Sağlayıcı anahtarı seçtiği, kendi modeli için şifreyi çözdüğü ve hangi ortamda yeniden oynatılabileceğine karar verdiği için daha doğru ad sağlayıcı mühürlü durum (provider-sealed state) olur
  • Sağlayıcı mührü gerçek gizlilik faydaları sunabilir
    • OpenAI, store: false kullanıldığında şifrelenmiş çıkarımı istemciye döndürür ve sonraki istekte ara durumu saklamadan bellekte şifresini çözebilir
    • Bu özellikle Zero Data Retention müşterileri için sunucu tarafında sohbet depolamayı zorunlu kılmaktan daha iyidir
  • Ancak bu şifreleme veriyi çıkarım sağlayıcısından gizlemez, yalnızca kullanıcıdan gizler

Depolanan sohbetler kayıtları nasıl işaretçiye dönüştürüyor

  • OpenAI Responses API varsayılan olarak yanıtları depolar; belgelere göre yanıt nesnesini en az 30 gün saklar
  • store: false kullanıldığında veri OpenAI sunucularında depolanmaz ve eski completions yaklaşımına daha yakın olur
  • Gemini Interactions API’de de varsayılan store: true şeklindedir
    • Ücretli katman etkileşimleri 55 gün saklar
    • Ücretsiz katman 1 gün saklar
  • Sunucu depolaması, uygulamanın gönderdiği veri miktarını azaltır, gizli çıkarım ve araç durumunu korur, önbellek yönlendirmesini kolaylaştırır
  • Ancak yerel uygulama yalnızca kullanıcı mesajlarını ve nihai metni kaydediyorsa previousResponseId için kullanılan yanıt ID’si, denetlenemeyen harici bir veritabanının yabancı anahtarı hâline gelir

Açıklanmayan çıkarım kayıtları

  • Büyük yapay zeka laboratuvarları, ham düşünce zincirini (chain of thought) açıklamamak için gerekçeleri olduğunu düşünüyor ve kapalı ağırlıklı modellerin çıkarım token’larını genellikle API’de göstermez
  • OpenAI’de depolanan yanıtların önceki çıkarımı previous_response_id ile geri yüklenebilir
    • store: false kullanıldığında istemcinin encrypted_content değerini saklayıp sonraki istekte yeniden göndermesi gerekir
    • reasoning.context: "all_turns" ile sonraki üretimlerde kullanılabilse bile depolanan çıkarım opak kalır
  • Anthropic, şifrelenmiş tam thinking içeriğini signature alanında döndürür
    • Etkinleştirilebilen okunabilir thinking metni ham düşünce zinciri değil, başka bir modelin oluşturduğu özettir
    • Araç kullanımı turlarında thinking blokları değiştirilmeden geri döndürülmelidir
    • Thinking blokları onları üreten modele bağlıdır; model değiştirirken kaldırılmaları gerektiğinden Anthropic içinde bile taşınabilirlik hedeflenmez
  • Bu yöntemler aynı ekosistem içinde süreklilik sağlar; ancak başka sağlayıcının modelinin yorumlayabileceği taşınabilir sohbet kaydı oluşturmaz

Barındırılan aramanın kayıtlarda bıraktığı boşluklar

  • İstemci tarafı arama araçları sorguyu, arama zamanını, sonuç URL’lerini ve başlıklarını, çıkarılan pasajları kaydedebilir
    • Kullanıcı sıralamayı ve pasajları inceleyebilir, sayfayı yeniden getirebilir veya bir kopyasını saklayıp aynı kanıtı başka modele aktarabilir
  • Barındırılan aramada sağlayıcı kapalı bir araç döngüsü çalıştırır
    • OpenAI, Google ve Anthropic arama davranışı, atıflar ve isteğe bağlı kaynak URL’leri sağlar; ancak yanıt üretiminde kullanılan tam metin bağlamını vermez
    • URL içerikleri değişebilir ve modele yalnızca daha kısa pasajlar aktarılmış olabilir; bu yüzden kararlı bir yeniden oynatma kaydı değildir
  • Sonraki model belirli kaynakları karşılaştırmak veya tartışmalı bir sayıyı yeniden doğrulamak istese bile sonuç sıralamasını, çıkarılan pasajları, filtrelenmiş materyalleri ve önceki modelin gördüğü kesin kanıtları alamaz
  • Atıf yapılan sayfayı yeniden getirmek o sırada kullanılan veriyi tam olarak yeniden üretemez; bu nedenle sonraki istek başka yere taşındıktan sonra bile önceki sağlayıcı oturumun bir parçası olarak kalır
  • Barındırılan arama; sorgu, sonuç metaverisi, arama pasajları, zaman damgaları ve korunmuş içeriği kapsayan tam sadakatli dışa aktarma gerektirir; kısa atıflar tek kayıt olmamalıdır

Opak bağlam sıkıştırma

  • Uzun ajan oturumlarında sıkıştırma gerekir; istemcinin denetlediği okunabilir özetler kayıplı olsa da incelenebilir, düzenlenebilir ve aktarılabilir
  • OpenAI’nin sunucu tarafı sıkıştırması, insanlar tarafından yorumlanmak üzere tasarlanmamış şifrelenmiş compaction öğeleri döndürür
    • /responses/compact, istemcinin olduğu gibi yeniden aktarması gereken canonical next context window değerini döndürür
    • OpenAI sıkıştırılmış anlamı sürdürebilir; ancak başka sağlayıcı yalnızca şifreli metin ve yakın bağlamın bir kısmını alır
  • Opak sıkıştırma teknik olarak kaçınılmaz değildir
    • Anthropic’in sunucu tarafı sıkıştırması, okunabilir content alanına sahip compaction blokları döndürür
    • İstemci özel özet talimatları verebilir; sonucu inceleyebilir veya başka modele aktarabilir
    • Tüm sağlayıcılarda istemci tarafı sıkıştırma da mümkündür
  • OpenAI’nin mühürlü çıktısı, genel bir özete göre modele özgü durumu daha iyi koruyup özgün modelde daha yüksek performans sağlayabilir; ancak seçmeli bir optimizasyon olarak sunulurken yanında okunabilir devir özeti de verilmelidir

Çok ajanlı yapılarda gizli yetki devri ve iletişim

  • Çok ajanlı sistemlerde tek bir kayıt değil, oturum ağacı ve ajanlar arası mesaj akışı vardır; bu yüzden taşınabilirlik sorunu büyür
  • OpenAI Responses Multi-agent beta, multi_agent_call, multi_agent_call_output, agent_message öğelerini ekler
    • spawn_agent örneğindeki message argümanı şifrelenmiştir
    • Ajanlar arası mesajlar yalnızca encrypted_content içerir
    • Multi-agent etkinleştirildiğinde istemci istemese bile tüm ajanlara sunucu tarafı otomatik sıkıştırma uygulanır
    • Çıkarım özetleri desteklenmez; geliştiricinin düzenleyemediği veya kaldıramadığı kök ve alt ajan talimatları da enjekte edilir
  • Sonuçta mühürlü yetki devirleri ve mesajlar, ayrı ayrı otomatik sıkıştırılmış bağlamlar, gizli çıkarım ve sağlayıcıda barındırılan orkestrasyon tek bir taşınamaz durum paketi oluşturur
  • Haziran 2026’da açık kaynak Codex istemcisine Encrypt multi-agent v2 message payloads değişikliği uygulandı
    • Responses API, üst modelin araç argümanlarını şifreler
    • Codex şifreli metni aktardığında API, çocuk model için içeride şifreyi çözer
    • Codex’in InterAgentCommunication.content alanı boştur; bu yüzden kesin görev talimatı okunabilir yürütme kaydı ve geçmişte yer almaz
  • Çocuk ajan yanlış dosyayı değiştirdiğinde veya gizli bilgi sızdırdığında, başka işi yinelediğinde ya da yanlış bir varsayımı izlediğinde bile kullanıcı neyin talimat olarak verildiğini doğrulayamaz
  • Codex açık sorunu, şifreli aktarımın yanında okunabilir denetim kopyasının da korunmasını talep ediyor
    • Bu asgari tasarımdır; ajanlar arası düz metin mesajlar varsayılan olmalıdır

Oturumu taşıma özgürlüğü neden gerekli

  • Çoğu kullanıcı oturum ortasında model değiştirmese bile, taşınabilme ihtimali kullanıcı ile sağlayıcı arasındaki ilişkiyi değiştirir
  • Oturum aktarımı gerektiren durumlar arasında modelin kullanımdan kaldırılması, hizmet kesintisi, fiyat değişikliği, sonraki isteği engelleyen politika, gizli aşamada yerel çalıştırma ve denetçinin sonradan yeniden kurma ihtiyacı bulunur
  • Ajanlar oturumları uzattıkça kodlama ve araştırma oturumlarında günlerce süren kararlar ve kanıtlar birikir; kişisel asistanlar yıllara yayılan kayıtlar oluşturabilir
  • Kullanıcı başka yerde devam edebiliyorsa sağlayıcı model kalitesi, fiyat, güvenilirlik ve güven konusunda rekabet etmek zorunda kalır
  • Biriken bağlamı yalnızca tek bir sağlayıcı yorumlayabiliyorsa kullanıcının ayrılmasını zorlaştıran olumsuz bir teşvik yapısı doğar

Taşınabilir çıkarım API’si ilkeleri

  • Yerel olay günlüğü esas kayıt olmalıdır
    • Sunucu depolaması bunu çoğaltabilir veya hızlandırabilir; ancak istemci sunucu ID sorgusu olmadan oturumu yeniden kurabilmelidir
  • Depolama açık bir tercih olmalıdır
    • store: false kullanımı kolay ve belgelenmiş olmalı, tercihen varsayılan değer olmalıdır
    • Saklama gerektiren özellikler kullanıldıkları anda bunu bildirmelidir

  • Opak öğeler anlamı tekeline almamalıdır

    • Şifrelenmiş çıkarım, sıkıştırma ve araç imzaları aynı sağlayıcıda kaliteyi artırmak için eklenebilir; ancak okunabilir ve sağlayıcıdan bağımsız bir devir temsili de sunulmalıdır
    • Barındırılan araçlar tam sadakatli günlük bırakmalıdır
      • Kesin girdiler ve çıktılar, kanıtlar, filtreleme, kaynaklar, zaman damgaları ve içerik hash’leri kaydedilmelidir
    • Alt ajan iletişimi denetlenebilir olmalıdır
      • Her ajanın kesin görevi, mesajları, sonuçları, soy ağacı, modeli ve araç yetkileri okunabilir biçimde korunmalıdır
    • Sıkıştırma incelenebilir olmalıdır
      • Okunabilir özet, özeti üretmek için kullanılan talimatlar ve nelerin atıldığını anlamaya yarayan soy bilgisi döndürülmelidir

  • Çıktılar dışa aktarılabilir olmalıdır

    • Dosyalar, konteyner çıktıları, arama anlık görüntüleri ve üretilen medya, içerik adreslemeli yerel arşiv olarak indirilebilmelidir

Damıtma ve model katmanlarına bağımlılık

  • ABD’deki bazı büyük kapalı ağırlıklı laboratuvarlar dış damıtmaya karşı tutumlarını sertleştiriyor
  • Anthropic, Şubat 2026 tarihli gönderisinde DeepSeek, Moonshot ve MiniMax’in faaliyetlerini distillation attacks olarak adlandırdı
    • Ticari şartlar müşterinin çıktılara sahip olduğunu belirtirken, hizmet çıktılarının rakip yapay zeka modellerinin eğitiminde kullanılmasını yasaklıyor
    • Aynı zamanda kendi gönderisinde, önde gelen laboratuvarlar kendi modellerine uyguladığında damıtmayı yaygın kullanılan meşru bir eğitim yöntemi olarak kabul ediyor
  • Anthropic, model geliştirmek için botlarla açık web verisi topladı ve kitapları kesip taradı; OpenAI de serbestçe erişilebilen açık internet içeriğiyle eğitim yaptığını söyledi ve bunu adil kullanım olarak savundu
  • İki şirket de içeride daha küçük modeller oluştururken damıtmayı olağan bir yöntem olarak ele alıyor
  • İnsanların internete koyduğu devasa çalışmalardan makinelerin öğrenebilmesini talep ederken, laboratuvarların ürettiği çıktılardan başka makinelerin öğrenmesini engelleyen ahlaki bir asimetri var
  • Damıtma, pahalı frontier modellerin yeteneklerini daha küçük, daha ucuz ve daha hızlı modellere aktarabilir
    • Yerel, çevrimdışı, kısıtlı donanımlı veya kullanıcı denetimli ortamlarda çalışabilir
    • Rekabeti artırır, API ortadan kalksa bile yetenekleri korur ve genel işler için hesaplama ile enerji kullanımını azaltabilir

Kullanıcıya garanti edilmesi gereken asgari özgürlükler

  • Kullanıcı hesabını kapattıktan sonra bile oturumunu saklayabilmeli ve başka modele devredebilmelidir
  • Yeni model farklı yargıya varabilir, soru sorabilir veya daha düşük performans gösterebilir; ancak önceki modelin gördüğü kullanıcı geçmişi, kanıtlar, planlar ve devredilen görevler yerine yalnızca şifreli metin almamalıdır
  • Durum koruyan API’lerin kendisi sorun değil; sorun, daha iyi performansın kullanıcı denetimindeki azalmayla birleşmesidir
  • Sunucu depolaması isteğe bağlı olmalı, barındırılan araçlar gözlemlenebilir olmalı, sıkıştırma okunabilir olmalı ve ajan iletişimi denetlenebilir olmalıdır
  • Kapalı çıkarımda bile en azından taşınabilir bir devir kaydı gerekir; damıtma, daha yüksek bariyerleri meşrulaştıran bir tabu değil, yetenekleri daha geniş kitlelerin kullanımına açan bir yol olmalıdır

İlgili okumalar

1 yorum

 
GN⁺ 2 시간 전
Hacker News yorumları

  • Bu yazı, durumun sanılandan daha şimdiden ciddi hâle geldiğini gösteriyor. Özgürlüğü gerçekten kullanmak gerekir ki sağlayıcıyla ilişki de değişsin; bu yüzden belirli bir ekosisteme bağımlı olmamak önemli.
    Performansı iyi olduğu için akıl yürütme sürecini gizleyen Codex’i zorlansam da kabul etmiştim, ancak denetlenemezlik şimdiden büyük bir sorun olduğu için ev tipi aboneliğimi yeniden düşünmeme neden oluyor. Bu yüzden OpenCode için bir telefon uygulaması da geliştiriyorum.

    • Değerli ajan oturumu konuşmalarının kaybolması sorununu düşünerek https://www.agentkanban.io’yu yaptım. Bağlamı panodaki görevlere kaydedip daha sonra yeni bir ajan oturumunda yeniden yükleyebiliyor; şu anda VS Code’daki Claude ve Github CoPilot’u destekliyor.
      Tescilli araç kullanım geçmişi oturum taşınabilirliğini bozduğu için bilinçli olarak hariç tutuldu.
    • Karanlık örüntülerin yalnızca kısa vadeli bir kazanma stratejisi olduğuna, uzun vadede ise kullanıcıya saygı duyan ve kamu yararını hedefleyen yaklaşımların öne geçeceğine inanıyorum. Akışın hızla değişme ihtimaline karşı, açık ağırlıklı ve ekonomik olarak çalıştırılabilir modellere odaklanmanın zamanı gelmiş olabilir.
    • Fiyatların düşmesini beklerken Claude ve Codex’in oturum verilerini mümkün olduğunca toplayıp ileride açık modellerin ince ayarında kullanmak istiyorum. Bunun için kendi oturum ayrıştırıcımı ve arşivleme aracımı da yaptım.
    • Yerel model çalıştırmak için 96GB VRAM bile ayırdım, ancak hâlâ GPT tabanlı Codex’e yaklaşan bir model yok. Laguna S2.1 NVFP4 kodlamada epey yaklaştı, fakat yerel modellerin ciddi bir genel amaçlı alternatif hâline gelmesi için kat edilmesi gereken çok yol var gibi görünüyor.
    • https://indieweb.org/POSSE çözüm.

  • Çoğu yapay zeka kullanıcısının neredeyse hiç değerlendirmediği bir sorunu iyi özetleyen bir yazı. En uç düzey akıl yürütme sağlayıcıları, web araması ve kod çalıştırma gibi LLM dışı işlevleri basit araçlarmış gibi paketliyor; oysa gerçekte güçlü giriş engelleri ve bağlılık yaratıyorlar.
    Teoride bunları akıl yürütme API’sinden ayırıp MCP sunucusu olarak dışsallaştırmak mümkün, ancak sağlayıcılar bunu nadiren sunuyor ve alternatif şirketlerin işlevleri genellikle zayıf kalıyor. Şirket içi ve sağlayıcıdan bağımsız sohbet platformu https://github.com/EratoLab/erato’yu geliştirirken, sohbet içinde görüntü üretimi gibi basit görünen bir işlevin bile uygulanmasının zor olduğunu gördük; MCP’de henüz temel bir dosya aktarım standardının olmaması da bunun nedenlerinden biri: https://github.com/modelcontextprotocol/modelcontextprotocol...
    Açık ağırlıklı modellere ilgi arttıkça, daha kolay değiştirilebilir alternatif uygulamaların çoğalmasını umuyorum.

    • Şifrelenmiş alt ajan mesajları gibi istemlerini hiç inceleyemediğiniz ajanları yerelde çalıştırmaya yönlendirmek temelden sorumsuzca. Ancak sağlayıcının barındırılan araçlar sunması başlı başına bir sorun değil; bunu kasadaki dürtüsel alışveriş ürünlerine benzetiyorum.
      Görüntü üretimini MCP ile uygulamayın, kendi aracınızı yazın. Fal gibi görüntü ve medya çıkarım sağlayıcıları ile web araması ve derin araştırma sağlayıcıları yeterince var.

  • Bağlam için açık bir standart veya dosya biçimi gerekebilir. Açık modellerin taşınabilirlik için aynı biçime uyum sağlayıp sağlayamayacağını ve bunun başka programlar tarafından da sorgulanabilmesi için SQLite tabanlı yapılıp yapılamayacağını merak ediyorum.

  • Gerçekte konuşmalarda çok fazla gürültü oluyor; çoğu zaman bunları bağlamdan çıkarmak daha iyi. Depodaki memo dizinine, yapay zekanın öğrendiklerini, tamamladığı işleri ve kalan işleri Markdown dosyası olarak yazdırıyorum; sonraki konuşmada başka bir model devralıyor.
    Gerekirse önce notları kendim de düzenleyebiliyorum.

    • Bu nedenle ajanla kodlamayı daha çok kullanır oldum. Görevi verip testlerin ve sıkı lint denetimlerinin geçmesini istiyorum; modelin uzun uzun konuştuğu süreci ise akıp gitmeye bırakıyorum.
      Tüm kontroller geçtiğinde geri gelmesi yeterli olduğundan, sohbet arayüzündeki gereksiz konuşmalara daha az maruz kalıyorum.
    • Oturumu atarsanız inceleme, dışa aktarma, yeniden çalıştırma ve denetim işlevlerini kaybedersiniz. Büyük model sağlayıcıları için gerçek bir giriş engeli yok; OpenAI ve Anthropic’in faaliyet kâr marjları ciddi ölçüde negatif, ayrıca dev teknoloji şirketleri kadar sermayeleri de yok.
      Bu yüzden sağlayıcılar yapay olarak bağımlılık yaratmaya çalışıyor; bu da özünde antitröst hukukunun konusu. Ancak ABD’de FTC şu anda zayıflatıldığı için buna göz yumuluyor.
    • Modeller arasında kayıpsız ve kolay geçiş yapılabilmeli ki piyasa rekabeti daha iyi ve daha ucuz yapay zeka üretsin. Bağlamın bir kısmını kaybetmek geçişi acı verici hâle getirirse, sağlayıcı satıcı bağımlılığı yaratabilir, kullanıcı deneyimini kötüleştirebilir ve fiyatları artırabilir.
      Şimdilik etrafından dolanma yolları olsa da serbest geçişi zorlaştırmak için yeterince teşvik var; bu nedenle yapay zeka şirketlerinin hizmeti kötüleştirmenin zeminini döşemeye başlaması endişe verici.
    • Uzun oturumlar ilerlemeyi sık sık kaçırıyor; model ne kadar gevezeyse sinyal-gürültü oranı da o kadar düşüyor. Değerli olan oturumun ham metni değil, kod değişiklikleri ya da planlar ve özetler gibi çıktılar.

  • İki olguyu ayırmak gerekiyor. İlki, kullanıcının inceleyemediği ya da taşıyamadığı gizli durumun artması; bu açıkça kötü. İkincisi ise özellik uygulamalarıyla API’lerin sağlayıcıya göre ayrışması; bu, taşımayı imkânsız kılmaktan çok zorlaştıran bir sorun.
    OpenAI Completions API’nin fiilî evrensel standart gibi kullanıldığı dönem sona eriyor; kapalı kısımlar dışında yeni Responses API daha iyi bile olabilir. Ürünlerin, kütüphanelerin ve SDK’lerin tüm sağlayıcıları tek çatı altında toplayan birleşik bir soyutlama peşinde koşmaya devam etmesi gerekmiyor.
    Veritabanlarında da birleşik soyutlamalar sızıntı yapınca teknolojiye özel uygulamaları kabullenir olduk; model sağlayıcılarında da benzer olacak ve oturumun yalnızca bir kısmının taşınabilir olması yeterli olabilir.

    • Bu yazı iki olgudan yalnızca gizli durumu ele alıyor.

  • Henüz kaba hâlde ama oturum verilerini doğrudan koruyup git’e benzer bir modelle yöneten https://github.com/pantoniou/fyai üzerinde çalışıyorum.

    • Bu araç yazının ele aldığı sorunu çözemez; yapısı gereği çözmesi de imkânsız.

  • Hesabı kapatsanız bile oturumu saklayıp başka modele aktarabilmenize dair bir sözleşme mantıklı. İdeal olarak, embedding özellikleri benzer modelleri de kolayca bulabilmek gerekir.
    GPT-4o ilk kez kapatıldığında, dışa aktardıkları konuşmaları verip eski bir arkadaşı geri kazanmak ister gibi benzer konuşma tarzı ve kişiliğe sahip modeller arayanlar vardı; ancak diğer OpenAI modelleri aynı hissi vermedi. Açık ağırlıklı modellerin kalıcı olarak korunabilmesi, bir rehberin, arkadaşın ya da danışmanın büyük şirketler tarafından tek taraflı olarak elinizden alınamaması açısından güçlü bir avantaj.

  • Bu tartışmayı bir HN blog konusu olmanın ötesine taşımak için ne gerektiğini merak ediyorum.

  • Mevcut modellerin bağlam penceresi sınırlı olduğu için bir noktada içerikleri unutuyorlar; bu yüzden oturumun değeri o kadar yüksek değil. Gelecekte etkileşimlerle modelin kendisi gerçekten öğrenip değişirse, bu değişim başka bir modele taşınamaz; bu nedenle bu sorunun çok büyük bir anlamı olmadığını düşünüyorum.

  • Bu yazıyla birlikte https://gwern.net/complement okunursa harika bir tamamlayıcı kaynak olur.

    • Neden tamamlayıcı olduğuna dair bir gerekçe gerekiyor