- OpenAI’nin frontier modelleri, Amazon Bedrock’un AWS yerel agent runtime ortamına geliyor; bu, yalnızca model sunmanın ötesine geçerek kurumsal kullanıma yönelik managed agent biçiminde birleşiyor
- Bedrock Managed Agents, identity, permissions, logging, governance ve deployment’ı birlikte paketleyerek, müşterilerin tek tek bir araya getirdiği bileşenler olmadan kurumsal ortamda agent’ları daha hızlı çalıştırmasını sağlıyor
- Bugün agent performansı yalnızca modelin kendisi tarafından değil, tools, state, memory, permissions ve evals’i içeren harness ile ne kadar iyi birleştiği tarafından da büyük ölçüde belirleniyor; AWS ile OpenAI bu birleşimi ortak bir ürün olarak ele alıyor
- Müşteri verileri AWS VPC içinde kalıyor, OpenAI modelleri Bedrock üzerinden çalıştırılıyor ve destek süreci de AWS merkezli yürütülüyor
- İlk dönem bulutun startup’ların önünü açmasına benzer şekilde, bu birleşim de yapay zeka benimseme bariyerini düşüren akışın üzerinde yer alıyor; hızla büyüyen frontier talebiyle birlikte yeni bir platform katmanı olma iddiasını da ortaya koyuyor
AWS ve startup’lar, yapay zeka benimseme hızı
- AWS’nin ilk bulut modeli, normalde yalnızca büyük şirketlerin sahip olabildiği altyapıyı birkaç dolar ve bir kredi kartıyla kullanılabilir hale getirerek, geliştiricilerin ne inşa edeceğini önceden belirlemeyen bir yaklaşımla internet üzerindeki üretim alanını büyük ölçüde genişletti
- Yapay zeka benimsemesinin etkisi de buna benzer, hatta daha büyük görülüyor
- Uygulama geliştirmek için 10 yıl kodlama öğrenmek zorunda olunan yapı zayıflıyor
- Yüzlerce kişilik ekipler ve uzun geliştirme süreleri olmadan da küçük ekipler hızla ürün çıkarıp bunu yinelemeli biçimde iyileştirebiliyor
- Dünyanın farklı alanlarında yeni inovasyonların önünü açan bir araç işlevi görüyor
- Bulutun ilk yıllarından farklı olarak yapay zeka benimseme hızı çok hızlı ilerliyor
- 2006’da bulut için “bir kitapçı şirketi neden bilişim hizmeti sunuyor” sorusunu uzun uzun anlatmak gerekiyordu; yapay zekayı ise insanlar çok daha hızlı kavrıyor
- Basit akıllı sohbet botlarından şirket içi işleri yerine getirmeye geçiş süreci eğitim gerektirmiş olsa da, teknolojik değişim hızı açısından bakıldığında yine de oldukça hızlı ilerledi
- Startup platform geçişleri Internet, cloud, mobile, AI olmak üzere dört başlıkta özetleniyor
- YC’nin ilk dönemlerinde AWS gibi bulut hizmetleri sayesinde az sermayeyle şirket kurmak mümkün hale geldi
- Colo alanı kiralama, sunucu toplama ve daha en başta büyük para toplama zorunluluğu ciddi biçimde azaldı
- Sadece sunucu maliyetinin bile on binlerce doları bulduğu varsayımı yıkıldı ve düşük sermayeyle girişim kurma modeli mümkün oldu
- Startup’lar, büyük platform geçişleri sırasında daha kısa döngülerle ve daha az sermayeyle hareket edebildiklerinde büyük şirketleri yenmekte daha avantajlı oluyor
- Bugün yapay zeka üzerinde de benzer bir yön görülüyor
- YC içinde, bir batch’in başlangıcı ile sonu arasında bile iyi şirketler için gelir beklentisinin değişecek kadar gelir büyüme hızı geçmişe kıyasla çok daha hızlı ilerlediği anlatılıyor
- AWS, bugün de birçok büyüme aşamasındaki startup’ın kullandığı bulut olarak gösteriliyor
- Scale, availability, security, reliability, AWS içindeki ISV partner ekosistemi ve AWS içindeki müşteri tabanı birlikte temel güçlü yanlar olarak sunuluyor
- Yalnızca kredi vermekle kalmayıp sistem tasarımı tavsiyeleri ve go-to-market tavsiyeleri de sağlayarak startup’ları AWS’nin temel dayanaklarından biri olarak görmeye devam ediyor
- Her çeyrekte doğrudan startup’larla görüşüp ürünün gerçekten ihtiyaçlara uyup uymadığını kontrol ediyor
- Günümüz startup’larında genel compute için AWS, yapay zeka için OpenAI API kullanımının birlikte görülmesi çok yaygın bir kalıp haline gelmiş durumda
Bedrock Managed Agents ve ortak ürün yönü
- Bedrock Managed Agents, OpenAI modellerinin sadece AWS’ye gelmesi değil, OpenAI’nin frontier modellerinin AWS yerel agent runtime içine yerleştirilmesi olarak tanımlanıyor
- Identity, permission state, logging, governance ve deployment gibi operasyonel unsurlar bununla birlikte paketleniyor
- Yapay zekanın bir sonraki aşaması, metin girip metin alma düzeyini aşarak şirket içinde gerçekten iş yapan stateful agent yapısına doğru ilerliyor
- “Virtual co-workers” ifadesi kusursuz bulunmasa da en az yapay duran ifade olarak ele alınıyor
- Sektör genelinde bu yapının ne olarak adlandırılacağı ve nasıl kullanılacağı konusunda henüz tam bir uzlaşma yok
- Codex, bu akışın net bir örneği olarak sunuluyor
- Asıl önemli olan istenen işin gerçekten gerçekleşmesi; kullanıcı da model ile harness arasında hangisinin daha fazla katkı verdiğini ayırt etmemeye başlıyor
- Model ile harness arasındaki birleşim düzeyi, agent performansının temel unsuru olarak ele alınıyor
- Tools, state, memory, permissions ve evals gerçek çalışma şeklini belirliyor
- Bu, pre-training ile birebir aynı olmasa da hem post-training hem de prompt düzeyinde gerçekleşen bir birleşim
- Başta ayrı görünen tool-calling bile zamanla eğitim sürecine daha derinden entegre oluyor
- İleride model ile harness’ın, ayrıca pre-training ile post-training’in de daha güçlü biçimde birleşebileceği öngörülüyor
- Sektörün olgunluk düzeyi, hâlâ Homebrew Computer Club dönemine benzetilecek kadar erken bir aşamada tasvir ediliyor
- AWS ile OpenAI’nin ortak çalışması, müşterilerin bugüne kadar kendilerinin birleştirmesi gereken unsurları paketleyerek kurumsal ortamda değere daha hızlı ulaşmayı hedefliyor
- Müşteriler, model ile agent’ın hafızayı koruyarak birlikte sorunsuz çalışmasını istiyor
- Yalnızca üçüncü taraf araçlara değil, kendi araçlarına, kendi verilerine, kendi uygulamalarına ve kendi operasyon ortamlarına da bağlamak istiyor
- Bu tür entegrasyon işleri şimdiye kadar her müşterinin kendisinin üstlenmek zorunda kaldığı alanlardı
- Ortak üründe identity yerleşik geliyor ve veritabanı kimlik doğrulaması da AWS VPC içinde yapılacak şekilde tasarlanıyor
- Hedef yalnızca kullanım kolaylığını artırmak değil; mevcut yöntemlerle büyük zahmetle bir araya getirilse bile güvenilir biçimde hayata geçirilemeyen şeyleri mümkün kılmak
- Bugün geliştiricilerin, modelleri kullanarak bir şeyler üretirken çok fazla zahmet ve manuel iş yaşadığı belirtiliyor
- ChatGPT kullanımında bile çok sayıda kopyala-yapıştır ve karmaşık prompt kombinasyonu var
- Bu sürtünmenin ortadan kalkacağı, ancak şu an hâlâ çok erken ve kullanışsız bir aşamada olunduğu vurgulanıyor
- Bu iş birliği, hâlihazırda AWS üzerinde bulunan müşterilerin OpenAI technology istemesiyle, OpenAI’nin AWS müşterilerine erişimini genişletme isteğinin kesişmesi sonucu da ortaya çıkmış durumda
- Burada yalnızca model dağıtımının ötesine geçen, birlikte yeni bir ürün inşa etme yönü daha güçlü biçimde vurgulanıyor
- Bir yıl sonra geriye dönüp bakıldığında, “AWS üzerinden OpenAI modellerine erişim mümkün oldu” ifadesinden çok bu yeni ürünün öneminin akılda kalması isteniyor
- Model, harness ve capability düzeyinde bu yaklaşım, mevcut model API çağrılarından farklı yeni bir bilişim biçimine daha çok yaklaşıyor
AgentCore, Managed Agents, operasyon modeli
- AgentCore, bellek, güvenli yürütme ortamı ve yetkilendirme gibi ajan primitifleri kümesi olarak tanıtılıyor
- Bedrock Managed Agents, AgentCore bileşenlerinin üzerine OpenAI modelleri ve çeşitli operasyon unsurlarını birleştirerek AWS ile OpenAI’nin birlikte geliştirdiği üst seviye bir ürün olarak konumlanıyor
- Yalnızca AgentCore ile de doğrudan agentic workflow oluşturmak mümkün
- Bunu hâlihazırda production’da çalıştırıp gerçek kullanım sağlayan müşteriler de var
- Şu anda da AgentCore kullanırken OpenAI modellerini harici çağrı yoluyla kullanmak mümkün
- Bedrock içine yerel olarak entegre edilmiş biçimde değil, ancak başka bir bulutta bulunan OpenAI modellerini doğrudan çağıran müşteriler bulunuyor
- AWS bunu açık bir ekosistem olarak ele alıyor
- İstenen yetenekleri birleştirip doğrudan inşa etme yaklaşımı bundan sonra da sürebilir
- Evde kendi bilgisayarını toplayan insanlar gibi, uzun süre kendi ajanlarını yapmak isteyen geliştiricilerin kalacağı düşünülüyor
- Çok sayıda müşteri, tüm parçaları tek tek kendi kurmak zorunda kalmadıkları daha kolay bir yöntem istiyor ve bu iş birliği duyurusu da bu talebi hedefliyor
- Azure üzerinde OpenAI kullanımı, API’ye doğrudan erişim deneyimi olarak tanımlanırken, Amazon’daki bu duyuru ondan ayrışan bir managed service olarak çerçeveleniyor
- Bu managed agent hizmeti şu anda Amazon ile münhasır şekilde yürütülüyor
- Bu, sadece Amazon API’sini kullanma düzeyinde değil, iki şirketin birlikte ilerlettiği bir joint effort olarak ele alınıyor
- Müşteri verileri AWS içinde kalıyor
- Her şey VPC içinde kalıyor ve Bedrock ortamı içinde korunuyor
- OpenAI modelleri Bedrock üzerinden çalıştırılıyor ve altyapıda Trainium ile GPU birlikte kullanılıyor
- Bunun bir kısmı zamanlama, bir kısmı da capabilities meselesi olarak açıklanıyor
- Zamanla daha büyük bir payın Trainium’a kayacağı yönünde bir çerçeve sunuluyor
- OpenAI de kendi modellerinin Trainium üzerinde çalışacak olmasından büyük heyecan duyuyor
- OpenAI modelleri AWS ortamında çalıştırıldığında birincil destek kanalı AWS olacak
- Müşteriler yardım için AWS support ve AWS hesap yöneticileri üzerinden ilerleyecek
- Kurulum sürecinde OpenAI tarafındaki ekipler de kullanım biçimini birlikte şekillendirmek için sürece katılacak
- OpenAI müdahalesi gerektiren hatalar AWS tarafından OpenAI’ye escalate edilecek
Yerel, bulut, yetkiler ve güvenlik sınırları
- Codex başlangıçta bulutta başlasa da, pratikte yeniden yerel çalışmaya dönen bir akış olduğu anlatılıyor
- Yerelin kolay olmasının nedeni ortamın zaten orada olması
- Bilgisayar ayarları, veriler ve dosya erişimi zaten hazır olduğundan ek yapılandırma daha az gerekiyor
- Nihai durum bu olmasa bile kısa vadede kullanım kolaylığı daha belirleyici oluyor
- Uzun vadede ajanların bulutta çalışması, çok ağır işler olduğunda veya bilgisayarın kapatılması gerektiğinde işlerin buluta devredilmesi faydalı bir yön olarak değerlendiriliyor
- Yerel istemcinin hâlâ avantajları var
- iPhone uygulamalarının da yerel bileşenlere sahip olması gibi, connectivity, latency, local compute, dosya ve uygulama erişimi açısından avantaj sağlıyor
- Ancak laptop’un kendisini scale-out etmek mümkün olmadığından ölçeklenebilirlik sınırı net biçimde ortada
- Kurumsal ortamlarda yerel yaklaşım daha zor hale geliyor
- Sadece iki kişi arasında paylaşım olsa bile zorluk seviyesi yükseliyor
- permissions ve security boundary yönetimi daha karmaşık hale geliyor
- Sonuçta yerel ile bulut arasında bir bridge gerekiyor
- Ajanları dağıtılacakları ortama benzer bir ortamda geliştirmek daha doğal görünüyor ve identity ile permission tasarımı hâlâ büyük ölçüde tamamlanmamış bir alan olarak duruyor
- Ajanın doğrudan insan hesabını mı kullanması gerektiği
- Ajanın ayrı bir hesabı mı olması gerektiği
- Birden fazla ajan olduğunda bunların nasıl ayrıştırılacağı gibi sorular açık duruyor
- “Ben’in ajanının Ben olarak oturum açması ama gerçekte Ben olmadığını da işaretlemesi” türünde bir primitif bile henüz yok
- Ajanlar iş gücünün parçası haline geldikçe ve özerklikleri ile görev karmaşıklıkları arttıkça, şirket içindeki ve genel internet üzerindeki erişim kontrolü ile yetki modellerinin de birlikte evrilmesi gerekecek
- Buluta geçildikçe merkezi organizasyonlar güvenlik denetimini daha güçlü biçimde elde tutabiliyor
- Müşteriler güçlü modellerin ve ajanların sunduğu imkânları beğenirken, yanlışlıkla şirketi mahvedecek bir olay yaşanmasından en çok endişe ediyor
- VPC içinde çalıştırma, belirli bir gateway’den geçirme veya ortam içindeki role benzeri yapılarla yetki verme gibi yöntemlerle sınırlar kontrol edilebiliyor
- AWS’nin 20 yılda kurduğu güvenlik yapısı sayesinde sadece girişimler değil, küresel bankalar, sağlık kuruluşları ve devlet kurumları da bunu kullanabildiği vurgulanıyor
- Riski sevmeyen organizasyonlar için sandbox içindeki guardrail’ler benimsemeyi aslında daha da genişletebiliyor
Yapay zeka yığını ve kurumsal mimari
- Kurumsal müşteriler, veriyle ajanları bağlayan, token harcaması takibi ve gözetim sağlayan bir yönetim katmanı istiyor
- Büyük kurumsal müşteriler, agent runtime environment, yönetim katmanı ve çalışanlara yönelik workspace’in birlikte paketlendiği bir yapıyı tutarlı biçimde talep ediyor
- Çalışan workspace’i için Codex benzeri bir yapı örnek olarak veriliyor
- Böyle bir paket talebi oldukça tutarlı, ancak gerçek ürün tarafında hâlâ daha fazla şey inşa edilmesi gerekiyor
- Organizasyon içinde çok sayıda veritabanı ve SaaS uygulaması ile dağınık veriler arasında çalışan bir middleware / middle layer gerekeceği konusunda görüş birliği var
- Bu bağlamda OpenAI Frontier da ilişkilendiriliyor
- Mevcut yapıda hem kullanıcı etkileşimini yöneten bir user agent layer hem de şirketin yönetim katmanı gerekli görünüyor
- Kullanıcı tarafında birden fazla ajanla etkileşim kurulan ve bu ajanların birbirleriyle konuşacak şekilde inşa edildiği modeller kullanılıyor
- Şirketin yönetim katmanında ise yapay zekanın dosya sistemi gibi alanları gezerken ihtiyaç duyduğu çeşitli control mekanizmaları önem taşıyor
- Ancak modeller yeterince akıllı hale gelirse bu yapının tamamının yeniden tasarlanması da mümkün olabilir
- Bugünkü çift katmanlı yapı mevcut dünyaya göre şekillenmiş durumda
- Gelecekteki mimarinin tam olarak nasıl olacağı henüz bilinmiyor
- Bir noktada “Bu aslında doğrudan modelin içinde olmalı” sonucuna varılabilir
- Müşterilerin gerçekten kullanıp inşa etme süreçlerinden, neyi daha kolay, daha hızlı ve daha iyi hale getirmek gerektiği öğrenilecek
Talep, kapasite, model katmanlaşması
- OpenAI bu işe çok büyük miktarda compute alımı ve kayda değer emek koyuyor; buna uygun gelir de bekliyor
- Zekâya yönelik talep, fiyat yeterince düştüğünde fiilen üst sınırı olmayan bir talep gibi ele alınıyor
- Şu anda fiyatlardan çok kapasite yetersizliği daha büyük kısıt gibi görünüyor
- Fiyattan bağımsız olarak daha fazla capacity isteyen ve bunun için daha çok ödemeye hazır müşteri sayısı, fiyat pazarlığı yapanlardan daha fazla
- Mevcut düzeydeki zekâ maliyetinin ileride dramatik biçimde düşeceğine dair güçlü bir inanç ifade ediliyor
- Toplam pazar talebinin önemli bir kısmının absolute frontier tarafında toplanması, beklenenden daha şaşırtıcı bir sinyal olarak değerlendiriliyor
- Önceki nesil modellerin yeterli olacağı varsayımından daha çok, kullanıcıların en yeni frontier modellerini istemeyi sürdürdüğü görülüyor
- Compute maliyetleri onlarca yıl boyunca ciddi şekilde düşmesine rağmen satış hacminin artmayı sürdürmesi gibi, yapay zekanın da benzer bir talep genişleme yolu izleyebileceği öne sürülüyor
- Şu an yararlı işler yapabilmek için çoğu durumda frontier modeller gerekiyor ve bu yüzden herkes o tarafa yöneliyor
- Zaman içinde küçük, ucuz, hızlı modeller ile çok büyük modellerin birlikte bulunduğu karma bir yapı oluşması bekleniyor
- Bazı küçük modeller zamanla, bugün en yeni OpenAI modellerinin bile henüz yapamadığı işleri yapabilir hale gelebilir
- Çok büyük modeller ise kanser tedavisi gibi daha büyük problemleri hedefleyebilir
- Şu anda hâlâ erken aşamadayız ve bu ölçekte talep ile büyümenin aynı anda görülmesi, önümüzdeki olasılıkları ciddi biçimde büyütüyor
Trainium, soyutlama, iç hesaplama
- Trainium için, adının aksine gelecekte inference tarafında daha görünür hale gelebileceği sorusuna AWS, hem training hem de inference için faydalı olduğunu söyledi
- Müşterilerin Trainium ile doğrudan uğraşmak yerine buna managed service soyutlaması üzerinden erişeceği yön vurgulandı
- Nasıl ki müşterilerin çoğu GPU ile doğrudan muhatap olmuyorsa, OpenAI ya da Claude kullanırken de aslında GPU, Trainium veya TPU ile değil, interface ile etkileşime giriliyor
- Bundan sonra da accelerator chip’lerin az sayıdaki büyük model ve hizmetin arkasında çalışması olası görünüyor
- Bu sayı 5, 10, 20 ya da 100 düzeyinde olabilir, ancak bunları doğrudan programlayan kişi sayısının milyonlara çıkması beklenmiyor
- Model eğitimi çok para gerektiriyor ve yüksek düzeyde operasyon uzmanlığı istiyor
- OpenAI ekibi büyük compute cluster’lardan değer çıkarma konusunda çok yetkin, ancak böyle ekiplere sahip olan yerlerin sayısı fazla değil
- OpenAI, önce kendilerini bir token factory gibi düşündüklerini söyledikten sonra, hemen bunu intelligence factoryye daha yakın olacak şekilde düzeltti
- Müşterinin istediği şey token sayısı değil, en düşük maliyetle en iyi zekâ birimini yeterli kapasiteyle almak
- GPT-5.5, token başına maliyeti 5.4’ten yüksek olsa da, aynı cevabı almak için gereken token sayısının çok daha az olduğu bir örnek olarak sunuldu
- Kullanıcılar, bir yanıtın kaç token tuttuğundan çok istedikleri işin tamamlanıp tamamlanmadığıyla ilgileniyor
- İster daha büyük bir model daha az token’la çalışsın, ister daha küçük bir model daha çok token’la çalışsın; ister GPU olsun ister Trainium, müşteri iç uygulamadan çok daha düşük maliyetle daha büyük fayda istiyor
- Codex ya da Amazon Bedrock için Stateful Runtime Environment içinde yeni bir agent oluşturulurken de kullanıcının hangi iç compute seçildiğini düşünmek zorunda kalmaması gerekiyor
- Token kullanımındaki azalma esas olarak model iyileştirmelerinin sonucu; harness etkisinin payı ise sınırlı
- AWS, benzer managed service’i başka modellere de genişletip genişletmeyeceği sorusuna, şimdilik yalnızca OpenAI ile iş birliğine odaklandığını söylemekle yetindi
Pazarın gelişimi ve platform stratejisi
- ChatGPT, Facebook’tan sonra ortaya çıkan ilk büyük ölçekli yeni tüketici ürünü olarak değerlendiriliyor
- OpenAI, yalnızca ChatGPT’de değil, API ve özellikle Codex tarafında da oldukça iyi sonuçlar aldığını belirtti
- Geçmişte, yeni dil arayüzlerinin internette bilgi bulma biçimini değiştirme potansiyeline daha çok odaklandıklarını da hatırlattı
- Google, breadth ve depth açısından hâlâ phenomenal company olarak değerlendiriliyor
- AWS başından beri partner merkezli strateji izledi ve partner başarılı olursa AWS’nin de başarılı olduğu bir yapı kurmayı hedefledi
- Bu yaklaşım her şeyi doğrudan sahiplenmekten farklı ve daha çok pastayı büyütmek anlamına geliyor
- Müşterinin kendisi için en uygun olanı seçebilmesi gerektiğini, bunun kendi ürünleri ya da partner ürünleri olmasının fark etmediğini savunuyor
- Bedrock da bu strateji üzerinde, geniş model yelpazesini ve çeşitli özellikleri destekleyecek şekilde tasarlandı
- Veritabanı, compute platformu gibi diğer alanlarda da benzer yaklaşımı sürdürdü
- AWS, altyapı katmanında S3 gibi kendi temel bileşenlerini güçlü biçimde öne çıkarırken, stack’in üst katmanlarına çıkıldıkça daha geniş partner ekosistemini benimsemenin müşteri için de daha yararlı olduğunu düşünüyor
- İki şirketin rolleri, OpenAI’ın Software, AWS’nin Infrastructure sağladığı ve birlikte Platform oluşturdukları bir yapı olarak tanımlanıyor
- Önümüzdeki 1 yıl içinde model yeteneklerinin keskin biçimde ilerlemesi beklendiğinden, platformu birlikte inşa etmek için şu anın iyi bir zamanlama olduğu düşünülüyor
1 yorum
Hacker News yorumları
çünkü Amazon üzerinden, “güvenilen” bir aracı sayesinde erişilebiliyordu. OpenAI yasaklı ve güvenilmeyen bir seçenekti
Bu kurumların hukuk ekiplerinin değerlendirmesine ille de katılıyor değilim ama hizmet şartlarını benden çok daha dikkatli okuduklarını varsayıyorum
Bu duyurunun oyunu değiştirip değiştirmeyeceğini görmek lazım ama şu anki hissiyatım, OpenAI’nin birçok açıdan epey geride kaldığı yönünde
Yine de yapay zeka sektöründe 2~8 haftalık fark devasa bir uçurum sayılmaz; bu yüzden gerçek etkiden çok algı meselesi de olabilir
En azından benim bilgi balonumda Sam Altman yüzünden OpenAI’nin itibarı dipte; etik dışı görünüyor ve fabs ile ilgili talepleri gibi şeylere bakınca oldukça istikrarsız göründüğü için pek sevilmiyor
Sadece AWS kullanmak tek başına yeterli değil ve AWS modeli çalıştırıyor olsa bile düzgün bir ZDR istiyorsanız bunu ayrıca onlarla görüşmeniz gerekir [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
İkisi de bundan açıkça kazanç sağladı ve AWS müşterilerinin geri bildirim döngüsü kültürü, Anthropic’in kurumsal ihtiyaçlara daha hızlı uyum sağlamasına yardımcı olmuş olabilir
Azure tarafında bu zaten bir süredir vardı
Buna karşılık Anthropic tek bir şeye odaklanıyor; bu yüzden de SWE benchmark’larında sürekli zirveye oynuyor gibi görünüyor
AWS, girdilerin ve çıktıların model sağlayıcısıyla paylaşılmadığını ve temel model eğitiminde kullanılmadığını açıkça belirtiyor [1]
Üstelik OpenAI, NYT v. OpenAI davasında Mayıs 2025’te bir saklama emri aldı ve mahkeme ChatGPT çıktı günlüklerinin fiilen süresiz olarak tutulmasını zorunlu kılıyor
Buna, normalde 30 gün içinde silinmiş olacak kullanıcı tarafından silinen konuşmalar da dahil [2]
Bu yüzden HIPAA/GDPR kısıtları altındaki kurumlar için daha başlangıçta kabul edilemez bir koşul haline geliyor
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Siyaset ve bürokratik inceleme süreçleri ise genelde daha alt seviyedeki insanları özellik kırıntıları ve operasyon işleriyle meşgul tutmaya yarıyor gibi geliyor
Model, GPT’nin OSS varyantına yeterince benziyorsa bu iş düşündüğümüz kadar karmaşık olmamış olabilir
Kuantizasyon, özel serving silikonları, batching ve diğer çıkarım optimizasyonları yüzünden, orijinal sağlayıcının sürümüyle barındırılan sürüm farklı davranabilir
Bu makale birebir aynı durumu ele almıyor; denetlenebilir açık ağırlıklı Llama’yı inceliyor ama benzer belirtileri iyi gösteriyor
https://arxiv.org/pdf/2410.20247
Orada gerçekten epey marj da bırakılabiliyor gibi görünüyor
Bunun Microsoft’tan uzaklaşma akışıyla doğrudan bağlantılı olup olmadığını da merak ediyorum
Sadece çevremde gördüğüm örneklerde bile ciddi kurumsal dağıtımlarda OpenAI neredeyse tamamen görmezden geliniyor; çünkü Azure’daki sunum zayıf ve onun dışında da şirket dostu bir yol yok
Anthropic + AWS ikilisine kurumsal pazarı bırakmanın ölümcül olacağını fark edip OpenAI’nin yetişmek için harekete geçtiği izlenimi veriyor
https://news.ycombinator.com/item?id=47921248
Finans ve sağlık gibi regülasyona tabi sektörler çoğu zaman zaten AWS ile veri yerleşikliği taahhütleri içeren sözleşmeler imzalamış durumda
Bedrock üzerindeki OpenAI, bu kurumların OpenAI ile ayrıca bir DPA müzakeresi yürütmesine gerek bırakmayabilir; bu yüzden evrak üzerinde göründüğünden çok daha büyük bir atılım olabilir
Bir alt işleyici daha azalıyor ve veri zaten AWS içinde olduğu için başka bir yere gönderildiği endişesi de hafifliyor
Tabii AWS sonunda pes edip Bedrock’ı biraz daha kullanılabilir hale getirmek için OpenAI API uyumluluğu eklemediyse
Responses ve Chat Completions destekleniyor, detaylar burada https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Sadece bu HN gönderisinde bile duyuru bağlantısının aynı anda 4 kez düşmesi tesadüf değil
Yanlış şey yanlış zamanda söylenirse milyarlarca dolarlık yatırım sarsılabildiği için, mesajların çok dikkatli biçimde işlenip aşamalı olarak verilmesi kaçınılmaz