- OpenAI’nin frontier modelleri, Amazon Bedrock’un AWS yerel ajan çalışma zamanına geliyor; bu, yalnızca model sunmanın ötesine geçip kurumsal kullanıma yönelik managed agent biçiminde birleşmeleri anlamına geliyor
- Bedrock Managed Agents, identity, permissions, logging, governance ve deployment’ı birlikte paketleyerek, müşterilerin tek tek birleştirmek zorunda kaldığı parçalar olmadan ajanları kurumsal ortamda daha hızlı çalıştırmasını sağlıyor
- Bugün ajan performansı yalnızca modelin kendisine değil; tools, state, memory, permissions ve evals’ı kapsayan harness entegrasyonuna da büyük ölçüde bağlı ve AWS ile OpenAI bu entegrasyonu ortak ürün olarak ele alıyor
- Müşteri verileri AWS VPC içinde kalıyor, OpenAI modelleri Bedrock üzerinden çalıştırılıyor ve destek süreci de esas olarak AWS merkezli yürütülüyor
- Tıpkı ilk dönem bulutun startup kurmanın önünü açması gibi, bu birleşim de yapay zeka benimseme eşiğini düşüren akımın parçası; aynı zamanda hızla büyüyen frontier talebiyle birlikte yeni bir platform katmanı olma çabasını da gösteriyor
AWS, startup’lar ve yapay zekayı benimseme hızı
- AWS’nin ilk bulut modeli, daha önce yalnızca büyük şirketlerin sahip olabildiği altyapıyı birkaç dolar ve bir kredi kartıyla kullanılabilir hale getirerek, geliştiricilerin ne inşa edeceğinin önceden belirlenmediği bir ortamda internet üzerindeki üretim alanını ciddi biçimde genişletti
- Yapay zeka benimsemesinin etkisi de benzer, hatta daha büyük görülüyor
- Uygulama geliştirmek için 10 yıl kod yazmayı öğrenme zorunluluğu zayıflıyor
- Yüzlerce kişilik ekipler ve uzun geliştirme süreleri olmadan da küçük ekipler hızlıca ürün çıkarıp yinelemeli şekilde iyileştirme yapabiliyor
- Dünyanın farklı alanlarında yeni inovasyonların kapısını açan bir araç işlevi görüyor
- Bulutun ilk yıllarından farklı olarak yapay zeka benimseme hızı çok daha yüksek ilerliyor
- 2006’da bulut için “bir kitapçı şirketi neden bilişim hizmeti veriyor?” sorusunu uzun uzun açıklamak gerekirken, insanlar yapay zekayı çok daha hızlı kavrıyor
- Basit akıllı sohbet botlarından kurum içi iş yapan sistemlere geçiş eğitim gerektirse de, teknolojik değişim hızı açısından süreç yine de görece hızlı ilerledi
- Startup platform geçişleri dört ana dalga olarak özetleniyor: Internet, cloud, mobile, AI
- YC’nin ilk dönemlerinde, AWS gibi bulut hizmetleri sayesinde az sermayeyle şirket kurmak mümkün hale geldi
- Colo alanı kiralama, sunucu toplama ve peşin büyük para toplama gibi engeller ciddi ölçüde azaldı
- Yalnızca sunucu maliyetlerinin bile on binlerce dolar tutacağı varsayımı kırıldı ve düşük sermayeyle girişim kurma modeli mümkün oldu
- Startup’lar, büyük platform geçişlerinde daha kısa döngüler ve daha az sermayeyle hareket edebildiklerinde büyük şirketleri yenmeye daha yatkın oluyor
- Bugün yapay zeka alanında da benzer bir yön görülüyor
- YC içinde, batch’in başlangıcı ile sonu arasında bile iyi şirketler için gelir beklentisinin değişecek kadar gelir büyüme hızı geçmişe kıyasla çok daha hızlı ilerlediği belirtiliyor
- AWS, bugün de birçok büyüme aşamasındaki startup’ın kullandığı bulut olarak konumlanıyor
- Scale, availability, security, reliability ile AWS içindeki ISV partner ekosistemi ve AWS içindeki müşteri tabanı birlikte güçlü yönler olarak sunuluyor
- AWS, kredi sağlamanın yanı sıra sistem tasarımı ve go-to-market konusunda da danışmanlık veriyor; startup’ları temel müşteri tabanının parçası olarak görmeyi sürdürüyor
- Her çeyrekte startup’larla doğrudan görüşerek ürünlerin gerçekten uygun olup olmadığını kontrol ediyor
- Günümüz startup’larında genel compute için AWS, yapay zeka için OpenAI API kullanma deseni oldukça yaygın hale gelmiş durumda
Bedrock Managed Agents ve ortak ürün yönü
- Bedrock Managed Agents, OpenAI modellerinin yalnızca AWS’ye gelmesi değil, OpenAI’nin frontier modellerinin AWS yerel ajan çalışma zamanı içine yerleştirilmesi olarak tanımlanıyor
- identity, permission state, logging, governance ve deployment gibi operasyonel unsurlar da bununla birlikte paketleniyor
- Yapay zekanın bir sonraki aşaması, metin verip metin alma noktasını aşarak şirket içinde gerçekten iş yapan stateful agent sistemlerine doğru ilerliyor
- “virtual co-workers” ifadesinin kusursuz olmadığı, ama en az tuhaf duran tanım olduğu belirtiliyor
- Sektörün tamamı, bu yapıları nasıl adlandıracağı ve nasıl kullanacağı konusunda henüz tam uzlaşmış değil
- Codex, bu akışın net örneklerinden biri olarak gösteriliyor
- Esas önemli olan, istenen işin gerçekten gerçekleşmesi; kullanıcı artık model ile harness arasında hangisinin daha fazla katkı verdiğini ayırmıyor
- Model ile harness arasındaki entegrasyon, ajan performansının temel unsuru olarak ele alınıyor
- tools, state, memory, permissions ve evals gerçek davranışı belirliyor
- Bu entegrasyon pre-training ile birebir aynı olmasa da hem post-training hem de prompt düzeyinde gerçekleşiyor
- Başta ayrı görünen tool-calling de zaman içinde eğitim sürecine daha derin biçimde entegre oluyor
- Gelecekte model ile harness’ın, ayrıca pre-training ile post-training’in daha da sıkı biçimde birleşebileceği ifade ediliyor
- Sektörün olgunluk düzeyi hâlâ Homebrew Computer Club dönemine benzetilecek kadar erken aşamada görülüyor
- AWS ile OpenAI’nin ortak çalışması, müşterilerin kendilerinin kurmak zorunda kaldığı parçaları bir araya getirerek kurumsal ortamda değere daha hızlı ulaşmayı hedefliyor
- Müşteriler, model ve ajanın hafızayı koruyarak birlikte iyi çalışmasını istiyor
- Sadece üçüncü taraf araçlarla değil, kendi araçları, verileri, uygulamaları ve operasyon ortamlarıyla da entegre etmek istiyorlar
- Bu entegrasyon işi şimdiye dek her müşterinin kendi başına üstlenmek zorunda kaldığı bir alandı
- Ortak üründe identity yerleşik geliyor ve veritabanı kimlik doğrulaması da AWS VPC içinde gerçekleşecek şekilde tasarlanıyor
- Hedef yalnızca kullanım kolaylığı değil; eski yöntemlerle zahmetli biçimde birleştirilse bile güvenilir şekilde gerçekleştirilemeyen şeyleri mümkün kılmak
- Bugün geliştiricilerin, modelleri kullanarak bir şey inşa ederken fazla acı ve fazla el işi yaşadığı anlatılıyor
- ChatGPT kullanımında bile çok sayıda kopyala-yapıştır ve karmaşık prompt kombinasyonu bulunuyor
- Bu sürtünmenin zamanla kaybolacağı, ancak bugünün hâlâ çok erken ve rahatsız bir dönem olduğu vurgulanıyor
- Bu iş birliği, AWS’de kalan müşterilerin OpenAI technology istemesi ile OpenAI’nin AWS müşterilerine erişimini genişletme yönünün kesişmesiyle de şekilleniyor
- Yalnızca model dağıtımı değil, yeni bir ürünün birlikte inşa edilmesi tarafı daha güçlü biçimde öne çıkarılıyor
- Bir yıl sonra dönüp bakıldığında “AWS üzerinden OpenAI modeline erişilebiliyor” bilgisinden çok bu yeni ürünün öneminin hatırlanması umuluyor
- Model, harness ve capability açısından, klasik model API çağrısından farklı yeni bir hesaplama biçimine yaklaşılıyor
AgentCore, Managed Agents ve operasyon modeli
- AgentCore, bellek, güvenli yürütme ortamı ve yetkilendirme gibi ajan primitifi bileşenlerinden oluşan bir küme olarak tanıtılıyor
- Bedrock Managed Agents, AgentCore bileşenlerinin üzerine OpenAI modelleri ve çeşitli operasyonel unsurları ekleyerek AWS ile OpenAI’nin birlikte kurduğu üst seviye ürün olarak konumlanıyor
- Sadece AgentCore ile de doğrudan agentic workflow oluşturmak mümkün
- Bunu production’da çalıştıran ve gerçek kullanım sağlayan müşteriler zaten mevcut
- Bugün de AgentCore kullanırken OpenAI modellerini dış çağrıyla kullanmak mümkün
- Bu, Bedrock içine yerel gömülü bir yapı değil; ancak başka bir buluttaki OpenAI modelini doğrudan çağıran müşteriler bulunuyor
- AWS bunu açık bir ekosistem olarak ele alıyor
- İsteyenlerin gerekli yetenekleri birleştirip kendi çözümlerini kurma yaklaşımı devam edebilir
- Tıpkı evde kendi bilgisayarını toplayan insanlar gibi, uzun süre kendi ajanlarını yapmak isteyen geliştiricilerin kalacağı düşünülüyor
- Birçok müşteri ise tüm parçaları tek tek kurmak zorunda olmadığı daha kolay bir yol istiyor; bu lansman da o talebi hedefliyor
- Azure üzerinde OpenAI kullanımı, API’ye doğrudan erişim deneyimi olarak tanımlanırken; Amazon’daki bu duyuru, ondan farklı bir managed service olarak ayrıştırılıyor
- Bu managed agent hizmeti şu anda Amazon ile özel olarak yürütülüyor
- Bu, yalnızca Amazon API’sini kullanmak değil; iki şirketin birlikte yürüttüğü bir joint effort olarak tanımlanıyor
- Müşteri verileri AWS içinde kalıyor
- Tüm yapı VPC içinde kalıyor ve Bedrock ortamının içinde korunuyor
- OpenAI modelleri Bedrock üzerinden çalıştırılıyor ve altyapıda Trainium ile GPU karışık kullanılıyor
- Bunun bir kısmı zamanlama, bir kısmı da capability nedenleriyle açıklanıyor
- Zamanla daha büyük bir payın Trainium’a kayacağı yönünde bir beklenti dile getiriliyor
- OpenAI de modellerinin Trainium üzerinde çalışması konusunda yüksek beklenti taşıyor
- OpenAI modellerini AWS ortamında çalıştırırken ilk destek noktası AWS oluyor
- Müşteriler yardım için AWS support ve AWS hesap yöneticileriyle çalışıyor
- Kurulum sürecinde OpenAI tarafındaki ekipler de katılarak kullanım biçimini birlikte şekillendiriyor
- OpenAI müdahalesi gerektiren bug’lar için AWS, konuyu OpenAI’ye eskale ediyor
Lokal, bulut, yetki ve güvenlik sınırları
- Codex önce bulutta başlasa da, fiiliyatta yeniden lokal çalışmaya dönen bir akış örneği olarak anlatılıyor
- Lokal yaklaşımın kolay olmasının nedeni, ortamın zaten orada olması
- Bilgisayar ayarları, veriler ve dosya erişimi zaten hazır olduğundan ek yapılandırma daha az gerekiyor
- Nihai durum bu olmasa da kısa vadede kullanım kolaylığı daha ağır basıyor
- Uzun vadede ajanların bulutta çalışması, çok ağır işler veya bilgisayarın kapatılması gereken senaryolarda görevin buluta devredilmesi daha yararlı bir yön olarak görülüyor
- Lokal istemcinin yine de avantajları var
- iPhone uygulamalarında da yerel bileşenler olduğu gibi; connectivity, latency, local compute ve dosya/uygulama erişimi açısından faydaları bulunuyor
- Ancak dizüstü bilgisayarın kendisini scale-out etmek mümkün olmadığından ölçeklenebilirlik sınırı açık
- Kurumsal ortamda lokal yaklaşım daha zor hale geliyor
- Sadece iki kişi arasında paylaşım gerektiğinde bile zorluk artıyor
- permissions ve security boundary yönetimi daha karmaşık hale geliyor
- Sonuçta lokalle bulutu bağlayan bir bridge gerekiyor
- Ajanların, dağıtılacakları ortama benzer bir ortamda geliştirilmesi daha doğal görülüyor ve identity ile permission tasarımı hâlâ büyük ölçüde tamamlanmamış bir alan olarak duruyor
- Ajanların insan hesabını aynen kullanıp kullanmaması
- Ajanların ayrı bir hesaba sahip olup olmaması
- Birden fazla ajan olduğunda bunların nasıl ayrıştırılacağı gibi sorular açıkta
- “Ben’in ajanı Ben olarak giriş yapıyor ama bunun gerçek Ben değil ajan olduğu belirtiliyor” türünden bir primitive bile henüz yok
- Ajanlar iş gücünün parçası haline gelip özerklikleri ve iş karmaşıklıkları arttıkça, şirket içindeki ve internet genelindeki erişim kontrolü ile yetki modellerinin de gelişmesi gerekecek
- Buluta geçildikçe merkezi ekiplerin güvenlik kontrolünü daha güçlü kurabilmesi mümkün oluyor
- Müşteriler güçlü model ve ajan olasılıklarını sevse de, en büyük endişeleri yanlış bir adımla şirketi bitirecek bir olay yaşanması
- Bunu VPC içinde çalıştırarak, belirli gateway’lerden geçirerek veya ortam içi role’lerle yetki vererek sınırlar kontrol edilebiliyor
- AWS’nin 20 yılda oluşturduğu güvenlik yapısı sayesinde yalnızca startup’ların değil, küresel bankaların, sağlık kurumlarının ve devlet kurumlarının da sistemi kullanabildiği vurgulanıyor
- Riskten kaçınan kurumlar için sandbox içindeki guardrail’ler benimsemeyi aslında genişletebiliyor
Yapay zeka yığını ve kurumsal mimari
- Kurumsal müşteriler, veriler ile ajanları bağlayan ve token harcamasının takibini sağlayan bir yönetim katmanı istiyor
- Büyük şirket müşterileri, agent runtime environment, yönetim katmanı ve çalışan workspace’ini birlikte içeren bir yapı talep ediyor
- Çalışan workspace’i için Codex benzeri yapı örnek veriliyor
- Bu paket talebi oldukça tutarlı olsa da, gerçek ürün tarafında hâlâ daha fazla inşa edilmesi gereken şeyler var
- Kurum içinde çok sayıda veritabanı ve SaaS uygulamasıyla dağınık verileri birbirine bağlayan bir middleware / middle layer gerektiği konusunda fikir birliği var
- Bu bağlamda OpenAI Frontier bağlantısı da veriliyor
- Mevcut yapıda, kullanıcı etkileşimini yöneten bir user agent layer ile kurumun yönetim katmanının ikisine de ihtiyaç olduğu görülüyor
- Kullanıcı tarafında, birden fazla ajanla etkileşim kurma ve bu ajanların birbirleriyle konuşmasını sağlama modeli kullanılıyor
- Kurum tarafındaki yönetim katmanında ise, yapay zekanın dosya sistemi gibi alanlarda gezinirken uyması gereken çeşitli kontroller önem taşıyor
- Ancak modeller yeterince akıllı hale geldiğinde, bu yapının tamamının yeniden tasarlanması da mümkün olabilir
- Bugünkü çift katmanlı yapı, mevcut dünyanın koşullarına göre şekillenmiş durumda
- Gelecekteki mimarinin tam olarak nasıl görüneceği henüz bilinmiyor
- Bir noktada “bu doğrudan modelin içinde olmalı” sonucuna varılabilir
- Müşterilerin gerçek kullanım ve inşa süreçleri üzerinden neyin daha kolay, daha hızlı ve daha iyi hale getirilmesi gerektiği öğrenilecek
Talep, kapasite ve model katmanlaşması
- OpenAI, bu işe çok sayıda compute satın alımı ve ciddi emek yatırdığını, buna karşılık güçlü gelir de beklediğini söylüyor
- Zekâya yönelik talebin, fiyat yeterince düştüğünde fiilen üst sınırı olmayan bir talep gibi davrandığı değerlendiriliyor
- Şu anda asıl kısıtın fiyat değil, kapasite eksikliği olduğu görülüyor
- Fiyattan bağımsız olarak daha fazla capacity isteyen ve ek ödeme yapmaya hazır müşteriler, fiyat pazarlığı yapanlardan daha fazla
- Bugünkü zekâ maliyetlerinin zaman içinde dramatik biçimde düşeceğine dair güçlü bir inanç var
- Toplam pazar talebinin önemli bölümünün absolute frontier üzerinde yoğunlaşması, beklenenden daha şaşırtıcı bir sinyal olarak sunuluyor
- Bir önceki nesil modellerin yeterli olacağı varsayımından daha güçlü biçimde, müşteriler en yeni üst düzey modelleri istemeyi sürdürüyor
- Compute maliyetleri on yıllar boyunca ciddi ölçüde düşmesine rağmen satış hacmi nasıl arttıysa, yapay zekanın da benzer bir talep genişleme yolu izleyebileceği düşünülüyor
- Bugün faydalı işler yapmak için çoğu durumda frontier modeller gerektiğinden, herkesin ilgisi o tarafa yöneliyor
- Zaman içinde küçük, ucuz ve hızlı modeller ile çok büyük modellerin birlikte bulunduğu karma bir yapı oluşması bekleniyor
- Bazı küçük modeller zamanla, bugünün en güncel OpenAI modellerinin bile henüz yapamadığı işleri yapabilir hale gelebilir
- Devasa modeller ise kanser tedavisi gibi daha büyük problemlere yönelebilir
- Bugün hâlâ erken aşamadayız ve bu düzeyde talep ile büyümenin aynı anda görülmesi, gelecekteki potansiyeli önemli ölçüde artırıyor
Trainium, soyutlama ve iç compute
- Trainium için, adına rağmen gelecekte inference tarafında daha görünür olup olmayacağı sorusuna AWS, bunun hem training hem de inference için faydalı olduğunu söyleyerek yanıt veriyor
- Müşterilerin Trainium ile doğrudan değil, daha çok managed service soyutlaması üzerinden karşılaşacağı vurgulanıyor
- Çoğu müşterinin GPU ile doğrudan uğraşmaması gibi, OpenAI veya Claude kullanırken de gerçekte GPU, Trainium ya da TPU ile değil interface ile etkileşime girildiği belirtiliyor
- Gelecekte accelerator chip’lerin, az sayıdaki büyük model ve hizmetin arkasında çalışmaya devam etmesi muhtemel görülüyor
- Bunlar 5, 10, 20 ya da 100 seviyesinde olabilir; ancak bunları doğrudan programlayan insanların sayısının milyonlara çıkması beklenmiyor
- Model eğitimi çok pahalı ve yüksek operasyon uzmanlığı gerektiriyor
- OpenAI ekibinin büyük compute cluster’larından verim çıkarma becerisi güçlü, ancak bu tür ekipler yaygın değil
- OpenAI, önce kendisini bir token factory gibi düşündüğünü, sonra bunun daha çok bir intelligence factory olduğunu söylediğini aktarıyor
- Müşterilerin istediği şey token sayısı değil; yeterli kapasiteyle, en düşük maliyetli en yüksek zekâ birimini almak
- GPT-5.5, token başına maliyeti 5.4’ten yüksek olsa da, aynı yanıtı üretmek için çok daha az token gerektiren örnek olarak veriliyor
- Kullanıcılar, bir yanıtın kaç token tuttuğundan çok, istedikleri işin tamamlanıp tamamlanmadığıyla ilgileniyor
- Daha büyük modelin daha az token’la ya da daha küçük modelin daha çok token’la çalışması, ayrıca GPU ya da Trainium kullanılması fark etmeksizin müşterilerin istediği şey iç uygulama ayrıntısı değil, daha düşük maliyetle daha yüksek fayda
- Codex ya da Amazon Bedrock için Stateful Runtime Environment içinde yeni ajanlar oluşturulurken de, kullanıcıların iç compute seçimini düşünmek zorunda kalmaması gerektiği söyleniyor
- Token kullanımındaki azalma esas olarak model iyileştirmelerinin sonucu; harness etkisi ise yalnızca kısmi bir unsur
- AWS, benzer managed service yaklaşımını başka modellere de genişletip genişletmeyeceği sorusuna, şimdilik yalnızca OpenAI ile iş birliğine odaklandığını belirterek yanıt veriyor
Pazarın yönü ve platform stratejisi
- ChatGPT, Facebook’tan sonra ortaya çıkan ilk büyük ölçekli yeni tüketici ürünü olarak değerlendiriliyor
- OpenAI, yalnızca ChatGPT’de değil, API ve özellikle Codex tarafında da oldukça iyi sonuç aldığını söylüyor
- Geçmişte, yeni dil arayüzlerinin internette bilgi bulma biçimini nasıl değiştirebileceğine daha fazla odaklanıldığını anlatan bir değerlendirme de yer alıyor
- Google ise breadth ve depth açısından hâlâ phenomenal company olarak değerlendiriliyor
- AWS’nin başından beri partner merkezli bir strateji izlediği ve partnerler başarılı olduğunda AWS’nin de başarılı olduğu bir yapı hedeflediği belirtiliyor
- Bu yaklaşım, her şeyi doğrudan sahiplenmekten çok pastayı büyütmeye yakın görülüyor
- Müşterilerin kendileri için en uygun seçimi yapabilmesi gerektiği, bunun ister kendi ürünü ister partner ürünü olmasının fark etmediği ifade ediliyor
- Bedrock da bu strateji doğrultusunda geniş model seçeneği ve çeşitli yetenekleri destekleyecek şekilde tasarlandı
- Veritabanı, compute platformu ve diğer alanlarda da benzer yaklaşımın sürdürüldüğü belirtiliyor
- AWS, altyapı katmanında S3 gibi kendi temel bileşenlerini güçlü şekilde öne çıkarırken, yığının üst katmanlarına çıkıldıkça daha geniş bir partner ekosistemini benimsemenin müşteri için de daha avantajlı olduğuna inanıyor
- İki şirketin rolü, OpenAI’nin Software, AWS’nin Infrastructure sağladığı ve birlikte Platform inşa ettikleri bir yapı olarak özetleniyor
- Önümüzdeki 1 yılda model yeteneklerinin keskin biçimde ilerlemesi beklendiği için, platformu şimdi birlikte kurmanın iyi bir zamanlama olduğu düşünülüyor
1 yorum
Hacker News yorumları
çünkü Amazon üzerinden, “güvenilen” bir aracı sayesinde erişilebiliyordu. OpenAI yasaklı ve güvenilmeyen bir seçenekti
Bu kurumların hukuk ekiplerinin değerlendirmesine ille de katılıyor değilim ama hizmet şartlarını benden çok daha dikkatli okuduklarını varsayıyorum
Bu duyurunun oyunu değiştirip değiştirmeyeceğini görmek lazım ama şu anki hissiyatım, OpenAI’nin birçok açıdan epey geride kaldığı yönünde
Yine de yapay zeka sektöründe 2~8 haftalık fark devasa bir uçurum sayılmaz; bu yüzden gerçek etkiden çok algı meselesi de olabilir
En azından benim bilgi balonumda Sam Altman yüzünden OpenAI’nin itibarı dipte; etik dışı görünüyor ve fabs ile ilgili talepleri gibi şeylere bakınca oldukça istikrarsız göründüğü için pek sevilmiyor
Sadece AWS kullanmak tek başına yeterli değil ve AWS modeli çalıştırıyor olsa bile düzgün bir ZDR istiyorsanız bunu ayrıca onlarla görüşmeniz gerekir [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
İkisi de bundan açıkça kazanç sağladı ve AWS müşterilerinin geri bildirim döngüsü kültürü, Anthropic’in kurumsal ihtiyaçlara daha hızlı uyum sağlamasına yardımcı olmuş olabilir
Azure tarafında bu zaten bir süredir vardı
Buna karşılık Anthropic tek bir şeye odaklanıyor; bu yüzden de SWE benchmark’larında sürekli zirveye oynuyor gibi görünüyor
AWS, girdilerin ve çıktıların model sağlayıcısıyla paylaşılmadığını ve temel model eğitiminde kullanılmadığını açıkça belirtiyor [1]
Üstelik OpenAI, NYT v. OpenAI davasında Mayıs 2025’te bir saklama emri aldı ve mahkeme ChatGPT çıktı günlüklerinin fiilen süresiz olarak tutulmasını zorunlu kılıyor
Buna, normalde 30 gün içinde silinmiş olacak kullanıcı tarafından silinen konuşmalar da dahil [2]
Bu yüzden HIPAA/GDPR kısıtları altındaki kurumlar için daha başlangıçta kabul edilemez bir koşul haline geliyor
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Siyaset ve bürokratik inceleme süreçleri ise genelde daha alt seviyedeki insanları özellik kırıntıları ve operasyon işleriyle meşgul tutmaya yarıyor gibi geliyor
Model, GPT’nin OSS varyantına yeterince benziyorsa bu iş düşündüğümüz kadar karmaşık olmamış olabilir
Kuantizasyon, özel serving silikonları, batching ve diğer çıkarım optimizasyonları yüzünden, orijinal sağlayıcının sürümüyle barındırılan sürüm farklı davranabilir
Bu makale birebir aynı durumu ele almıyor; denetlenebilir açık ağırlıklı Llama’yı inceliyor ama benzer belirtileri iyi gösteriyor
https://arxiv.org/pdf/2410.20247
Orada gerçekten epey marj da bırakılabiliyor gibi görünüyor
Bunun Microsoft’tan uzaklaşma akışıyla doğrudan bağlantılı olup olmadığını da merak ediyorum
Sadece çevremde gördüğüm örneklerde bile ciddi kurumsal dağıtımlarda OpenAI neredeyse tamamen görmezden geliniyor; çünkü Azure’daki sunum zayıf ve onun dışında da şirket dostu bir yol yok
Anthropic + AWS ikilisine kurumsal pazarı bırakmanın ölümcül olacağını fark edip OpenAI’nin yetişmek için harekete geçtiği izlenimi veriyor
https://news.ycombinator.com/item?id=47921248
Finans ve sağlık gibi regülasyona tabi sektörler çoğu zaman zaten AWS ile veri yerleşikliği taahhütleri içeren sözleşmeler imzalamış durumda
Bedrock üzerindeki OpenAI, bu kurumların OpenAI ile ayrıca bir DPA müzakeresi yürütmesine gerek bırakmayabilir; bu yüzden evrak üzerinde göründüğünden çok daha büyük bir atılım olabilir
Bir alt işleyici daha azalıyor ve veri zaten AWS içinde olduğu için başka bir yere gönderildiği endişesi de hafifliyor
Tabii AWS sonunda pes edip Bedrock’ı biraz daha kullanılabilir hale getirmek için OpenAI API uyumluluğu eklemediyse
Responses ve Chat Completions destekleniyor, detaylar burada https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Sadece bu HN gönderisinde bile duyuru bağlantısının aynı anda 4 kez düşmesi tesadüf değil
Yanlış şey yanlış zamanda söylenirse milyarlarca dolarlık yatırım sarsılabildiği için, mesajların çok dikkatli biçimde işlenip aşamalı olarak verilmesi kaçınılmaz