OpenAI DevDay: Yeni modeller ve geliştirici ürünleri
(openai.com)- OpenAI, DevDay’de API platformunun merkezindeki modeli GPT‑4 Turbo ile genişletti; Assistants API, çok modlu özellikler ve fiyat indirimlerini de duyurarak geliştirici ürün yelpazesini önemli ölçüde büyüttü
- 128K context ve Nisan 2023’e kadar bilgiye sahip GPT‑4 Turbo, GPT‑4’e göre giriş token’larında 3 kat, çıkış token’larında 2 kat daha düşük fiyatla sunuluyor
- Yeni Assistants API, Code Interpreter, Retrieval, fonksiyon çağırma ve uzunluk sınırı olmayan kalıcı thread’leri bir araya getirerek uygulamalar içinde amaç odaklı yapay zeka assistant’ları oluşturmayı mümkün kılıyor
- API’ye vision input, DALL·E 3 ve text-to-speech (TTS) eklendi; GPT‑3.5 Turbo ise varsayılan 16K context, JSON mode ve paralel fonksiyon çağırmayı destekliyor
- Ücretli GPT‑4 müşterilerinin dakika başına token limitleri 2 kat artırılıyor; Copyright Shield ise ChatGPT Enterprise ve geliştirici platformunun genel kullanıma açık özellikleri için telif hakkı ihlali iddialarına karşı savunma ve masraf karşılama sağlıyor
GPT‑4 Turbo ve GPT‑3.5 Turbo güncellemeleri
- GPT‑4 Turbo, GPT‑4’ün yeni nesil model preview’u olarak yayınlandı
- Tüm ücretli geliştiriciler API’de
gpt-4-1106-previewgöndererek kullanabilir - Stabil, production’a hazır modelin birkaç hafta içinde yayınlanması planlanıyor
- 128K context penceresiyle tek bir prompt’a 300 sayfadan fazla metne denk içerik konulabiliyor
- Dünya bilgisi Nisan 2023’e kadar olanları kapsıyor
- Tüm ücretli geliştiriciler API’de
- Fiyatı GPT‑4’ten daha düşük
- GPT‑4 Turbo giriş token’ları: $0.01/1,000 tokens
- GPT‑4 Turbo çıkış token’ları: $0.03/1,000 tokens
- Giriş GPT‑4’e göre 3 kat, çıkış 2 kat daha ucuz
- Function calling artık tek bir mesajda birden fazla fonksiyon çağırmayı mümkün kılıyor
- Örneğin “arabanın camlarını aç ve klimayı kapat” gibi bir istek, eskisi gibi birden çok gidiş geliş olmadan tek mesajda işlenebilir
- GPT‑4 Turbo’nun doğru fonksiyon parametrelerini döndürme olasılığı daha yüksek hale geldi
- JSON mode, model yanıtlarını geçerli JSON ile sınırlar
- Yeni API parametresi
response_formatile sözdizimsel olarak doğru JSON nesnesi üretimi zorunlu kılınabilir - Fonksiyon çağırma dışında Chat Completions API ile JSON üreten geliştiriciler için kullanışlıdır
- GPT‑4 Turbo, “her zaman XML olarak yanıtla” gibi belirli biçim talimatlarını izleme görevlerinde önceki modellerden daha iyi performans gösterir
- Yeni API parametresi
- Tekrarlanabilir çıktı ve log olasılıkları da eklendi
seedparametresi, çoğu durumda tutarlı completion döndürerek tekrarlanabilir çıktıları destekler- İstek tekrar oynatma ile hata ayıklama, daha kapsamlı birim testleri ve model davranışını kontrol etme için kullanılabilir
- GPT‑4 Turbo ve GPT‑3.5 Turbo’nun en olası çıktı token’ları için log olasılığı döndürme özelliğinin birkaç hafta içinde yayınlanması planlanıyor
- Arama deneyimindeki otomatik tamamlama gibi özellikler oluştururken kullanışlıdır
- Yeni GPT‑3.5 Turbo, varsayılan 16K context penceresini destekler
- API’de
gpt-3.5-turbo-1106ile erişilebilir - Talimatlara uyumda iyileştirme, JSON mode ve paralel fonksiyon çağırmayı destekler
- Dahili değerlendirmelerde JSON, XML, YAML üretimi gibi format uyumu görevlerinde %38 iyileşme görüldü
- Mevcut
gpt-3.5-turbo-0613modeline 13 Haziran 2024’e kadar erişilmeye devam edilebilir gpt-3.5-turboadını kullanan uygulamalarda otomatik yükseltme artık yapılmayacak
- API’de
Assistants API, Retrieval, Code Interpreter
- Assistants API, geliştiricilerin uygulamalar içinde ajan benzeri deneyimler oluşturmasını sağlayan ilk adım olarak yayınlandı
- Assistant; belirli talimatlara sahip olan, ek bilgiden yararlanan ve işleri gerçekleştirmek için model ile araçları çağıran amaç odaklı bir yapay zekadır
- Doğal dil tabanlı veri analizi uygulamaları, kodlama assistant’ları, yapay zeka seyahat planlayıcıları, sesle kontrol edilen DJ’ler ve akıllı görsel canvas gibi kullanım senaryolarını hedefler
- OpenAI’ın yeni GPTs ürününü mümkün kılan custom instructions, Code Interpreter, Retrieval ve fonksiyon çağırma gibi özellikler üzerine kuruludur
- Temel değişiklik kalıcı ve uzunluk sınırı olmayan thread yapısıdır
- Geliştiriciler thread durum yönetimini OpenAI’a devredebilir
- Context penceresi kısıtını aşmak için mevcut
thread’e yeni mesajlar ekleme şeklinde çalışır
- Assistants API birden fazla aracı çağırabilir
- Code Interpreter: Sandbox yürütme ortamında Python kodu yazar ve çalıştırır, grafikler ve chart’lar oluşturur, çeşitli veri ve formatlardaki dosyaları işler
- Retrieval: Assistant’ı, modele dışsal olan tescilli alan verileri, ürün bilgileri ve kullanıcı tarafından sağlanan belgeler gibi bilgilerle güçlendirir
- Retrieval kullanıldığında geliştiricilerin belge embedding saklama, chunking ve arama algoritmalarını kendilerinin uygulaması gerekmez
- Function calling: Assistant’ın geliştirici tarafından tanımlanan fonksiyonları çağırmasını ve fonksiyon yanıtlarını mesajlara yansıtmasını sağlar
- API’ye aktarılan veri ve dosyalar OpenAI modellerinin eğitimi için kullanılmaz ve geliştiriciler uygun gördüklerinde bunları silebilir
- Assistants API beta olarak tüm geliştiricilere sunulmuştur; kod yazmadan Assistants playground üzerinden denenebilir
- Assistants API ve araçlarının fiyatları OpenAI fiyatlandırma sayfasında sunulur
API’ye eklenen vision, görüntü ve ses özellikleri
- GPT‑4 Turbo with vision, Chat Completions API’de görüntüleri giriş olarak alabilir
- Caption oluşturma, gerçek görüntülerin ayrıntılı analizi ve resim içeren belgeleri okuma gibi kullanım senaryolarını destekler
- BeMyEyes bu teknolojiyi, görme engelli ve az gören kullanıcıların ürün tanımlama ve mağaza içinde hareket etme gibi günlük işlerinde destek sağlamak için kullanıyor
- Geliştiriciler
gpt-4-vision-previewile erişebilir - Vision desteğinin stabil sürümün parçası olarak ana GPT‑4 Turbo modeline dahil edilmesi planlanıyor
- Fiyatlandırma giriş görüntüsünün boyutuna göre değişir; 1080×1080 boyutunda 1 görüntüyü GPT‑4 Turbo’ya aktarmanın maliyeti $0.00765’tir
- DALL·E 3, Images API’de
dall-e-3modeli belirtilerek uygulama ve ürünlere entegre edilebilir- Snap, Coca-Cola ve Shutterstock; müşteriler ve kampanyalar için programatik olarak görüntü ve tasarım üretmekte DALL·E 3 kullanıyor
- Önceki DALL·E sürümlerine benzer şekilde API, kötüye kullanımı önlemeye yardımcı olan yerleşik moderation içerir
- Format ve kalite seçenekleri sunulur; fiyatlandırma oluşturulan görüntü başına $0.04’tan başlar
- Text-to-speech (TTS) API, metinden insan seviyesinde ses üretir
- Yeni TTS modeli 6 adet preset voice sunar
- Model varyantları
tts-1vetts-1-hdolmak üzere iki tanedir tts-1gerçek zamanlı kullanım senaryoları için,tts-1-hdkalite için optimize edilmiştir- Fiyatlandırma 1.000 giriş karakteri başına $0.015’ten başlar
Model özelleştirme
- OpenAI, GPT‑4 fine-tuning için deneysel erişim programı oluşturuyor
- Ön sonuçlara göre GPT‑4 fine-tuning, GPT‑3.5 fine-tuning’de elde edilen büyük iyileşmelerin aksine, base model’e kıyasla anlamlı iyileşme elde etmek için daha fazla çalışma gerektiriyor
- GPT‑4 fine-tuning’in kalitesi ve güvenliği iyileştiğinde, GPT‑3.5 fine-tuning’i aktif olarak kullanan geliştiricilere fine-tuning console’da GPT‑4 programına başvuru seçeneği sunulacak
- Custom Models program, fine-tuning’den daha kapsamlı özelleştirme gerektiren kuruluşlara yöneliktir
- Özellikle en az milyarlarca token ölçeğinde çok büyük tescilli veri kümelerine sahip alanlara uygulanır
- Seçilen kuruluşlar, OpenAI araştırmacılarından oluşan özel bir grupla birlikte belirli alanlara yönelik custom GPT‑4 eğitebilir
- Ek alan odaklı pre-training’den belirli bir alana uyarlanmış custom RL post-training’e kadar model eğitim sürecinin tüm aşamaları değiştirilebilir
- Kuruluşlar kendi custom model’lerine münhasır erişime sahip olur
- Custom model başka müşterilere sunulmaz veya paylaşılmaz; başka modellerin eğitiminde de kullanılmaz
- Custom model eğitimi için sağlanan tescilli veriler başka bağlamlarda yeniden kullanılmaz
- Başlangıçta çok sınırlı ve maliyeti yüksek bir program olarak başlıyor
Fiyat indirimleri ve rate limit artışı
- OpenAI, platformun çeşitli alanlarında fiyatları düşürdü
- Tüm fiyatlar 1,000 tokens bazındadır
- GPT‑4 Turbo fiyatları
- GPT‑4 8K: giriş $0.03, çıkış $0.06
- GPT‑4 32K: giriş $0.06, çıkış $0.12
- GPT‑4 Turbo 128K: giriş $0.01, çıkış $0.03
- GPT‑3.5 Turbo fiyatları
- Mevcut GPT‑3.5 Turbo 4K: giriş $0.0015, çıkış $0.002
- Mevcut GPT‑3.5 Turbo 16K: giriş $0.003, çıkış $0.004
- Yeni GPT‑3.5 Turbo 16K: giriş $0.001, çıkış $0.002
- Yeni fiyatlar yalnızca bugün tanıtılan yeni GPT‑3.5 Turbo için geçerlidir
- Mevcut GPT‑3.5 Turbo 4K kullanıcıları için giriş token fiyatı %33 düşüyor
- GPT‑3.5 Turbo fine-tuning fiyatları
- Mevcut GPT‑3.5 Turbo 4K fine-tuning: eğitim $0.008, giriş $0.012, çıkış $0.016
- Yeni GPT‑3.5 Turbo 4K·16K fine-tuning: eğitim $0.008, giriş $0.003, çıkış $0.006
- Giriş token’ları 4 kat, çıkış token’ları 2,7 kat daha ucuzladı
- Yeni GPT‑3.5 Turbo modelinde 4K ile aynı fiyata 16K context fine-tuning desteklenir
- Yeni fiyatlar fine-tuned
gpt-3.5-turbo-0613modelleri için de geçerlidir
- Rate limit de artırıldı
- Tüm ücretli GPT‑4 müşterilerinin dakika başına token limiti 2 katına çıkarılıyor
- Yeni rate limit, rate limit page’de görülebilir
- Otomatik rate limit artışını belirleyen usage tiers yayımlandı
- Hesap ayarlarından kullanım limiti artışı talep edilebilir
Copyright Shield ve açık kaynak sürümleri
- Copyright Shield, müşterilerin telif hakkı ihlaliyle ilgili hukuki taleplerle karşılaşması durumunda OpenAI’ın savunmayı üstlendiği ve oluşan masrafları karşıladığı bir sistemdir
- Kapsam, ChatGPT Enterprise ve geliştirici platformunun genel kullanıma açık özelliklerini içerir
- OpenAI, sistemlere yerleştirilmiş telif hakkı koruma önlemleriyle müşterileri koruma tutumunu sürdürüyor
- Whisper large-v3 yayımlandı
- OpenAI’ın açık kaynak otomatik konuşma tanıma modeli ASR’nin sonraki sürümüdür
- Birden çok dilde performansı iyileştirildi
- OpenAI yakın gelecekte API’de Whisper v3 desteği sunmayı planlıyor
- Consistency Decoder da açık kaynak olarak yayımlandı
- Stable Diffusion VAE decoder için drop-in replacement’tır
- Stable Diffusion 1.0+ VAE ile uyumlu tüm görüntüleri iyileştirir
- Metin, yüzler ve düz çizgilerde büyük iyileştirmeler sağlar
1 yorum
Hacker News yorumları
Duyurulan ürünlerin çoğu ve fiyat indirimleri, OpenAI API platformuna bağımlılığı artırmaya yönelik gibi görünüyor; rekabetin yoğunlaştığı bir ortamda bu şaşırtıcı değil.
Özellikle GPTs/GPT Agents ve Assistants demoları, başka yere taşınamayan kara kutu içinde kara kutu gibi görünüyordu.
Duyuruya yönelik değerlendirmeler karışık; az önce güncellenen API belgelerinin ayrıntılarına daha fazla bakmak gerekecek gibi: https://platform.openai.com/docs/api-reference
Fiyatlandırma sayfası da güncellendi: https://openai.com/pricing
Özellikle DALL-E 3 API, görsel başına $0.04 ile bu alandaki diğer hizmetlerden yaklaşık bir basamak daha pahalı.
Keynote’ta bahsedilmeyen yeni fiyat yapısında ilginç bir nokta da, ince ayarlı ChatGPT 3.5’in artık temel ChatGPT 3.5’in 3 katı maliyete düşmüş olması. Önceki 8 kattan aşağı indiği için ince ayar daha ikna edici bir seçenek hâline geliyor.
Kendim araştırınca, kendi LLM’ime tamamen sahip olmak için en gerçekçi uçtan uca kurulumun tüketici tipi bir anakarta birkaç 3090 takıp 7/24 çalıştırmak olduğunu gördüm; işletme maliyeti epey yüksek, performans da yeterli değil ve oldukça pahalı.
Biraz daha harcarsanız 128GB/192GB Apple Silicon yapılandırması alıp kaliteyi ve işletme maliyetini iyileştirebilirsiniz, ama OpenAI’nin “Turbo” hizmetinden çok çok daha yavaş.
Beni OpenAI’den uzaklaştıran en büyük neden, sohbet deneyiminin API’ye kıyasla çok daha fazla sübvanse ediliyormuş gibi hissettirmesiydi; bu duyuru o farkı epey kapatmış gibi.
Kısacası OpenAI görmezden gelmesi zor, fazla cazip koşullar sunuyor ve bu büyük ölçüde sübvanse edilen bir hizmet. Gelecekteki geçiş maliyetinin, şu anda elde edilen faydayı aşacağını sanmıyorum.
Yeni düzenlemeler yoksa, belirli kullanım senaryolarında Anthropic’i etkili kullanmayı öğrenme maliyeti dışında, OpenAI’den Anthropic gibi bir yere taşınmayı neyin engellediğini bilmiyorum.
OpenAI’nin veritabanından verileri çekmek için ayrı bir dışa aktarım akışı gibi bir şeyi de yok.
OpenAI yönetici ekranındaki yeni Threads arayüzü, girdileri ve çıktıları nasıl yorumladığını tam olarak göstererek kara kutu etkisini azaltmaya çalışıyor.
Kaynak: https://platform.openai.com/docs/api-reference/runs/listRunS... adresine bakarsanız zincirin hangi adımlardan geçtiğini tam olarak görebilirsiniz. Eskisine göre görünürlük daha yüksek.
Claude iki yanıttan birinde etik dersi veriyor; bu her seferinde maliyet yaratıyor ve ürüne gömmeyi istemeyi zorlaştırıyor.
29 Kasım 2022’de, Wikipedia’ya göre ChatGPT’nin çıkışından bir gün önce, toplumla bağlantınız kesilmiş olsaydı ve bugün geri dönüp OpenAI keynote’unu izleseydiniz aklınızı kaçırırdınız herhâlde.
Bu ürünlerin gelişme hızı ve kullanışlılığı gerçekten şaşırtıcı.
Tam da The Singularity is Near’i ikinci kez yeni bitirmiştim.
Kod yorumlayıcı ve fonksiyon çağırma, talimatları yeterince iyi izleyip katı biçimde ayrıştırılabilir formatta token çıktısı üretebilen üst düzey bir LLM ile zaten mümkündü. O çıktıyı bir ayrıştırıcıya verip sonucu tekrar LLM’e koymanız yeterliydi. ChatGPT gibi çevrim içi bir API ile yapmak hantaldı ama gayet mümkündü.
Özel sohbet botları da önceden kolayca yapılabiliyordu; Poe.com gibi oluşturma hizmetleri zaten vardı.
JSON çıktısı da token olasılıkları üretebilen ve talimatları iyi izleyen bir yapay zeka ile, şemaya uygun JSON olacak şekilde token seçen bir şema doğrulayıcı varsa yapılabilir.
GPT-4 128k devrimsel görünüyor ama Claude 100k zaten vardı; LLM değerlendirmesi bağlam boyutuna göre karesel büyüdüğü için muhtemelen bağlamı genişletmek adına bir tür hile kullanıyorlardır. “Tam” tokenlar olmayabilir. Yanılıyorsam bunu memnuniyetle kabul ederim.
Büyük bağlam yararlı, ama kodlamada belirli semboller için 2–3 seviyelik özyinelemeli “tanıma git” sonuçlarını bağlama doldurup doğru bağlamı verirseniz 8k bağlamla da bir yere kadar mümkün.
DALL-E 3 en yenilikçi olanı gibi görünüyor; ama kullandığımda SD’ye göre kompozisyon yeteneği belirgin biçimde iyileşmiş olsa da hâlâ dağıldığı durumlar var.
Genel olarak bugünkü duyuru, geçen yılki bomba etkisi yaratan atılımın üzerine gelen iyileştirme ve rafine etme gibi hissettiriyor.
“Ah, yine 5 dakika kullanılıp geçilecek bir sohbet botu modası” diye düşündüm; tamamen yanılmışım.
Whisper V3 çıktı: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
Sanırım large model için yeni bir checkpoint. Küçük modeller de güncellense güzel olurdu ama Whisper V2 kullanan şeylere entegre etmesi kolay olacak gibi
Kendi yerel sesli yapay zekama da eklemeyi düşündüğüm için heyecanlıyım: https://www.microsoft.com/store/apps/9NC624PBFGB7
ChatGPT sesinin zaten Whisper V3 kullanıyor olabileceğini düşünüyorum; yine de tipik bir Whisper halüsinasyonu olan “Thank you for watching!” görünüyordu. Devrimsel bir değişimden çok kademeli bir iyileştirme gibi duruyor
Eğitim verilerinde altyazılı çok video vardı; bazı video/sesler kesilmişti ve altyazılarda kapanış cümlesi aynen kalmıştı. Bu yüzden artık sessizliği bir TV programının kapanış selamı gibi algılıyor olabilir mi diye düşünüyorum
Bana göre şu anda seste darboğaz, etrafındaki altyapı. Konuşmanın başlangıcını ve bitişini nasıl algılayacağımız, ses veya konuşma oynatılırken kullanıcının konuşmaya hazır kalmasını nasıl sağlayacağımız gibi şeyler
Bunlar kesinlikle gerekli unsurlar ama genel olarak iyi çalışmıyorlar; donanım/yazılım entegrasyonu gerçekten gerekiyor
128.000 token bağlam, Assistants API, JSON modu, Nisan 2023 bilgi kesim tarihi, GPT-4 Turbo, daha düşük fiyatlar, özel GPTs derken genel olarak epey çok duyuru vardı
https://openai.com/pricing
Artık [1] özel gpt-n model ön eğitimi için 2-3 milyon dolar ödeyebiliyorsunuz. Çok dikkat çekmedi ama oldukça havalı görünüyor
Bir startup bu kadar para harcayabiliyorsa kesinlikle rekabet avantajı sağlayacak gibi
[1] https://openai.com/form/custom-models
Bağlantıyı unutmuştum, ekledim
Yaklaşık 3 milyon dolar bile cazip bir seçenek olabilir
Ama başka müşteriler için gpt-n modelleri önceden eğiten bir OpenAI aracısıysan, OpenAI’nin sonunda seni devre dışı bırakmayacağını neden düşündüğünü bilmiyorum
API ve platformlar üzerine kurulmuş startup’lara bakarsan, her başarı hikâyesine karşılık API ve platform kurallarının değişmesiyle oluşmuş bir dolu mezar var
Yorumlardaki şüphecilere söylemek gerekirse, odadaki herkesin kabul etmek istemediği fil şu: GPT-4 hâlâ diğer her şeyden çok daha iyi
Ortalama olarak daha iyi olabilir ama her işte daha iyi olduğunu düşünmüyorum
Diğer modeller de gelişmeye devam edecek
Kitle kaynaklı eğitim hâlâ uygulanamaz mı?
Difüzyon modeli dünyasının ilk yılında ne kadar hızlı ilerlediğini hatırlıyorum; Midjourney’in ardından DALL-E 3 ile kıyaslayınca biraz duraklamış gibi görünüyor. Metin modellerinde de durum aynı mı?
OpenAI’nin izlediği oyun planı AWS’ye benziyor. Metin üretimi, görüntü üretimi gibi ham yeteneklerle başlayıp EC2, S3, RDS gibi temel katmanı oluşturmak ve onun üzerine Assistants API gibi katma değerli hizmetler inşa etmek
Bu açıdan AWS ve diğer rakiplerin çok ilerisinde
AWS’in fiilen 7 yıl boyunca rakibi yoktu ve bugünkü diğer büyük bulutların hepsi gerçeği görmezden geliyordu
OpenAI’nin ise şimdiden çok sayıda rakibi var. Şu an sıralamalarda daha kötü olabilirler ama birkaç yıl bu alanı görmezden gelip sonradan yetişmeye çalışan bir durumda değiller
Bu tür araçları kullanmış olanların deneyimine göre, kod tabanının bakımı konusunda da işe yaradı mı? Doğrudan mı, yoksa daha okunabilir ve daha iyi düzenlenmiş kod sayesinde dolaylı olarak mı, merak ediyorum.
Bu araçlar yeni kod yazmakta çok başarılı görünüyor. Benim deneyimime göre bir geliştiricinin bakımını üstlenebileceği kod miktarının bir üst sınırı var. Sonunda her şeyi kafanızda tutamaz hâle geliyorsunuz ve bir şeyi anlamak için durmanız gerektiğinden bakım daha da zorlaşıyor.
Bu tür araçlar daha fazla kod yazmaya yardımcı olup bakıma yardımcı olmazsa, çok kısa sürede büyük miktarda yeni kod yazıldıktan sonra kimsenin içeriğini derinlemesine anlamadığı için her şeyin durma noktasına gelip gelmeyeceğini merak ediyorum.
https://github.com/paul-gauthier/aider
Tüm depo kodunun soyut sözdizimi ağacını analiz ederek bir “depo haritası” oluşturur; bu da GPT'nin daha büyük kod tabanlarını anlamasına yardımcı olur.
Bunların hepsi, GitHub ve birçok popüler IDE'de kod arama ve gezinmeyi çalıştıran araçla aynı olan tree-sitter ile yapılır.
https://aider.chat/docs/repomap.html
Tüketiciler muhtemelen bunu hemen fark eder; B2B tarafı ise birkaç yıl kanıp sonunda ayrılarak senior yetenekleri işe alan, daha kaliteli geleneksel rakiplere geçebilir.
Öte yandan tutarlı bir kod tabanını büyütme ve bakımını yapma konusunda iyi modeller de çıkabilir. Bugünkü noktadan bakınca imkânsız bir görev gibi görünmüyor. Ama belirttiğin gibi buna daha epey var.
Birincisi, geleneksel yazılım mühendisi döneminin bitip debugger dönemi başlayabilir. İnsan debugger'lar bütün gün breakpoint koyup LLM'in ürettiği kod denizinde bug arar.
İkincisi, işe alımlar Leetcode sorularından “debugger'ı açın ve bu kodda neyin yanlış olduğunu bulun” noktasına kayacak.
Daha büyük bağlam, potansiyel olarak tüm kod tabanını içeri verebilmek demek. Çoğu kişi küçük kod tabanlarının ayrıntılarını bile aklında tutmakta zorlanıyor.
Bir sonraki adım, araçlarla daha derin entegrasyon kurup ne değiştirilirse değiştirilsin testlerin geçmesini ve kodun derlenmesini garanti etmek. Test yazmak da bu aracın yapabileceği işlerden biri.
Böylece normalde ekonomik olarak ele alınması zor olan legacy kod tabanlarını yapay zeka destekli olarak kurtarmak mümkün olabilir.
Önümüzdeki birkaç yılda yapay zeka destekli geliştirici üretkenliğinin çok daha fazla artmasını bekliyorum. Kişisel olarak statik tipli dillerde daha iyi çalışacağını düşünüyorum; çünkü araç açısından akıl yürütmek çok daha kolay.
https://ai.stepci.com
“Önümüzdeki birkaç hafta içinde GPT-4 Turbo ve GPT-3.5 Turbo tarafından üretilen en olası çıktı token'larının log olasılıklarını döndüren bir özelliği de yayımlamayı planlıyoruz; bu, arama deneyimlerinde otomatik tamamlama gibi özellikler oluşturmak için kullanışlı olacak.”
Bu oldukça şaşırtıcı. Sadece GPT-4 çıktısıyla eğitim yapıp modelin yeteneklerini çalmaktan değil, insanların ciddi anlamda logit bilgi damıtma yapmasından endişe etmiyorlar mı?
Başta logit erişimini engellemelerinin sebebinin bu olduğunu herkes düşünüyordu.
“En olası” gerçekten sadece birkaç token anlamına gelebilir ve tüm dağılımın oranı olarak çok azını kapsıyor olabilir.
Muhtemelen bu değerlendirmede haklı da olabilirler.