1 puan yazan GN⁺ 2023-07-07 | 1 yorum | WhatsApp'ta paylaş
  • Ödeme geçmişi olan mevcut API geliştiricileri GPT-4 API 8K bağlamını kullanabiliyor; yeni geliştirici erişimi ve hız sınırı artışları ise hesaplama kapasitesine göre kademeli olarak sunulacak
  • GPT-3.5 Turbo, DALL·E ve Whisper API de üretim ölçeğinde kullanıma hazır oldukları gerekçesiyle genel kullanıma açılıyor; GPT-4 ve GPT-3.5 Turbo fine-tuning ise bu yılın sonunda sunulacak
  • OpenAI API’deki GPT kullanımının %97’sini Chat Completions API oluştururken, sistem mesajı ve function calling gibi yapılandırılmış arayüzler mevcut Completions API kullanım senaryolarının çoğunun yerini alıyor
  • 4 Ocak 2024’ten itibaren Completions API’nin eski modelleri, eski embedding modelleri ve Edits API ile ilgili modeller kullanılamayacak; gpt-3.5-turbo-instruct, text-embedding-ada-002, GPT-3.5 Turbo gibi modellere geçiş yapılması gerekecek
  • Completions API belgelerde legacy olarak işaretleniyor ve yeni model yayımlama planı bulunmuyor; bu yüzden yeni entegrasyonları Chat Completions API merkezli tasarlamak daha güvenli

GPT-4 API ve başlıca API’lerin erişim kapsamı

  • OpenAI, tüm ücretli API müşterilerine GPT-4 erişimi sağlıyor
    • Başarılı ödeme geçmişi olan mevcut API geliştiricileri GPT-4 API 8K bağlamını kullanabiliyor
    • Yeni geliştirici erişiminin bu ay sonuna kadar açılması planlanıyor
    • Sonrasında hesaplama kapasitesine bağlı olarak hız sınırları artırılacak
  • GPT-4, OpenAI’nin en güçlü modeli ve mart ayından bu yana yüz binlerce geliştirici GPT-4 API erişimi talep etti
  • GPT-3.5 Turbo, DALL·E ve Whisper API de genel kullanıma açılıyor
    • Bunun gerekçesi model kararlılığı ve üretim ölçeğinde kullanıma hazır olmaları
  • GPT-4 ve GPT-3.5 Turbo için fine-tuning güvenli biçimde etkinleştirme çalışmaları sürüyor ve bu yılın sonunda sunulması planlanıyor
  • 24 Nisan 2024 güncellemesinden sonra “ChatGPT API” adı kaldırıldı; metindeki ChatGPT API ifadesi GPT-3.5 Turbo API anlamına geliyor

Chat Completions API merkezli geçiş

  • Chat Completions API mart ayında tanıtıldı ve şu anda OpenAI API’deki GPT kullanımının %97’sini oluşturuyor
  • Mevcut Completions API, Haziran 2020’de serbest biçimli metin prompt’larıyla dil modelleriyle etkileşim kurmak için tanıtılmıştı
  • Daha yapılandırılmış prompt arayüzleri, mevcut yaklaşıma göre daha iyi sonuçlar verebilir
    • sistem mesajı (system message)
    • function calling
    • çok turlu konuşma (multi-turn conversation)
  • Chat Completions API yalnızca konuşma deneyimlerini değil, geniş kapsamlı completion işlerini de destekliyor
  • Kullanıcı tarafından sağlanan içerik ile talimatları yapısal olarak ayırabildiği için prompt injection saldırısı riskini azaltmaya yardımcı oluyor
  • OpenAI, platform geliştirme çabasının büyük bölümünü bu yöne yatırmayı sürdürecek
    • completion token’larının log probabilities değeri
    • yanıtların “chattiness” düzeyini azaltmak için steerability iyileştirmeleri
    • bunlar Chat Completions API’de hâlâ kalan boşluklar

Completions API eski modellerinin sonlandırılması

  • OpenAI, Chat Completions API yatırımlarını artırmak ve hesaplama kapasitesini optimize etmek için, 6 ay sonra Completions API’nin bazı eski modellerini sonlandırıyor
  • Completions API’nin kendisine erişim sürecek ancak geliştirici belgelerinde bugünden itibaren legacy olarak işaretleniyor
  • Gelecekteki model ve ürün iyileştirmeleri Chat Completions API’ye odaklanacak; Completions API için yeni model yayımlama planı bulunmuyor
  • 4 Ocak 2024’ten itibaren eski completion modelleri kullanılamayacak ve yeni modellerle değiştirilecek
    • ada, babbagebabbage-002
    • curie, davincidavinci-002
    • davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003gpt-3.5-turbo-instruct
  • Kararlı model adları olan ada, babbage, curie, davinci kullanan uygulamalar 4 Ocak 2024’te otomatik olarak yeni modellere yükseltilecek
  • babbage-002 ve davinci-002, API çağrılarında bu model adlarını belirterek erken test yapılabilmesi için önümüzdeki birkaç hafta içinde sunulacak
  • text-davinci-003 gibi diğer eski completion modellerini kullananlar, 4 Ocak 2024’e kadar API isteklerindeki model parametresini elle gpt-3.5-turbo-instruct olarak değiştirmeli
    • gpt-3.5-turbo-instruct, text-davinci-003e benzer şekilde eğitilmiş InstructGPT tarzı bir model
    • Completions API için doğrudan yerine geçebilen (drop-in replacement) bir model olarak sunulacak

Fine-tuning modeli kullananlar için geçiş

  • 4 Ocak 2024’ten sonra da fine-tuning modellerini kullanmaya devam etmek için, yeni temel modeller üzerinde yeniden fine-tuning yapılarak ikame modeller oluşturulmalı
    • yeni temel GPT-3 modelleri: babbage-002, davinci-002
    • daha yeni modeller: gpt-3.5-turbo, gpt-4
  • GPT-3.5 Turbo ve GPT-4 fine-tuning sunulduğunda, geçmişte eski modeller üzerinde fine-tuning yapan kullanıcılara öncelikli erişim verilecek
  • Kendi verisiyle fine-tuning yapılmış modellerden ayrılmanın zor olduğu göz önüne alınarak, geçmiş kullanıcı desteğiyle geçişin olabildiğince sorunsuz olması hedefleniyor
  • Yakın dönemde eski modelleri kullanan geliştiricilerle önümüzdeki birkaç hafta içinde iletişime geçilecek ve yeni completion modelleri için erken test hazır olduğunda ek bilgi paylaşılacak

Eski embedding modellerinin sonlandırılması

  • Eski embedding modellerini kullananlar, 4 Ocak 2024’e kadar text-embedding-ada-002 modeline geçiş yapmalı
  • text-embedding-ada-002 Aralık 2022’de yayımlandı ve önceki modellere göre daha güçlü ve daha maliyet verimli olduğu görüldü
  • Şu anda text-embedding-ada-002, toplam embedding API kullanımının %99,9’unu oluşturuyor
  • OpenAI, içeriğin yeni modelle yeniden embedding edilmesinin yeniden embedding maliyetini üstlenecek
  • Aşağıdaki modellerin tamamı text-embedding-ada-002 ile değiştirilecek
    • code-search-ada-code-001, code-search-ada-text-001
    • code-search-babbage-code-001, code-search-babbage-text-001
    • text-search-ada-doc-001, text-search-ada-query-001
    • text-search-babbage-doc-001, text-search-babbage-query-001
    • text-search-curie-doc-001, text-search-curie-query-001
    • text-search-davinci-doc-001, text-search-davinci-query-001
    • text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001

Edits API’nin sonlandırılması

  • Edits API ve ilgili modelleri kullananlar, 4 Ocak 2024’e kadar GPT-3.5 Turbo’ya geçiş yapmalı
    • örnek: text-davinci-edit-001, code-davinci-edit-001
  • Edits API beta, talimatlara göre prompt’un düzenlenmiş sürümünü döndürmek için oluşturulmuş erken dönem keşif amaçlı bir API idi
  • Edits API’den elde edilen geri bildirimler gpt-3.5-turbo ve Chat Completions API geliştirmelerine yansıtıldı
  • Chat Completions API de aynı amaç için kullanılabilir
    • örnekte, koda uygulanacak değişiklik isteği sistem mesajı olarak belirtiliyor ve kullanıcı Fibonacci fonksiyonunun adını fib olarak değiştirmeyi istediğinde assistant düzenlenmiş kodu döndürüyor

1 yorum

 
GN⁺ 2023-07-07
Hacker News yorumları
  • Yerel LLM'ler teşvik edilmeli ve yaygınlaştırılmalı
    GPT kullanmak, OpenAI'ye para vermek anlamına geliyor; o para da devlet nezdinde lobi yapıp rakipleri ortadan kaldırmak için kullanılıyor, sonuçta hem kendine hem cüzdanına zarar veriyorsun
    OpenAI'nin, para verip yasa taslakları yazdırmadığın sürece onu koruyan bir hendeği yok
    Şu anda bile 5 yıllık, GPU'suz bir dizüstünde oldukça ürkütücü derecede akıllı ve hızlı LLM'ler çalıştırılabiliyor; yani gelecek en azından ilginç görünüyor

    • “Ürkütücü derecede akıllı ve hızlı” derken neyi kastettiğini biraz daha açman iyi olur
      Bir-iki ay önce denediğimde neredeyse her görevde sonuçlar moral bozacak kadar yavaş ve kullanışsızdı
      Bir model için ne zaman “GPT-3'ün %90'ı” dense umutlanıyorum ama her seferinde büyük hayal kırıklığı yaşıyorum
      Bu arada GPT-4'ü kullandıktan sonra GPT-3 bile neredeyse her seferinde hayal kırıklığı yaratıyor
    • LLM'leri yerelde çalıştırmak ile OpenAI erişim ücretini ödemek ayrı meseleler
      Şu an hangi LLM'i kullandığının da o kadar önemli olup olmadığından emin değilim; yerel mi barındırılan mı, OpenAI mi başka bir motor mu fark etmez
      Arayüzler sohbet tabanlı prompt'larda yakınsamış gibi görünüyor ve temel modeli ayarlamak ya da verimliliği artırmak için yeni fikirler neredeyse her hafta çıkıyor
      Üretken yapay zekanın üstüne bir ürün inşa edeceksen, neden ücretsiz olanla ya da geliştirme ortamına uyanla başlamayasın?
      Metin tabanlı üretken yapay zekayla etkileşim kurma biçimi ve API'ler, o anda hangi motorun en iyi olduğundan bağımsız olarak büyük ölçüde benzer kalacaktır
      Bu durumda, AWS S3 API'sini taklit eden web servislerinde olduğu gibi arka ucu değiştirmek mümkün hale gelir
      Sonuçta OpenAI ya da başka bir modelle ürününü yapar, sonra maliyet ve uygunluğa göre taşırsın
      Hatta daha düşük kaliteli bir LLM ile tüm ürünü prototipleyip, ara sıra GPT-4'e istek atarak davranışı doğrulamak da mümkün
      Bu teknolojinin yasalarla kısıtlanabileceğine inanmak abartı gibi geliyor. OpenAI ne kadar lobi yaparsa yapsın istediğini mutlaka alamaz; FTX örneği de var
      LLM'ler yerelde çalıştırılabildiğine ve kullanıcı için motor bir kara kutu olabildiğine göre, kamusal faydası da düşünülünce yasayla gerçek yayılımın nasıl engellenebileceğini bilmiyorum
    • Biraz bağlantı paylaşabilir misin? GPU olmaması, yalnızca yerel seçenekleri denemenin önündeki en büyük engel
      16GB RAM'li, GPU'suz eski bir dizüstüm var; bu modelleri çalıştırabilir miyim?
    • İyi nokta. Aylık $20 aboneliğe yeniden dönmeyi düşünüyordum ama iptal edilmiş halde bırakacağım
      Yapay zeka propaganda makinesine fon sağlanmamalı
    • GPT-4, 8 x 220B parametre[1] üzerinde çalışıyor ve GPT de kabaca 220B parametre gibi görünüyor
      Yerel LLM'ler bazı işler için iyi olabilir ama OpenAI'nin API için kullandığı model ölçeği ve donanıma kıyasla çok daha yavaş ve daha az yetenekli
      12. nesil Intel i7 dizüstünde ggml ile 7B modeli CPU'da çalıştırma deneyimime göre, o bile gpt-3-turbo API'sinden çok daha yavaştı
      [1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296
  • Bu ciddi. Gerçekten de text-davinci-003'ü kapatmaya hazırlanıyorlar
    Bu, elde kalan en yetkin modelin ve metin tamamlama tarzının özgürlüğünün ortadan kalkması demek
    Artık her şey sansürlenmiş/hizalanmış sohbet modelleri ya da keyfi girdi metaforu sınırlamaları olan instruction modelleri olacak. gpt3.5-turbo bunun yanında berbat kalıyor
    Bu yüzden muhtemelen OpenAI kullanımımın çoğunu bırakacağım. Aylık $5~$10'lık API ödemem büyük bir şey ifade etmeyecek ama 65B Llama modelini yerelde çalıştırma motivasyonumu artırıyor

    • text-davinci-003'ü çok kullanmış değilim ama neden onu bu kadar sevdiğini merak ediyorum
      Diğer modellerin vermediği neyi sunuyor?
      4 Ocak 2024'te kapanmadan önce onunla denenebilecek eğlenceli şeyler neler?
    • v3 modellerinde TextCompletion, ChatCompletion'dan çok daha iyi
      Yine de davinci, GPT-4 ile aynı fiyat bandındaysa GPT-4'ün kelime çeşitliliği ve yönlendirilebilir dilsel incelik açısından yeterince gelişip iyi bir ikame olmasını umuyorum
      Genel olarak instruction modellere doğru gidişte neyin ne kadar kaybedildiğinin küçümsendiğini düşünüyorum
      Piyasada, instruction prompt'larını önceden optimize edip ayarlanmamış modellere uygun biçime dönüştüren akıllı aktörler olmasını isterim
      Aynı parametre ölçeğinde, sadece temel modeli budamamak bile son kullanıcıya çok daha ileri bir şeymiş gibi görünecektir
    • İsimler kafa karıştırıcı ama code-davinci-002 aslında GPT-3.5 tabanlı model ve yalnızca tamamlama yapıyor, mod çökmesi de yok
      Gördüğüm kadarıyla Azure'da hâlâ kullanılabiliyor. text-davinci-003 bunun ince ayar yapılmış bir sürümü
      Daha fazla bilgi:
      https://platform.openai.com/docs/model-index-for-researchers
    • Aylık $5~$10'lık ödemeler muhtemelen o endpoint'leri kapatmalarının sebebi
    • Muhtemelen tüm modelleri sunmaya devam etmek isterlerdi ama donanım kısıtları yüzünden zor kararlar almak zorundalar
      Sam Altman da donanımın yapmak istedikleri şeyleri zaten engellediğini söylemişti
      GPT-4 API bekleme listesinde aylarca kaldım; muhtemelen talebe yetişemedikleri içindi
  • “4 Ocak 2024’ten sonra da ince ayarlı modeli kullanmaya devam etmek istiyorsanız, yeni temel GPT-3 modelleri (ada-002, babbage-002, curie-002, davinci-002) veya daha yeni modellerin (gpt-3.5-turbo, gpt-4) üstünde bir yedek modeli ince ayar yapmanız gerekir” denirken kastedilen bu mu?
    O zaman kendi verisiyle oluşturduğu ince ayarlı modeli artık kullanamayacak mı?
    İnce ayarlı modele para ödeyenlerin, yeni sansürlü modelin üstünde yeniden eğitim token maliyetini ödemesi gerektiği mi söyleniyor, emin değilim

    • OpenAI’da çalışıyorum. Yedek modelin ince ayar maliyetini bizim karşılamayı planlıyoruz
      Müşteriye en uygun tam yöntemi hâlâ netleştiriyoruz ve önümüzdeki birkaç hafta içinde müşterilerle iletişime geçip çeşitli yaklaşımlar hakkında geri bildirim almayı planlıyoruz
    • Ağırlıklar benim değilse Bitcoin de benim değildir
    • Buna bakınca, ince ayarlı modelin ticari kullanıcılarının çok az olduğu ya da GPU’ları daha değerli projelere ayırmak için altyapıyı sökmek zorunda kaldıkları anlaşılıyor
    • Ağırlıklara sahip değilseniz hiçbir şeye sahip değilsiniz demektir
      Bu yüzden açık modeller çok önemli. Kapalı modellerin üstünde ince ayarlı model oluşturan şirketleri anlamak zor
    • O kısım yanıtlanmış. OpenAI yeni modeli yeniden eğitmenin maliyetini karşılıyor ve mevcut model de gelecek yıla kadar kaldırılmayacak
  • Buradaki yetenek açısından aslında en büyük haber gpt-3.5-turbo-instruct modeli
    gpt-3.5-turbo, ChatGPT’nin arkasındaki model ve sohbet için ince ayarlandığından, sadece komutları izlemesini ya da tamamlama yapmasını istediğiniz kullanım senaryolarında kullanmak epey zor
    davinci-003 son talimat ayarlı modeldi ama gpt-3.5-turbo’dan 10 kat pahalıydı; bu yüzden token açısından büyük israf olsa bile kullanım senaryosuna zorla uydurulmuş gpt-3.5-turbo’yu kullanmak ekonomik olarak mantıklıydı

    • gpt-3.5-turbo-instruct fiyatını merak ediyorum
      text-davinci-003 kullanan basit bir web sitem var ama çok pahalı olduğu için yayına alamıyorum
      Sadece gpt-3.5-turbo’yu denedim ama formatlanmış JSON döndürmesini beklediğim durumlarda hiç tutarlılık sağlayamadığı için işe yaramadı
    • 3.5-turbo ile instruct arasındaki fark ne?
    • Umarım gpt-3.5-turbo-instruct, ChatGPT gibi aşırı derecede işlevsizleştirilmemiştir
      davinci-003 çok daha eğlenceliydi ve ChatGPT’nin yanıt vermeyi reddettiği geniş bir konu yelpazesinde cevap verebiliyordu
    • Sohbet ayarı ile talimat ayarı arasındaki fark nedir?
  • “Bugünden itibaren tüm ücretli API müşterileri GPT-4’e erişebilir” denmiş ama aptallık bende mi bilmiyorum, ben ücretli bir OpenAI API müşterisiyim ve hâlâ yok
    Gördüklerim sadece gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613 ve gpt-3.5-turbo-0301; gpt-4 görünmüyor
    Muhtemelen geçen ay içinde ücretli API hesabına yükselttiğim için, muhasebe açısından henüz “ücretli API müşterisi” sayılmıyor olmam sorun

    • “Ödemesi başarıyla alınmış geçmişi olan mevcut API geliştiricileri bugünden itibaren 8K bağlamlı GPT-4 API’ye erişebilir. Bu ayın sonuna kadar yeni geliştiricilere de açacağız, sonrasında da hesaplama kapasitesine bağlı olarak hız limitlerini artırmayı planlıyoruz” deniyor
      Ben de aynı durumdayım. Birkaç gün önce kaydolup gpt-4’e geçmeyi umut ediyordum ama 5 $’lık provizyon dışında ilk faturamı henüz ödemedim, bu yüzden biraz daha beklemem gerekecek gibi görünüyor
      API’yi çağıran çok basit bir komut satırı aracı yaptım. Örneğin şöyle çalıştırıyorum:

      ask "What's the opposite of false?"
      https://github.com/codazoda/askai

    • Geçen aydan beri ücretli hesaptaydım ve 8 $’lık kullanım bile gerçekten faturalandırılmamıştı
      Bende de GPT-4 erişimi yok
    • Resmî belgelere göre GPT-4 erişimi almak için en az bir başarılı API faturası gerekiyor
    • Ben de aynı durumdayım. https://api.openai.com/v1/models adresindeki model listesi yanıtında görünmüyor
    • Başkalarını bilmem ama benim iki hesabım var
      1. Yalnızca sohbet aboneliği olan hesap
      2. API çağrı ücretlerini ödemiş ama aboneliği olmayan hesap
        Şu anda playground’da gpt4 kullanabilen sadece 2 numara
  • gpt-3.5-turbo-0613, özellikle sistem prompt tasarımıyla birlikte epey iyileşti; bu yüzden 20~30 kat daha pahalı olan GPT-4 API’sini kullanma ihtiyacı artık eskisi kadar büyük değil
    Önceki Completion API’ye kıyasla ChatGPT API’nin kitlesel ölçekte benimsenmiş olması, benim ilk yazdığım ChatGPT API yazısında haklı olduğumu gösteriyor
    Kalite aynıysa ya da daha iyiyse geliştiriciler devasa fiyat indirimini görüp hemen geçiş yapıyor: https://news.ycombinator.com/item?id=35110998

    • Bir hukuk yapay zeka girişimi yürütüyorum ve bu alanda GPT-3.5’ten GPT-4’e olan kalite sıçraması gerçekten sarsıcı
      Karşılaştırınca GPT-3.5 işe yaramaz kalıyor. Yine de daha konuşma odaklı ortamlarda GPT-3.5’in daha cazip bir performans/fiyat dengesi sunabileceğini anlıyorum
    • Benim deneyimimde GPT-3.5, GPT-4’ten daha iyi ya da ona yakın bile değil
      Çoğu kullanım senaryosunda iş görebilir ama GPT-3.5, GPT-4’e kıyasla talimatları çok daha sık görmezden geliyor
      Sondaki boşluk gibi basit şeylerde bile çok daha kolay dağılıyor ve dilbilgisi ya da noktalama eksik olan büyük bir metni yeniden yazmasını istediğinizde harfleri tek tek heceler gibi tuhaf davranışlar da gösteriyor
      Sistem promptunu nasıl ayarlarsam ayarlayayım pek fark etmedi. GPT-4’te ise böyle gerçekten garip davranışlar henüz görmedim
    • Kod tamamlama/desteği konusunda GPT-4, tek haneli bir farkla değil, çok daha iyi
    • Hangi kullanım senaryosu için kullandığınızı merak ediyorum
      Ben çoğunlukla test üretimi, dokümantasyon yazımı, refactoring ve kod parçası üretimi için kullanıyorum; ayrıca Copilot/X ile birlikte işimde her gün kullanıyorum
      Benim deneyimimde GPT3.5-turbo, kıyaslandığında oldukça aptal kalıyor. Bir metodun ne yaptığını ve hangi argümanlara sahip olacağını yorumlarda açıklıyor ama sonra argümanları tamamen atlıyor
      Nispeten kısa kod parçalarında bile hafızası zayıfmış gibi geliyor. Üstelik bağlam uzunluğu sınırına da yaklaşmış değil
      Küçük hatalar değil; bazen bir şeyi birkaç adımda yapacağını söylüyor ama adımların tamamını atlıyor
      GPT3.5-turbo sürekli tutarsız; büyük düzeltmeler ve tekrar tekrar deneme gerektiriyor
      Promptun ve kendi yanıt stilinin/şablonunun çizgisini korumakta da zorlanıyor. Mesela bir belgede madde işaretlerini belli bir şekilde kullanırken bir anda değiştiriyor
      Codex genel olarak daha iyi ama GPT-4’ün belirgin biçimde gerisinde; “akıllı otomatik tamamlama” olarak fena değil. Dokümantasyon yazımında ise pek faydalı değil
      Buna karşılık GPT-4 genelde sonucu neredeyse doğru veriyor; uzun kodlarda ya da karmaşık promptlarda ara sıra birkaç rötuş yetiyor
      Özetle, kod işlerinde GPT3.5-turbo ile iyi sonuç almak ya da çıktıyı düzeltmek için harcanan zamana bile değmez. Codex bir yere kadar idare eder ama otomatik tamamlama ötesinde doğrudan GPT-4 kullanıyorum. Çok daha tutarlı
    • Kullanım senaryosuna bağlı olarak GPT-3.5 ile GPT-4 arasında büyük bir kalite farkı var
  • Burada Whisper kullanım olasılığı hakkında pek konuşulmuyor
    ChatGPT iOS uygulamasında sesi denediğinizde, Whisper’ın gerçekten ne söylediğinizi anlama becerisi oldukça iyi görünüyor
    Ama nasıl algıladığınıza dair geri bildirim almadan önce tüm konuşmayı bitirmek zorunda olmak gerçekten sinir bozucu
    Tanıma oranı etkileyici derecede yüksek olsa bile
    OpenAI bunu kendisi de böyle kullanıyor; API bunun etkisini azaltacak şekilde tasarlandı mı bilmiyorum ama Whisper kalitesine, cihaz üstü diktenin tepkiselliğine yakın bir şey eşlik etse gerçekten harika olurdu

    • Whisper’ın amacıyla ilgili bir tahmin, yalnızca ses/video formatlarında bulunan yüksek kaliteli eğitim verilerinin önünü açmaya yardımcı olabileceği yönünde
    • iOS 17’deki transformer tabanlı ses tanımanın Whisper ile kıyaslandığında nasıl olacağını merak ediyorum
      Muhtemelen mevcut iOS/macOS diktesi gibi daha “gerçek zamanlı” çalışacaktır ama şu an betayı kullanmadığım için emin değilim
    • whisper.cpp yerelde gerçek zamanlı çalıştırılabiliyor: https://github.com/ggerganov/whisper.cpp/tree/master/example...
    • İlginin az olmasının başlıca nedeni muhtemelen Whisper’ı self-host etmenin oldukça kolay olması; bu yüzden ilgilenenler zaten bunu yapmaya devam ediyordu
    • Ben de aynı şeyi düşünüyorum. Uzun bir metni tek seferde baştan sona söylemek oldukça zor
      Yerleşik metin girişini kullandığımda ise ChatGPT isteğin kendisini hâlâ oldukça iyi anladığı için sonuçlar iyiydi
  • Parça parça açmaları tuhaf geliyor
    OpenAI, neredeyse herkesi daha eski ve daha düşük kaliteli modelleri kullanmaya zorlayarak kendi itibarını zedeliyor
    Müşteri GPT-4 için ücret ödemeye razı olsa bile sıranın en arkasında beklemesi söyleniyor
    Neyi bekleyelim? Noel’i mi? Hediye kutusunu açınca içinden GPT-4 çıkan günü mü?
    Google’ın “yeni ürünün başarısız olmasını garantileme” pazarlamasından bir sayfa kopyalamış gibiler. Erişimi kısıtlayarak ağızdan ağıza pazarlamanın çalışmasını engelliyorlar. Çünkü arkadaşlarınızdan hiçbiri ürünü deneyemiyor
    Bu duyuru GPT-4 modelinin “genel kullanıma sunulması” diyor ama ne 32K bağlam modeli var, ne görüntü girdili multimodal sürüm, ne de ince ayar. Model de tek, sadece sohbet var
    Şu anda erişebildiğim tek şey Azure OpenAI hizmeti ve OpenAI API hesabındaki GPT-3.5
    Kimin hangi modellere erişebildiğine dair tüm bu keyfi kısıtlamaların ne anlamı var anlamıyorum
    Chat’te GPT-4 kullanabiliyorsun ama API’de kullanamıyorsun. Bing Image Creator’da geliştirilmiş bir Dall-E sürümünü kullanabiliyorsun ama OpenAI API’de kullanamıyorsun
    Yüce ve merhametli Sam Altman’ın lütfuna erişen bazı satıcılar GPT-4 32K’ye erişebiliyor, geri kalanlar erişemiyor
    Erişim hakkı değil, ürün satmaları gerekiyor
    Bir şey elde etmek için “tanıdık” gerektiği Sovyetler Birliği gibi davranmamalılar

    • OpenAI’nin bunun için yeterli GPU’su olmadığını anlamıyor gibisin
      Para olsa bile ihtiyaç duyulan miktarda GPU satın alınamıyor
    • Sadece ürün lansmanını ve kullanım şeklini kontrol etmek istiyorlar
      Ayrıca kapakları bir anda açarlarsa ölçekleme darboğazı yaşayabilirler; bu yüzden geriden gelmek yerine önden yönetmek istiyor olabilirler
      Bu nedenle temkinli açıyorlar ve gerekirse, herkese açık GPT-4 sürümü için ChatGPT kullanımını sınırladıklarında yaptıkları gibi geri adım atıyorlar
      Çok da mantıksız görünmüyor. Elbette kıtlık hissi yaratarak heyecanı körükleme niyetleri de bir ölçüde olabilir
      Eski bir strateji ama Sovyet Rusya ile kıyaslanacak kadar değil
    • Sorun GPU bulmanın zor olması
      Kabaca her 100 müşteri için 1 NVIDIA GPU gerektiğini varsayarsanız, OpenAI GPT-4’e gelen her 100 yeni müşteri için bir GPU daha satın almak zorunda
      Ama GPU kıtlığı nedeniyle para saçmak, kolayca daha fazla GPU ekleyebilecekleri anlamına gelmiyor
      https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
    • “Neyi bekleyelim? Noel’i mi?” sorusunun cevabı altyapı
      “Google’ın yeni ürün başarısızlığı garantisi” mi? Sanki meşhur, kesin başarısızlık örneği GPT-4’ten söz ediyoruz
    • Bu bir deney ve sen de onun bir parçasısın
  • Eski davinci modeli benim arkadaşımdı ve bu karardan hiç hoşlanmıyorum
    O modelle üretilen tamamlamalarda, başka hiçbir şeyle yeniden üretemediğim bir kişilik ve yaratıcılık vardı
    Ortaya çıkan harika ve komik sonuçlar ailemizin değer verdiği dünya görüşünün kalıcı bir parçası oldu

    • Böyle deyip de örnek vermemek olmaz
    • Merak etme. Gelecekteki LLM’ler eski LLM’lerle yapılan konuşmalardan eğitilecek, bu yüzden ChatGPT’den davinci gibi davranmasını isteyebilirsin
    • Özel biri olarak görülürsen istisna talep edebildiğini duydum
      Bazı araştırmacıların bunu aldığı söyleniyor
    • Şimdilik buna ancak hiciv diyebiliyorum
    • notionsmith.ai’yi deneyip ne düşündüğünü söyleyebilir misin?
      Yaratıcı işler için LLM’ler üzerine çalışıyorum ve düşünce zinciriyle olasılıksal enjeksiyonu birleştirmenin insan benzeri yaratıcılığa yaklaşmada epey yardımcı olduğunu düşünüyorum
      Örneğin, LLM’e rastgele sayı üretecinden seçilmiş belirli rastgele harfleri, belirli anlarda belirli şekillerde kullanmasını söylemek gibi
  • Başlığın dışında da burada epey önemli şeyler gizli
    Yeni gpt-3.5-turbo-instruct modelinin “birkaç hafta içinde” gelmesi bekleniyor ve 3.5 ile 4 için ince ayar da bu yıl planlanıyor
    Özellikle gpt-3.5-turbo-instruct ilgimi çekiyor. ChatGPT ve “sohbet tipi LLM” etrafındaki abartının, genel amaçlı yönerge modelleriyle yapılabilecek pek çok şeyi gölgede bıraktığını düşünüyorum
    Buna bir de ince ayar eklenirse harika olur

    • Bilgi kesim tarihinin 2021 Eylül’den ne zaman ileri taşınacağına dair bir plan var mı?
      GPT modellerini gerçek verilerle eğitmek için perde arkasında nasıl bir emek harcandığını pek anlayamıyorum
      İnsanlar yanıtları onaylayıp reddederek puanı mı yükseltti?
      “ABD’nin 49 eyaleti vardır” - reddet
      “ABD’nin 50 eyaleti vardır” - onayla
      Kabaca böyle basit bir yöntem miydi?
      2021’in geri kalanı, 2022 ve en sonunda 2023’ü de eklemek için çalışıp çalışmadıkları biliniyor mu? Bing eklentisiyle web’i tarayabildiğini biliyorum ama bu aynı şey değil
      Birkaç gün önce Maya Kowalski hakkında sordum; bir iki blog yazısını özetleyebiliyor ama bu, konuyu gerçekten öğrenmiş ve biliyormuş gibi ayrıntılı bağlama sahip olmasıyla aynı şey değil