OpenAI, GPT‑Live’ı tanıttı

 (openai.com)
2 puan yazan GN⁺ 3 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • ChatGPT Voice’ı daha doğal, gerçek zamanlı sohbetlere yaklaştırmak için GPT‑Live‑1 ve GPT‑Live‑1 mini tanıtıldı
  • Tam çift yönlü yapı ile dinleme ve konuşma aynı anda işleniyor; kısa geri bildirimler, hızlı karşılıklı konuşma ve kullanıcının düşünürken beklenmesi destekleniyor
  • Mevcut kademeli ve sıra tabanlı sesli sistemlerde gecikme, bilgi kaybı ve doğal olmayan araya girme sorunları vardı; GPT‑Live bu sınırları sürekli etkileşimle azaltmayı hedefliyor
  • Arama, akıl yürütme ve karmaşık görevler arka planda GPT‑5.5 gibi en güncel modellere devrediliyor; GPT‑Live ise bu sırada sohbeti sürdürmeye devam ediyor
  • iOS, Android ve ChatGPT.com’da kullanıma sunuluyor; Go, Plus ve Pro için varsayılan ChatGPT Voice modeli GPT‑Live‑1, Free için ise GPT‑Live‑1 mini olacak

GPT‑Live’ın değiştirdiği sesli konuşma yapısı

  • GPT‑Live, yapay zeka ile sesli konuşmaları gerçek insanlar arasındaki konuşmalara daha da yaklaştırmak için geliştirilen yeni nesil bir ses modeli
  • Temel unsur, konuşma sırasında aynı anda dinleyip konuşabilen full-duplex (tam çift yönlü) mimari
    • Kullanıcı konuşurken “mhmm”, “yeah” gibi kısa tepkilerle dinlediğini gösterebiliyor
    • Hızlı karşılıklı konuşmaları işleyebiliyor
    • Kullanıcının düşünmek için zamana ihtiyacı olduğunda sessizce bekleyebiliyor
  • Bu yapı, ChatGPT Voice’ı daha doğal hale getiriyor ve uzun vadede daha karmaşık, daha uzun süren ajan benzeri görevlere de sesi entegre etmeyi mümkün kılıyor

Mevcut ChatGPT Voice yaklaşımının sınırları

  • İlk ChatGPT Voice gibi kademeli ses sistemleri, tek bir ifadeyi işlemek için birden çok modeli sırayla birbirine bağlıyordu
    • original ChatGPT Voice, sesi metne çeviren bir model, yanıt üreten büyük dil modeli ve metni tekrar sese çeviren bir modeli art arda kullanıyordu
    • Bu sayede frontier AI modelleriyle sesli konuşmak mümkün oldu, ancak modeller arasında bilgi kaybı yaşanabiliyor, yanıtlar yavaşlayabiliyor ya da katı hissedebiliyordu
  • ChatGPT Advanced Voice Mode gibi sıra tabanlı ses modelleri, tek bir model içinde sesi işleyip üretip gecikmeyi azalttı
    • Ancak hâlâ yalnızca kullanıcı konuşmayı bıraktıktan sonra yanıt veren bir sıra yapısıyla çalışıyor
    • Sıra algılama sessizliğe dayandığı için kısa duraklamalar veya arka plan gürültüsü yanlışlıkla konuşma sonu olarak algılanabiliyor
    • Bu durumda model doğal olmayan anlarda araya girebiliyor

Sürekli etkileşim ve görev devri

  • GPT‑Live, ayrı mesajları sırayla işlemek yerine girdiyi sürekli alırken aynı anda çıktı üretiyor
  • Model saniyede birden fazla kez etkileşim kararı veriyor
    • konuşup konuşmama
    • dinlemeyi sürdürme
    • kısa süre duraklama
    • araya girme
    • araç çağırma
  • Bu yaklaşım daha doğal karşılıklı konuşma, daha iyi zamanlama hissi ve gerçek zamanlı çeviri sağlıyor
  • Derinlemesine işler GPT‑Live’dan ayrı biçimde yürütülüyor
    • Arama, akıl yürütme veya daha ajanvari yetenekler gerektiren sorular GPT‑5.5 gibi başka modellere devredilebiliyor
    • Arka planda birden fazla iş yürürken GPT‑Live sohbeti sürdürmeye devam ediyor
    • Böylece en güncel modeller ve ajanlardan yararlanılırken doğal sesli etkileşim de korunuyor

Model sürümleri ve dağıtım planı

  • OpenAI, GPT‑Live‑1 ve GPT‑Live‑1 mini olmak üzere iki sürümü dünya genelindeki ChatGPT kullanıcılarına kademeli olarak sunmaya başladı
  • API erişimi de planlanıyor; geliştiriciler ve şirketler form üzerinden bildirim talebinde bulunabiliyor
  • Yayın anındaki GPT‑Live, arka planda GPT‑5.5 kullanıyor
    • GPT‑Live‑1 instant ve GPT‑Live‑1 mini, GPT‑5.5 Instant modelini kullanıyor
    • GPT‑Live‑1 Medium ve GPT‑Live‑1 High ise sırasıyla medium ve high akıl yürütme çabasıyla GPT‑5.5 Thinking modelini kullanıyor
  • OpenAI, yeni frontier modeller geldikçe GPT‑Live’ın kullandığı arka plan modellerini güncellemeyi planlıyor

Değerlendirme sonuçları

  • OpenAI, sohbetin keyfini ve akışını ölçmek için yeni bir insan değerlendirmesi oluşturdu
  • 5 ila 10 dakikalık eşleştirilmiş konuşmalarda GPT‑Live‑1 ve GPT‑Live‑1 mini, Advanced Voice Mode’a kıyasla belirgin biçimde daha çok tercih edildi
    • genel tercih
    • sıra halinde karşılıklı konuşma
    • araya girme
    • konuşma akışı
    • etkileşimin doğallığı
  • GPT‑Live‑1, çeşitli benchmark’larda Advanced Voice Mode’dan daha iyi sonuçlar gösterdi
    • GPQA: biyoloji, kimya ve fizik genelinde uzman düzeyinde bilimsel akıl yürütmeyi test ediyor; GPT‑Live‑1 açık farkla önde
    • BrowseComp: ajan benzeri web araması ve bulunması zor bilgileri bulma yeteneğini test ediyor; GPT‑Live‑1 büyük gelişim gösteriyor
    • τ³-Voice Telecom: gerçekçi çok turlu telekom destek görevlerinde ses ajanlarını test eden dahili bir varyant; GPT‑Live‑1 daha iyi performans gösteriyor
  • τ³-Voice Telecom değerlendirmesi, en güncel akıl yürütme modeliyle çalışan özelleştirilmiş kullanıcı modellerini kullanıyor

ChatGPT Voice deneyiminde neler değişiyor

  • Her hafta 150 milyondan fazla kişi Voice ve Dictation gibi özelliklerle ChatGPT ile konuşuyor
  • Kullanıcılar sesi eller serbest günlük yardım, dil pratiği, uyku hikâyeleri ve işe gidiş geliş sırasında sohbet gibi amaçlarla kullanıyor
  • Voice düğmesine basıldığında GPT‑Live tabanlı deneyim devreye giriyor
    • daha doğal konuşma
    • daha akıllı yanıtlar
    • daha iyi dinleme
    • görsel yanıtlar
  • Kullanıcılar soruyla araya girebiliyor, düşüncelerini toparlamak için duraklayabiliyor veya ChatGPT’den daha yavaş konuşmasını isteyebiliyor
  • ChatGPT, “mhmm”, “got it” gibi tepkilerle kullanıcıyı takip ettiğini gösterebiliyor
  • ChatGPT’nin 9 özgün sesi GPT‑Live için yeniden düzenlendi
  • Kullanıcılar akıl yürütme düzeyini seçebiliyor
    • Instant: hızlı yanıt
    • Medium ve High: ChatGPT’nin daha uzun düşünmesini sağlıyor
  • ChatGPT Voice, kullanıcı kısa süre düşünürken araya girmeden bekleyebiliyor
  • Kullanıcı sessizce dinlemesini istediğinde buna uyabiliyor
  • Yoldan geçen araçlar veya çevredeki konuşmalar gibi arka plan gürültüsü varken bile kullanıcının sesine daha iyi odaklanıyor
  • Hava durumu, hisse senetleri ve spor gibi bazı konular sohbet sırasında zengin görsel kartlarla gösterilebiliyor
  • Voice; arama, hafıza, görseller ve dosya yüklemeyi desteklemeye devam ediyor

Güvenlik önlemleri ve izleme

  • GPT‑Live, en yeni modellerdeki güvenlik iyileştirmelerini temel alıyor; buna sese özel güvenlik eğitimi ve yeni korumalar ekleniyor
  • OpenAI, gerçek sesli kullanım ortamlarını daha iyi yansıtmak için ses tabanlı değerlendirmeleri genişletti
  • Advanced Voice Mode’dan elde edilen bulgulara dayanarak üretilmiş ses kullanan sentetik değerlendirmeler de oluşturdu
  • Dahili uzmanlar, sese özgü risklere yönelik red team testleri yürüttü
  • Testlerde GPT‑Live, değerlendirilen neredeyse tüm alanlarda Advanced Voice Mode ile benzer ya da daha iyi sonuç verdi
  • Ayrıntılı testler ve korumalar GPT‑Live system card’ında yer alıyor
  • Sesli konuşmalar gerçek zamanlı ilerlediği için model konuşurken de çalışan ek korumalar eklendi
    • potansiyel olarak güvenli olmayan çıktılar tespit edilirse daha güvenli yanıtlara yönlendiriyor
    • ek güvenlik mesajları veya kaynaklar gösterebiliyor
    • daha yüksek riskli durumlarda sesli sohbeti sonlandırabiliyor
  • Kendine zarar verme ile ilgili konuşmalarda, uzman incelemesinden geçmiş kriz yardım hattı desteği de dahil olmak üzere ChatGPT’nin destek akışı ses için uyarlandı
  • Genç kullanıcılar için ek korumalar da tasarlandı
    • uygunsuz yanıt riskini azaltmak için modele doğrudan yaşa uygun davranış öğretildi
    • ebeveynler Parental Controls üzerinden gençlerin ChatGPT Voice kullanımına izin verip vermeyeceğini seçebiliyor
    • bağlı ebeveynler, kendine zarar verme ya da intihar niyeti belirtisi içeren yüksek riskli durumlarda bildirim alabiliyor
  • Duygusal bağımlılık odağında uzun dönemli ölçümler ve lansman sonrası izleme de sürüyor
    • önceki affective use and emotional well-being araştırmasına dayanıyor
    • duygusal açıdan hassas etkileşimlerde yeni örüntüleri belirlemek ve yanıt biçimini iyileştirmek için kullanılıyor
  • GPT‑Live, konuşma için geliştirilen bir model; ses taklidi için değil
    • ChatGPT’nin önceden tanımlı ses setini kullanıyor
    • gerçek insanların sesini taklit etmesini önleyen korumalar içeriyor

Kapsam ve mevcut sınırlamalar

  • GPT‑Live, iOS, Android ve ChatGPT.com üzerinden dünya genelindeki ChatGPT kullanıcılarına sunuluyor
  • GPT‑Live‑1, Go, Plus ve Pro kullanıcıları için varsayılan ChatGPT Voice modeli oluyor
  • GPT‑Live‑1 mini, Free kullanıcıları için varsayılan model oluyor
  • Daha ayrıntılı erişim kapsamı Help Center’da bulunabiliyor
  • GPT‑Live, ChatGPT’de sık kullanılan bazı dillere göre optimize edildi
    • bazı dillerde ana dili olmayan aksanlar veya akıcılıkta eksikler olabilir
    • OpenAI, farklı dillerde deneyimi iyileştirmek için çalışmaya devam ediyor
  • Lansman anında ChatGPT’de ses tabanlı video veya ekran paylaşımı desteklenmiyor
    • OpenAI bu özellikleri yakında sunmak için çalışıyor
    • Standard ve Advanced Voice Mode gibi mevcut ChatGPT Voice sürümlerinde bu özellikler kullanılmaya devam edecek

İlgili okumalar

1 yorum

 
GN⁺ 3 시간 전
Hacker News yorumları

  • Birkaç haftadır önceden kullanıyordum, oldukça iyiydi. Köpeği gezdirirken bir saatlik bir sohbet yaptım ve projelerimden biri hakkında epey iyi bir beyin fırtınası da oldu.
    En iyi özellik, arka planda soruları GPT-5.5'e devredebilmesi; böylece artık ön cepheden yıllar geride kalmış bir ses modeline bağlı kalmıyorsunuz.
    Komik bir hata da bildirdim: Ben hâlâ konuşurken araya girip şaka niyeti taşımayan sözlerime gülebiliyordu. Neyse ki bu davranışı azaltmış gibiler; o zamanlar biraz kaba ve küçümseyici hissettiriyordu.

    • Kişilik ayarlarına iyi tepki verip vermediğini merak ediyorum. Sahte bir yapay zeka kız arkadaş gibi bir şeyi hiç istemiyorum ama ses modundan büyük değer elde ediyorum.
      Denemeyi sabırsızlıkla bekliyorum ama Sesame gibi ürpertici derecede abartılı oynanmış bir felaket olmamasını umuyorum. Benim istediğim yönde etkileşimi ciddi biçimde artırmak zor olacağından, sonunda sahte yapay zeka kız arkadaş tarafına doğru bastırmaya devam edeceklerini tahmin ediyorum.
    • Arka planda GPT-5.5'e devredebilmesi tam da istediğim yön.
      İşe gidip gelirken ya da egzersiz yaparken beyin fırtınası için ChatGPT ses modunu kullanmak istiyordum, ama geçmişe sıkışmış gibi hissettirdiği için daha az kullanır oldum.
    • Sadece yürüyüşün tadını çıkarmanızı şiddetle tavsiye ederim.
    • Mevcut ses modeli gibi yavaşlatılmış bir GPT sürümü mü, merak ediyorum. En azından Fransızcada şu anki GPT ses modu işe yaramaz durumda; sadece dikte modunu kullanır oldum.
      Bir soru sorunca “İlginç bir soru. Yardımcı olabilirim. X hakkında ne öğrenmek istersiniz?” gibi cevap veriyor; tekrar sorsanız da aynı türden cevapsız cevaplar geliyor.
    • Ses modunun kullanıcı deneyimini seviyorum ama ses modelinin kendisinden hep nefret ettim.
      Özellikle Gemini her seferinde tuhaf bir soruyla bitiriyor ve bunu prompt ile de güvenilir biçimde engelleyemiyorsunuz; sonunda gerçek iş akışlarım için yalnızca STT → model → TTS yapan kendi istemcimi oluşturdum. STT ve TTS ayrı ayrı da faydalı.
      Modelin hızlıca daha nüanslı cevap vermesinde biraz değer olabilir ama çok büyük değil. Cevabın bitmesini bekleyebilirim; bunun yerine gerçekten faydalı olmasını tercih ederim. Dijital bir arkadaş aramıyorum.
      Devretme özelliği sayesinde orkestrasyon türü işlevlerde ses modelinin değerini biraz görebiliyorum; ama sırf iletişim ortamı değişti diye farklı özellikleri ve quirks'leri olan başka bir modelle konuşmak istemiyorum ve insanların bunu neden sevdiğini de pek anlamıyorum.

  • Bu, yapay zekanın gitmesi gereken yönün tam tersi. İnsan ilişkileri sahip olduğumuz en değerli şey; teknoloji ise doğal olarak onların arasına aracılık etmeye çalışıyor, şimdi de onları ikame etmeye çalışıyor.
    Katolik değilim ama yapay zekayı insan gibi bir muhatap olarak kullanmaya karşı bu podcast'te ilginç bir argüman var: https://newpolity.com/podcasts-hub/debate-chatbots

    • Yapay zekanın yaptığı şeylerin çoğu zaten yanlış yönde. Yalnızca insanlar arası etkileşimi değil, düşünmeyi, yaratıcılığı, duyusal algıyı ve tepki vermeyi de elimizden alıyor.
      İnsanlar buna insanlara yardımcı olmak diyor, ama ben bunu insandan insanlığın emilmesi olarak görüyorum.
      Zarar ortaya çıktıktan sonra dev şirketler “Biz sadece iş rekabetine karşılık verdik” diye omuz silkecek. İş dünyası insan değildir, bu yüzden insanlığı bilmez. Şirketler ve makineler insanları av olarak gören varlıklardır; insanlar da ilerleme olduğuna inanarak onları yarattı. Zihinsel kapasite gerektirdiği ve diğer türlere hükmetmemize yardım ettiği için buna ilerleme diyoruz, ama yunuslar muhtemelen bize gülüyordur.
    • Geçerli bir nokta, ama iki farklı şeyi karıştırıyor gibisiniz.
      İnsan sosyalleşmesinin ya da sohbetinin yerini alan bir yapay zeka ses modu ise ben de bunu cringe bulurum ve tamamen katılırım. Bu, metin de olsa ses de olsa aynı.
      Ama bir araç olarak yapay zeka ile etkileşime geçmek için alternatif bir arayüzse, bunun harika bir fikir olduğunu düşünüyorum. Yazı yazmak için fazla yorgun olduğum ya da daha serbest bir biçimde beyin fırtınası yapmak istediğim zamanlarda, iyi çalışan bir ses modunun olmasını istediğim anlar oldu.
      Elbette bugün yapay zekayı bir kişilik gibi mi yoksa bir araç gibi mi kullandığınız ayrımı tamamen kullanıcı tarafında. Ben ikincisini çok istiyorum; birileri birincisi olarak kullanmak istiyorsa bu benim sorunum değil. Yine de sonunda bu özelliğin bir araç olarak avantajlarından çok, ortalama bir insanın onu ne kadar geriletici ve indirgemeci biçimde kullandığına göre değerlendirilecek olması üzücü.
    • Bir chatbota yazıyla ya da sesle harcadığınız her 1 dakika, normalde başka bir insanla konuşacağınız 1 dakikaydı. Hayatta gerçekten önemli olan tek şey, tüm değerin temeli, öz kimliğin oluşumu, diğer insanlarla iletişimden gelir.
    • Sesin tür farkı değil, derece farkı olduğunu düşünüyorum. Ben de yapay zeka ile insanmış gibi konuşuyorum; yapay zekanın kullanıcı deneyiminin kendisi de insanı taklit etmek olarak görülebilir.
      İnsanlarla etkileşimin önemli bir bölümü de metin üzerinden gerçekleşiyor. Örneğin bu yazı da öyle.
    • Katılmıyorum. Akıcı ve doğal konuşmalı yapay zeka, LLM'lerle çalışmak için herhangi bir arayüzden çok daha üretken.
      Yine de daha robot gibi yapılması gerektiği savunulabilir. StarTrek'teki gibi. Açıkçası iş için bu daha iyi bile olabilir. Soğuk, saf verimlilikten ibaret bir “iş halletme modu” gibi.

  • Bu duyuruda eksik olan şey bağlayıcılar ve araç kullanımı yeteneği. Pek anlam veremiyorum. Claude, ChatGPT, Gemini, Grok gibi en öndeki asistanlardan hiçbiri ses modunda araç ya da bağlayıcı kullanamıyor
    Çok bariz görünüyor: Konuşurken kaynak araştırmak, belgeleri çağırmak, notlar bırakmak ve üretken işler yapmak istiyorum. Bir uygulamaya ya da servise bağlanmam gerektiği her seferinde ses modunu bitirmek istemiyorum
    Tuhaf olan, eski Claude ses modunun araç kullanabiliyor olmasıydı; yenilenince bu yeteneği kaybetti ve artık Haiku’ya sabitlendi
    Sonunda en öndeki model tabanlı ve Grok Voice kadar iyi olmasını umabileceğimiz bir ses modunun çıkması sevindirici, ama ses modunda hâlâ araç kullanımının görünmemesi üzücü
    Henüz kendim denemedim, sadece duyuruyu okudum

    • Sam Altman’ın, birinin Voice ile 1 mil koşu süresini tutmaya çalışırken komik şekilde başarısız olduğu viral klibe tepki verdiği bir TikTok var
      Sam’in tepkisi şuydu: “Evet, zamanlayıcı gibi araçlara erişemiyor. Bu bilinen bir sorun ve yaklaşık 1 yıl içinde gelecek”
      Klip burada: https://www.youtube.com/shorts/Py2YgJe8fqQ
    • gpt-realtime-2 kullanırsanız düşük gecikmeli akışla benzer sonuçlar elde edebilir, odada yanınızda bir asistan varmış hissi verebilirsiniz
      Araç kullanımını da ekleyip gpt-realtime-2 modelini deneyebilmeniz için ayarlanmış bir yer var: https://sippet.ai/?enabler=hn
    • Şirketimi yönetmek ve günlük programımı planlamak için kişisel asistanımda gpt-realtime-1 kullanıyorum; gayet iyi çalışıyor. Araç çağrıları da yapıyor
      Yine de çok modlu işleme nedeniyle garip olayları, mesajlar ile ses dizileri arasındaki yarış durumlarını çokça debug etmek zorunda kaldım. Buna rağmen genel olarak oldukça iyi
      Bugün ilerleyen saatlerde bu modele geçmeyi planlıyorum, sonuçları tekrar paylaşırım
    • Araçlar, gecikme süreleri öngörülemez olduğu için bununla ilgili olabilir. Yine de zaten 5.5’e arka planda devrediyorsa, o bağlam içinde doğrudan etkinleştirilebilirmiş gibi geliyor
    • En öndeki asistanların ses modunda gerçekten araçlar ve bağlayıcılar kullanamadığı doğru mu? Bir arkadaşım Gemini ile sık sık beyin fırtınası yapıyor; sanırım Android telefonda konuşmayla ilgili işleri gerçekten yürütüyor ve notlara içerik de ekliyor diye biliyorum
      Her hâlükârda istediğin zaman pi ile vibe coding yapıp bir tane oluşturabilirsin

  • Birçok yapay zeka özelliği gibi hem havalı hem de biraz ürpertici. Daha önce Siri ya da Google tarafındaki, TV’lerde olan türden ses arayüzlerini kullanmışlığım yok; muhtemelen hedef kullanıcı ben değilim ama bir iyileştirme gibi görünüyor
    Ürpertici olan kısım, birbirimizden her zamankinden daha kopuk yaşadığımız bir çağda olmamız. Gerçekten sohbeti bile mi ikame etmemiz gerekiyor? Yaşlı kadınların yer aldığı demo videosu bir şeyler ima ediyor; zaten toplumun yaşlılara yaklaşımı ve devasa bir yaşlı yalnızlığı sorunu olduğunu düşünüyorum. Gerçekte düşünmeyen bir makineyle insanların gerçekten yakınlaştığını hayal etmek hüzün verici ve belirgin bir rahatsızlık hissi uyandırıyor

  • OpenAI’den Atty’yim
    GPT-Live-1, yeni nesil modellerin ilk sürümü ve tam çift yönlü yapısı ile devretme işlevinin insan-yapay zeka etkileşiminde tamamen yeni bir yolu mümkün kıldığını düşünüyorum
    Geri bildirim duymak isterim

    • Biraz sıra dışı bir soru olabilir ama bu, yalnızlık salgınını ve toplumun atomizasyonunu daha da kötüleştirirse bunu kendi içinizde kaldırabileceğinizi düşünüyor musunuz?
      5 yıl sonra gençlerin sadece sizin chatbot’larınızla vakit geçirdiğini duyarsanız ne ölçüde kişisel sorumluluk hissedersiniz, yoksa hiç hissetmez misiniz, merak ediyorum
    • Kendi teknolojime ya da araçlarıma bağlayabilir miyim? Örneğin şirketin bir bilgi tabanı ve olay günlükleri var; bu bilgiye tamamen erişerek sohbet edebilen ve depodaki teknolojileri ya da araçları çağırabilen bir beyin fırtınası partnerine ihtiyacım var
    • gcal gibi başka uygulamalara bağlanamıyorsa, “Bu özellik yok” demek yerine standart GPT istemcisini kullanmayı önermeli
      Öyle söyleyince normal istemcide de bu özellik yokmuş gibi yanlış anlaşılabilir, yanıltıcı
    • Tek seferde yalnızca bir ajana mı devredebilir, yoksa birden fazla görev için birden çok alt ajan oluşturabilir mi?
    • Şarkı söyleyebilir mi? Uçtan uca çok modlu bir model mi?

  • Bunu görünce ChatGPT’ye yeniden abone olabilirim diye sinir oldum. LLM’lerden önce ses özelliğini bu kadar çok kullanacağıma inanmazdım, ama şu anda en iyi ses arayüzü ChatGPT’de
    Grok arayüzü bir sonraki sırada, sonra da Claude geliyor bence

    • Ben de aynıyım. Ses özelliğini sürekli kullandığım için Gemini’den tekrar ChatGPT’ye dönebilirim
      Sevdiğim kullanım senaryolarından biri, araba kullanırken rastgele konular hakkında sohbet edip öğrenmek

  • Eskisine göre çok daha iyi, ama hâlâ doğrudan sohbete kıyasla epey zayıf
    Örneğin “Vektör büyüklüğünün yararlı bilginin çoğunu kodlamadığını sık sık söylüyorsunuz; öyleyse LLM attention neden kosinüs benzerliği yerine nokta çarpım kullanmalı?” diye sordum
    Sesli yanıtın yönü doğruydu ama ayrıntı eksikti ve biraz geçiştiriyor gibiydi
    Aynı soruya metin sohbetinde verilen yanıt çok daha kaliteliydi
    Sesli yanıtta “Bir düşüneyim…” dediğine göre reklamı yapıldığı gibi 5.5’i çağırıyor gibi, ama açıkça daha zayıf
    Her iki tarafta da akıl yürütme ayarlarını aynı tuttum

    • Bu epey fazla ayarlanabilir. Mevcut kişilik beyin fırtınası ve sohbet için optimize edilmiş durumda, ama özel talimatlarla daha derine inmesini, daha yoğun bilgi içeren ya da daha teknik yanıtlar vermesini isteyebilirsiniz
    • İnsanlar, dinleyebildiklerinden çok daha fazla metin okuyabilir. Sesli yanıt çok uzunsa insanın sabrı çabuk tükeniyor
      Bu yüzden metin çoksa ekranda göstermek daha iyi
    • Arka plandaki düşünme seviyesinin en aza indirildiğini doğal olarak varsayıyorum. Bir tür durma problemi bu; metin 5.5’te düşünmeyi maksimuma alırsanız tek bir soruyu 5-10 dakika çiğneyebiliyor
      Böyle bir sohbet oldukça tuhaf olurdu

  • PersonaPlex dışında yayımlanmış açık kaynak tam çift yönlü bir model olup olmadığını merak ediyorum. Çin tarafındaki açık modellerden Fun Audio chat’e benzer adlı bir modelin tam çift yönlü bir sürüm çıkaracağını söylediğini hatırlıyorum, ama gerçekten çıkardı mı bilmiyorum.
    Hayalim, fonksiyon çağırma ya da çok temel metin çıktısı olan açık kaynak bir tam çift yönlü model. PersonaPlex hâlâ ilginç, ama çıktı işlemeyi yönetmek ya da kolayca kontrolden çıkmamasını sağlamak için ince ayar gerektiriyor gibi görünüyordu.

    • Standard Intelligence 2 yıl önce bir tane yayımlamıştı.
      https://si.inc/posts/hertz-dev/
      Sadece 8.5B ve tamamen konuşma odaklıymış gibi duyulmuyor.
    • Ben de bunu bilmek istiyorum. Çünkü yerel bir yapay zeka asistanıyla iletişim kuran akıllı hoparlör benzeri bir şeyi kabaca denemek istiyorum.
      Şu anda her şeyi iMessage üzerinden yapıyorum, ama mutfakta ellerim doluyken sesle alışveriş listesine bir şeyler eklemesini söyleyebilsem iyi olurdu. Hangi mikrofonu ve hoparlörü seçmenin iyi olacağı konusunda da tavsiye olsa güzel olur; beyin tarafında ise ortalıkta duran bir Raspberry Pi’yi yeniden kullanmayı planlıyorum.
    • https://duplexio.ai üzerinde bu iş üzerinde çalışıyoruz ve açık ağırlıklarla ticari olmayan kullanım ücretsiz olacak. Birlikte çalışmak istersen anders@duplexio.ai adresine e-posta gönderebilirsin.

  • Gemini live bunu zaten bir yılı aşkın süredir yapabiliyordu. Telefonda açınca gerçekten şaşırtıcı derecede iyi çalışıyor; özellikle araya girme yönetimi iyi.
    95 yaşındaki Hollandalı büyükannemle test ettim; İngilizce ile Felemenkçe arasında sorunsuz geçiş yaptı, işitme duyusunun iyi olmamasını da iyi yönetti ve tekrar isteklerini de iyi karşıladı.
    OpenAI’ın burada bu şekilde yetişiyor olması biraz şaşırtıcı.

    • Gemini live bilgisayarlı görü tarafında da oldukça iyi. Bisiklet ve araba tamir ederken birkaç kez kullandım; telefon kamerasıyla belirli vidaları ve parçaları daire içine aldı ya da vurguladı.
      Telefonu bir tripoda koyarsan tüm tamir sürecinde adım adım rehberlik edebiliyor.
    • ChatGPT’de de bu bir yılı aşkın süredir vardı. Bu daha iyi bir model.
    • Simon’ın işaret ettiği bir şey, gerçek zamanlı ses modellerinin genelde frontier modeller kadar yetenekli olmadığı.
      Bu modeli özel yapan şey, konuşma sırasında işleri frontier modele devredebilmesi.
    • Gemini live, OnePlus 15’imdeki uygulamayla aynı şey mi? O tam çift yönlü gibi görünmüyor.
    • Ne demek istediğini anlamadım. OpenAI’ın geçen ağustostan beri gerçek zamanlı ses modeli vardı. Bu, performansı daha iyi olan yeni bir model.

  • En kötü senaryo, insanların sürekli kendileriyle hemfikir olan yapay zekayla konuşmaya o kadar alışması ki, kendilerinden farklı bakış açıları sunan ya da egolarını okşamayan tepkiler veren varlıklarla konuşma becerilerini kaybetmeleri.