- OpenAI, ChatGPT’ye sesli sohbet ve görsel girdi özelliklerini kademeli olarak ekleyerek metin girişinin ötesine geçip konuşarak sohbet etmeyi ve fotoğraf göstererek soru sormayı mümkün kılıyor
- Ses özelliği mobil uygulamada opt-in olarak etkinleştirildikten sonra kullanılabiliyor; kullanıcı 5 sesten birini seçiyor ve Whisper, kullanıcının konuşmasını metne dönüştürüyor
- Görsel özelliği fotoğraflar, ekran görüntüleri ve metin ile görselin karışık olduğu belgelerle çalışıyor; mobil uygulamada çizim aracı ile belirli bir alan işaretlenebiliyor
- Plus ve Enterprise kullanıcılarına 2 hafta boyunca önce sunulacak; ses iOS ve Android’de, görseller ise tüm platformlarda kullanılabilecek
- Gerçekçi ses sentezi, insan görüntülerinin yorumlanması ve yüksek riskli alanlarda buna dayanma gibi riskler bulunduğundan OpenAI, sınırlı dağıtım ve güvenlik önlemlerini birlikte uyguluyor
ChatGPT’nin yeni giriş biçimleri: konuş, göster ve sor
- ChatGPT, kullanıcıların sesle sohbet edebilmesini veya görseller göstererek soru sorabilmesini sağlayan özellikler sunuyor
- Yeni özellikler, yalnızca klavye girişine bağlı kalmadan ChatGPT’yi daha sezgisel kullanmaya odaklanıyor
- Kullanım örnekleri şöyle
- Seyahat sırasında bir simge yapının fotoğrafını çekip ilginç noktaları gerçek zamanlı sohbetle sormak
- Buzdolabı ve kiler fotoğraflarını gösterip akşam yemeği menüsü ve adım adım tarif istemek
- Çocuğun matematik probleminin fotoğrafını çekip problem setini daire içine aldıktan sonra ipucu istemek
Önce hangi kullanıcılar ve platformlar erişecek
- Plus ve Enterprise kullanıcıları, önümüzdeki 2 hafta içinde ses ve görsel özelliklerini kullanabilecek
- Ses özelliği iOS ve Android’de sunulacak ve ayarlardan opt-in olarak etkinleştirilmesi gerekecek
- Görsel özelliği tüm platformlarda sunulacak
- Daha sonra geliştiriciler dahil diğer kullanıcı gruplarına erişimin genişletilmesi planlanıyor
Ses özelliği nasıl çalışıyor
- Kullanıcılar ChatGPT ile karşılıklı sesli sohbet edebiliyor
- Yoldayken sohbet
- Aile için uyku vakti hikâyesi isteme
- Yemek masasında yaşanan bir tartışmayı toparlama gibi kullanım senaryoları buna dahil
- Mobil uygulamada sesi başlatmak için Settings → New Features bölümünden sesli sohbeti açmak gerekiyor
- Ana ekranın sağ üstündeki kulaklık düğmesine basıp 5 sesten tercih edilen ses seçiliyor
- Yeni ses özelliği, yalnızca metin ve birkaç saniyelik örnek sesle insan benzeri ses üretebilen bir metinden sese dönüştürme modeli kullanıyor
- Her ses, OpenAI’nin profesyonel seslendirme sanatçılarıyla iş birliği içinde üretildi
- Kullanıcının söyledikleri, OpenAI’nin açık kaynak konuşma tanıma sistemi Whisper tarafından metne dönüştürülüyor
Görsel özelliği nasıl çalışıyor
- Kullanıcılar ChatGPT’ye bir veya daha fazla görsel gösterip sohbeti sürdürebiliyor
- Görsel girdi şu tür işler için kullanılabiliyor
- Izgaranın neden çalışmadığını kontrol etmek
- Buzdolabının içeriğine bakıp yemek planı yapmak
- İş verileri içeren karmaşık bir grafiği analiz etmek
- Belirli bir alana odaklanmasını sağlamak için mobil uygulamadaki çizim aracı kullanılabiliyor
- Görsel eklemek için fotoğraf düğmesine basarak fotoğraf çekiliyor veya bir görsel seçiliyor
- iOS ve Android’de önce artı düğmesine basmak gerekiyor
- Birden fazla görsel birlikte tartışılabiliyor veya çizim aracıyla assistant’ın bakacağı bölüm yönlendirilebiliyor
- Görsel anlama görevini multimodal GPT‑3.5 ve GPT‑4 üstleniyor
- Bu modeller, fotoğraflar, ekran görüntüleri ve metin ile görselin birlikte bulunduğu belgeler gibi çeşitli görsellere dil muhakemesi yeteneklerini uyguluyor
Kademeli dağıtım ve güvenlik önlemleri
- OpenAI, araçları kademeli olarak yayımlayarak iyileştirme ve risk azaltmayı birlikte yürütme yaklaşımını benimsiyor
- Ses ve vision içeren gelişmiş modellerde gerçek kötüye kullanım olasılığı arttığından bu strateji daha önemli hale geliyor
-
Sesle ilgili riskler ve sınırlamalar
- Yeni ses teknolojisi, gerçek bir sesin yalnızca birkaç saniyelik örneğiyle gerçekçi sentetik sesler oluşturabiliyor
- Yaratıcı kullanımları ve erişilebilirlik odaklı uygulamaları mümkün kılsa da, tanınmış kişileri taklit etme veya dolandırıcılık gibi riskleri de beraberinde getiriyor
- OpenAI bu teknolojiyi belirli bir kullanım senaryosu olan sesli sohbet için kullanıyor
- Sesli sohbet, OpenAI’nin doğrudan iş birliği yaptığı seslendirme sanatçılarının sesleriyle oluşturuluyor
- Spotify bu teknolojiyi Voice Translation pilotunda kullanıyor
- Bu özellik, podcast’leri podcaster’ın kendi sesiyle ek dillere çevirerek hikâye anlatımının erişim alanını genişletiyor
- İlgili bağlantı: Voice Translation
-
Görsel girdiyle ilgili riskler ve sınırlamalar
- Vision tabanlı modeller, insanlar hakkında halüsinasyonlar ve yüksek riskli alanlarda görsel yorumlarına dayanma gibi yeni zorluklar içeriyor
- OpenAI, daha geniş dağıtımdan önce modeli red team’ler ve çeşitli alfa test kullanıcılarıyla test etti
- Test alanları arasında aşırılıkçılık ve bilimsel yeterlilik gibi risk alanları yer alıyor
- Be My Eyes ile yapılan çalışma, görsellerin kullanım biçimlerini ve sınırlarını anlamak için kullanıldı
- Be My Eyes, görme engelli ve az gören kişiler için ücretsiz bir mobil uygulama
- Kullanıcılar, arka planda insanların göründüğü bir TV sahnesi gibi insan içeren görseller hakkında genel sohbet etme işlevini faydalı buluyor
- ChatGPT her zaman doğru olmadığından ve kişilerin mahremiyetine de saygı gösterilmesi gerektiğinden OpenAI, ChatGPT’nin insanları analiz etme ve doğrudan ifadelerde bulunma yeteneğini önemli ölçüde sınırlayan teknik önlemler uyguladı
- Gerçek kullanım ve geri bildirim, aracın faydasını korurken güvenlik önlemlerini iyileştirmek için kullanılıyor
Model sınırlamaları ve kullanımda dikkat edilmesi gerekenler
- Kullanıcılar araştırma gibi uzmanlık gerektiren konularda ChatGPT’ye güvenebileceğinden, modelin sınırlarını anlamalı ve doğrulama olmadan yüksek riskli kullanımlardan kaçınmalı
- Model İngilizce metin transkripsiyonunda başarılı olsa da bazı diğer dillerde, özellikle Latin alfabesi dışındaki yazı sistemlerinde performansı daha düşüktür
- OpenAI, İngilizce dışındaki kullanıcıların ChatGPT’yi bu amaçla kullanmasını önermiyor
- Görsel girdi güvenliği yaklaşımı ve Be My Eyes ile ilgili çalışmalar hakkında daha fazla bilgi system card for image input sayfasında okunabilir
1 yorum
Hacker News yorumları
Ses arayüzünün muazzam bir potansiyeli var, ancak bu demo, diğer pek iyi olmayan sesli asistanlar gibi soru ile cevap arasında birkaç saniyelik gecikme olduğu için epey hayal kırıklığı yaratıyor
Bunun böyle olması gerekmiyor. Llama 2 ile yapılmış yerel bir demo yaklaşık 0,5 saniyede yanıt veriyor; Siri gibi değil, gerçek bir insanla konuşuyormuşsunuz gibi hissetmeye daha yakın
İnsanların deneyebilmesi için paketlemek gerek ama kullanıcının konuşmayı bitirip bitirmediğini anlamak gibi zor bir sorun var. Hazır konuşma tanıma sistemlerinde diyalog sıra alma veri kümeleri ve modelleri eksik; OpenAI gibi bir şirket bunu kolayca yapabilir gibi görünüyor
Konuşmadan metne dönüştürme, LLM, SKU doğrulaması için POS ve tekrar ses üretimine kadar tüm gidiş-dönüş gecikmesi yüzlerce milisaniye düzeyinde. SKU doğrulaması olduğu için halüsinasyon da imkânsız; bu düzeyde oldukça doğal hissettiriyor. Böyle düşük gecikmeyi genel amaçlı bir sisteme dönüştürmek çok çeşitli uygulamaların önünü ciddi şekilde açar gibi
Bu mümkün olursa, ben kısa bir duraksadığımda temkinli şekilde konuşmaya başlayabilir, ben konuşmaya devam edersem de hemen durabilir
Etkileşimi açık bir çağrı/yanıt zinciri gibi nasıl yapılandıracağımı düşünmek istemiyorum; düşüncemi tamamlayana kadar konuşmayı sürdürmezsem yanlış zamanda harekete geçer mi diye dikkatli olmak zorunda kalmak da istemiyorum
Nazikçe araya girme ya da bunun yokluğu, bir yapay zekâyla konuşup konuşmadığımızı ayırt eden bir işaret bile olabilir
Benim deneyimime göre, 7B gibi küçük bir model kullanmıyorsanız ChatGPT’nin üretim süresi yerel Llama’dan çok daha hızlı
Tonlamada, düz metinde olmayan inanılmaz miktarda bilgi var. Dilin bu kısmını anlamayan yapay zekâ ne kadar akıllı olursa olsun bir yerlerde hep aptal kalmaya mahkûm
Bisiklet örneği sevimli ve etkileyici, ama insanla etkileşim daha büyük olasılığı gölgeliyor gibi
Birkaç küçük düzenlemeyle bu, robot planlama için genel amaçlı bir çözücüye dönüşür. Gerçekten çalışan çözüme ulaşmak için geriye birkaç zor problem kalıyor ama bunlardan biri çözülmüş sayılır
Önümüzdeki 5 yıl içinde ChatGPT ile çalışan genel amaçlı robotların basit işleri yaptığını görecek miyiz?
Ayrıca bunun Bing Chat’te zaten bulunan aynı görsel model olup olmadığını da merak ediyorum
https://www.deepmind.com/blog/rt-2-new-model-translates-visi...
Elinde alet çantası ve kılavuz olan biri, bisiklet selesini nasıl alçaltacağı gibi çok temel bir soru soruyor. Kimde bisiklet kılavuzu var ki diye düşünüyorum; 5 yaşındaki çocuğum bile yapabilir
Yapay zekânın insanlık üzerindeki çığır açıcı etkisini göstermek için mutlaka daha iyi bir yol vardır. En azından ayakkabı bağcığı bağlamak gibi bir şey olsaydı
Drone gibi küçük ve hafif robotlar için de uygun değil
Bu duyuruyla birlikte ChatGPT üzerinde multimodal bir şeyler yapmaya çalışan epey çok startup ölmüş gibi görünüyor
Görsel ve ses kullanım senaryolarını da çözme hızına bakınca, çok geçmeden her şeye hükmeden tek bir uygulamaya dönüşebilir
Şimdiden Alexa/Siri/Google Home’un yerini alma, Google Görsel Arama’nın yerini alma ve fotoğraf çekip yapay zekayla problem çözen edtech startup’larının çöküşü görülüyor; devamı da gelecek gibi
OpenAI’ın niyetini açıkça sızdırdığını söyleyemeyiz ama ilk strateji sorusu “OpenAI bunu neden hâlâ yapmıyor ve yapmaya karar verirse biz ne yapacağız?” olmalıydı
Bütün yaz ChatGPT ile “konuşarak” Fransızca, müzik teorisi, tarih, matematik gibi şeyleri daha fazla öğrenmek istedim. Bu özellik tam buna uyacak gibi
Bu ikisi çoğu zaman birlikte ilerleyecek
Uygulamada zaten sesli giriş var. Şimdilik göndermeden önce sesi metne çeviriyor ama o kadar iyi çalışıyor ki neredeyse kontrol ya da düzeltme gerekmiyor. Hatta neden hâlâ sesli yanıt vermediğini merak ediyordum
Görsel giriş özelliği, Mart ayındaki GPT-4 duyurusunun ana noktası ve en dikkat çekici kısmıydı: https://openai.com/research/gpt-4
Pek çok şirket, hükümet vb. kendi politikaları nedeniyle veriyi üçüncü taraf servislere gönderen OpenAI’ı kullanamaz. On-premise ya da kendi özel bulutlarında çalıştırabilecekleri şeylere para öderler
Bu, online eğitimi imkânsız kılan bir hançer olacak
Sırf ChatGPT ile bile uzmanlık gerektiren metin sorularını kopyalayıp yapıştırınca %90 doğrulukla yanıt alınabiliyordu. Tek zayıf nokta, grafik ya da şekil içeren sorulardı
Görsel desteği gelince öğrenciler ekran görüntüsü ya da belge taraması yükleyip ChatGPT’den geçerli bir yanıt alabilecek. Bana göre birçok öğrenci bu özelliği seve seve kötüye kullanacak. Buna karşılık vermek için ya notlandırma sistemini bırakmak ya da ödevsiz, yalnızca gözetim altında okulda yapılan görevlerle yüz yüze eğitimi zorunlu kılmak gerekir
ChatGPT’nin en büyük kullanım alanı, çeşitli konuları kendi kendine öğrenmekti. X’i öğrenmek için ChatGPT’ye sorular yönelttiğiniz Sokratik bir seminer gibi kullanılabilir
Elbette öğrencilerin ödev üretme becerisini kökten değiştirecek, ama en başta öğrencinin öğrenme biçimini de kökten değiştirebilir. Yapay zeka destekli özel dersle online okul, bugünkünden çok daha fazlası haline gelebilir
Gelecekte eğitimin çok daha merkeziyetsizleştiği; öğrencinin müfredatı ve yöntemi doğrudan seçtiği, kendi işi üzerinde sahiplik ve kontrol hissi taşıdığı ve onu basit bir “meşguliyet işi” olarak görmediği bir gelecek de mümkün görünüyor
Çağımızın en parlak yetenekleri, türün ilerlemesi için insanların makinelerle değiştirilmesinin en iyisi olduğuna karar verdiyse, okul çalışması yapmanın anlamı ne diye düşünüyor insan
Şu anda 16 yaşında olup ChatGPT’yi ve OpenAI’ın planlarını biliyorsanız; bir yandan iyi bir iş bulmak için çok çalışmanız gerektiği söylenirken, diğer yandan teknokratların gördüğü geleceği okuyorsanız epey kafa karıştırıcı olurdu
Şu anda hem ders çalışmak isteyip hem de kopya çekmemeye çalışmak gerçekten zor olur gibi
Online derste illa bir insan videosu izlemeye ne gerek var? Öğrenciye karanlık bir odada bir şeyler üretmesini istemeye ne gerek var?
Öğrencinin değerlendirmesi ödevlere göre değil, yapay zeka asistanının öğrenciyle yaptığı konuşmalara göre yapılacak. Öğretmek otomatikleştirilebilir ama öğrenmek otomatikleştirilemez
Şu anda yalnızca eğitimin henüz yetişemediği bir zaman farkı var; eğitim pahalı olduğu için bu hızla çözülecek. Ebeveynler çocuklarını eskisi gibi öğrenme alıştırmaları yapmaya gerçekten teşvik etmeli ve ChatGPT’yi Wikipedia gibi kullandırmalı. Geçiş sürecinde bir nesil acı çekecek
Çözmeye çalıştıkları somut ihtiyaç, ödevi ya da kompozisyonu aradan çıkarıp XYZ yapmaktır. Muhtemelen XYZ için ChatGPT kullanılmayacaktır. O halde zaman harcanacak şeyi buna dönüştürmek gerekir
Bir noktada ihtiyaç duyulan becerileri geriye doğru izleyip öğrenmeleri ve eğitsel yönlendirme ile yapıya ihtiyaç duymaları gerekecek. Kolay da değil, zaman ve kaynak olmadan gerçekleşmez de; ama uyum böyle ilerler
Kopya çekmeyi değmeyecek kadar zorlaştırmanın yolları var. Ancak bu teknoloji neyi, nasıl öğreneceğimizi büyük ölçüde değiştirecek. Dönüştürücü ve hızı da yavaşlamıyor
Web'de gezinme, yani Bing ile gezinme sohbet özelliğini birkaç ay devre dışı bırakıp sonra sessizce kaldırma biçimleri hoşuma gitmiyor
Özelliğin kaldırılacağına dair düzgün bir duyuru olsaydı iyi olurdu. Belki ben kaçırmış olabilirim ama son resmi haber, bir şeyi düzeltirken geçici olarak devre dışı bırakıldığı yönündeydi. Bir baktım, hiçbir şey söylenmeden platformdan tamamen kaybolmuştu
Ancak Perplexity AI, web aramasını kullanma konusunda ChatGPT'den daha iyi; bu yüzden onu ChatGPT'den daha fazla kullanıyorum
Eklenti de değil, seçilebilir ayrı bir “model” olarak duruyor
Şimdiye kadarki en sezgisel, killer app düzeyindeki kullanıcı deneyimi metin sohbeti gibi görünüyor
Görsel göstererek etkileşime girmek de bir konu hakkında bir arkadaşla konuşuyormuş hissi verdiği için ilginç; ama ChatGPT gibi çok zeki biriyle konuşuyormuş hissi mi verecek, yoksa nesneleri bir miktar tanıyabilen çok ağır anlayan biriyle konuşuyormuş hissi mi, bunu görmek lazım
Bir İngiliz anahtarını tanıması, ChatGPT ile tarih hakkında konuşmak ya da ona gerçekten çalışan kod yazdırmak kadar etkileyici değil
OpenAI iyi iş çıkarıyor. İnsanlar ilginç kullanım senaryoları düşünüyor ama çoğunun yapay zeka ile etkileşime geçmesinin ana yolu hâlâ ChatGPT gibi görünüyor
Ancak görüntü üretimini henüz tam oturtamamışlar gibi; havalı işler hâlâ MidJourney ve Stable Diffusion tarafından gelmeye devam ediyor
Çıktı görselinin içine eksiksiz cümle metinleri koymak bile mümkün görünüyor
Bunu gerçekleştirmek için birkaç yapay zeka servisini bir araya getiren bazı hobi projeleri yapıyordum; çok sayıda gidiş gelişin yarattığı karmaşıklık ve gecikme azalacak diye heyecanlıyım
API zamanında, yani Cadılar Bayramı civarında çıkarsa, ESP32 kameralı konuşan iskelet kafanın insanların kostümlerine bakıp iğneleme yaptığı multimodal projenin yazılım tarafı biraz kolaylaşacak gibi
Yazılım testi otomasyonu alanında derinlemesine çalışan biri olarak beklediğim şey, uygulama kullanıcı arayüzleri için sağlam yapay zeka tabanlı görüntü tanıma
Yapay zekanın test otomasyonu kodu yazma becerisiyle birleştiğinde, tek bir ekran görüntüsünden veya ekran görüntüsü dizisinden çalıştırılabilir Selenium ya da Appium test kodu üretebilmesini umuyorum. Neredeyse oradayız gibi
Ekran-eylem-ekran veri kümesine şirket içinde sahip olduklarını söylüyorlar ama yayımlayacaklarını sanmıyorum. Android'e sahip olmanın avantajı böyle bir şey olsa gerek
Hugging Face'in yakın tarihli IDEFICS[2] makalesi de var. Flamingo'nun, yani az sayıda örnekle multimodal görev anlama konusundaki eski bir makalenin açık kaynak uygulaması olduğunu iddia ediyor. Bu alan yakında çok hareketlenecek gibi
[1] https://research.google/pubs/pub52171/
[2] https://huggingface.co/blog/idefics
OpenAI/ChatGPT hakkındaki en büyük şikayetim berbat pazarlama
Böyle bir özellik ya da eklenti duyurduklarında heyecanlanıp denemeye gidiyorum ama henüz bana açılmamış oluyor; ücretli müşteri olarak sinir bozucu, yapabileceğim tek şey de her gün kontrol etmek
“Eklentileri kullanabilirsiniz”, “sesli sohbet hesabınızda etkinleştirildi” gibi e-postalar da göndermiyorlar; bu yüzden yeni özellikleri, sonradan tesadüfen tekrar görene kadar çoğu zaman unutuyorum
Az önce uygulamayı açıp ayarlardaki “New Features” bölümüne gittim, Bing Browsing devre dışıydı. Bir ara çalıştığını bile bilmiyordum. Uygulamayı güncellemem mi gerekiyor diye App Store'a gittim ama zaten günceldi; uygulamayı kapatıp yeniden açınca bu kez “New Features” öğesinin kendisi kayboldu
Yeni özellik var mı diye uygulama ayarlarını düzenli olarak karıştıracak değilim. E-posta ya da push bildirimi bir yana, uygulama içi mesaj bile olmaması gerçekten akıl alır gibi değil
Müşteriyle iletişimi önemsemiyor değillerdir ama içerisi tam bir kaos ve kargaşa olmalı
API kullanmaya başlamak için gerçekten aboneliğimi iptal edip yeniden kaydolmam gerekti. Muhtemelen eski faturalandırma modeli revizyonlarından birindeydim
Pazarlama ve tasarım sayesinde değil, onlara rağmen başarılı olan şirketleri seviyorum. Bu, gerçekten özel bir şeyleri olduğu anlamına geliyor
Çekip gidip unutsaydın elde tutma oranını iyileştirmeleri gerekirdi, ama bunu yapmayacaksın; dolayısıyla gerek yok
Tüm bunları ayda 20 dolara nasıl paketleyebildiklerini anlamıyorum. Ölçek büyüyünce işlem maliyeti gerçekten bu kadar ucuz mu oluyor?
Apple ve Google’ın bunu nasıl ücretsiz sunacağını da merak ediyorum. O toplantıya sinek gibi gizlice girip izlemek isterdim. “Bunu yapmalıyız” ile “marjlarımızı kemiriyor” arasında, yenilikçinin ikilemi tarzı tartışmaların epey döneceğini düşünüyorum.
Biraz ileri giden bir düşünce olabilir ama Apple’ın tozun yatışmasını bekleyerek doğru seçimi yaptığını düşünüyorum. Zuckerberg’in 20 milyar dolar yakıp Apple’ın Vision Pro’yu çıkarması gibi, Llama’da da benzer bir şey yaşanabilir bence. Yalnız yazılım Facebook’un ana sahası, donanım ise değil; bu yüzden o kadar emin değilim.
Ama Microsoft’un 10 milyar dolarlık yatırımı ile abonelik ve API gelirleri düşünüldüğünde şimdilik sorun yok. Yapay zeka şirketleri için kritik bir dönem ve OpenAI, aslında diğer ticari modellerden daha düşük fiyatla 10 kat değer sunarak mümkün olduğunca pazar payı kapmaya çalışıyor.
Girişim sermayesi pazar hâkimiyetini sübvanse ediyor.
Büyük ölçekli testçiler işe almak isteseler ne kadar para ödemeleri gerekirdi, bir düşünün.