Gemini “ördek” demosu gerçek zamanlı veya sesle yapılmadı
(twitter.com/parmy)- Google’ın etkileyici Gemini ördek demosu, yayımlanan videonun ima ettiğinin aksine gerçek zamanlı konuşma veya sesli girişle gerçekleştirilmedi
- Modele videoyu olduğu gibi işlemesi sağlanmadı; bunun yerine sahnelerden çıkarılan sabit görüntüler verildi
- Bir sözcünün açıklamasına göre insan tarafından yazılmış prompt’lar da kullanıldı ve videodaki sesli anlatım sonradan eklendi
- Gerçek uygulama biçimi, son videoda görünen gerçek zamanlı ve sesli etkileşimden farklı
- Gemini demosunu değerlendirirken kurgulanmış video ile modele gerçekten verilen girdileri ayırt etmek gerekiyor
Gemini ördek demosunun gerçekte nasıl yürütüldüğü
- Google’ın ördeğin yer aldığı Gemini demosu gerçek zamanlı olarak yürütülmedi
- Model, videoyu doğrudan gerçek zamanlı işlemedi; video sahnelerinden alınan sabit görüntüleri girdi olarak aldı
- Modele insan tarafından yazılmış prompt’lar verildi ve bu prompt’ların anlatımı sonradan eklendi
- Bu uygulama biçimi bir sözcü aracılığıyla açıklandı
İlgili bağlantılar
- Ayrıntılar Bloomberg Opinion yazısına yönlendiriyor: bloomberg.com/opinion/articl…
1 yorum
Hacker News yorumları
Üniversitede buna benzer bir şey yapmıştım
İlk bilgisayar bilimi dersinde bize Raspberry Pi verilmişti; kodlama deneyimi ya da yönerge olmadan “bir şey” yapmamız istenmişti. Teslim edilecek şey kod değil, yalnızca çalışan bir demoydu
Üçümüz bir nem sensörü satın alıp Pi'ye bağlayarak, köprü altına kurup selden hemen önce yetkililere e-posta gönderecek bir sel algılama sistemi yapacağımızı söyledik
Asıl demoda sınıfın arka tarafında Gmail'i açık tutan bir arkadaşımız “sel uyarısı” e-postasını göndermeye hazır bekliyordu; script ise
waitaralarında sadece cümleler yazdırıyordu. “Nem bekleniyor” yazdırdıktan 3 saniye sonra “Nem algılandı” yazarken sensörü bir bardak suya soktuk; ardından “xxx@yyy.com adresine e-posta gönderiliyor” yazdırınca arkadaki arkadaş gönder düğmesine bastı, e-posta geldi ve tam puan aldıkBüyük proje hazır olmadan önce bile müşterinin en azından bir kısmını bitmiş gibi görmek istediği zamanlar olur; kullanıcı göremediği işlerin %90 olduğunu anlamadan tamamlanmış hâlini bekler
Sahte bir HMI kurup demo sırasında birinin düğmeye basması, yan odada ise başka birinin çıkışları ve girişleri elle oynatarak gerçekten çalışıyormuş gibi göstermesi oldukça yaygındır
Süreç içinde elimizdeki tüm GPS alıcılarını bozduk; o RS-232 GPS modülü modeli gerçekten çok narindi. Bu yüzden gerçek zamanlı navigasyonu fiilen gösteremedik; zaten proje de tam bitmemişti
Yine de GUI'yi tamamladıktan sonra “navigasyon sırasında böyle görünüyor” diye rol yaptık ve navigasyon kodunu gerçekten çalıştırmadık. Nota yansıyan bir etkinlik değildi ama hâlâ içime sinmez
Bu gerçekten tuhaf. Google, tüm bu modellerin temeli olan Transformer'ı icat etti; buna rağmen nasıl sürekli böyle çuvallayabildiğini anlamıyorum
Google Docs 2006'da çıktı ama Microsoft pastayı elinden alıyor. Google, VM'leri yerinde değiştirme özelliğini ve tamamen otomatik veri merkezlerini yaptı ama bulutta Amazon ve Microsoft önde. Otonom sürüş üzerinde de herkesten uzun süredir çalışıyorlar ama Tesla yetişti ve muhtemelen kazanabilir
Çuvallamanın ölçeği inanılmaz
Adı farklıydı ve sanırım SharePoint değildi; masraf raporları gibi şeylerle ilgiliydi. Bugünkü Google Docs'u bile utandıracak düzeydeydi ama kendi ürününü baltalamak istemiyorlardı
Ürünler bağlılık ve yineleme gerektirir; son %10 en kritik kısımdır. Ama Google ürünleri bitiş çizgisinin ötesine taşımayı sürekli reddedip vazgeçmesiyle ve onları kötü şöhretli Google Product Graveyard'a eklemesiyle biliniyor
Açıkçası bunun ne anlamı var, bilmiyorum. Çekirdek arama/reklam işini sürdürüp, berbat mülakat sürecinden geçerek içeri alınmış on binlerce pahalı mühendise milyarlarca dolar harcamak zorunda değiller
Üretken yapay zekânın temel araştırmalarına hükmedip tüketici ürünlerinde yüzüstü düşmesi; Stadia, GMail/Inbox ve 17 sohbet uygulaması yapan şirkete yakışan bir gidişat
Google'ın kendi başına iyi bir ürün çıkarması Gmail'den beri neredeyse hiç olmadı; Gmail bile arama tekelini ücretsiz reklam panosu gibi kullanarak büyüdü
“Google Docs, Ağustos 2005'te yazılım şirketi Upstartle tarafından piyasaya sürülen web tabanlı kelime işlemci Writely'den doğdu” şeklinde bir bilgi de var
Google'ın her zaman önem verdiği şey, uygulamaları milyarlarca kullanıcıya ulaştırmaktı
Şu anda Google'ın dünyanın en kârlı yapay zekâ şirketi olduğu da unutuluyor. Tüm ürünleri makine öğrenimi ve yapay zekâ kullanıyor
O hâlde kaybeden kim? Gemini'nin hedefi, Bard varken ChatGPT gibi bir chatbot yapmak değil; onu 1 milyar kullanıcılı 10 ürüne entegre etmek
Gemini web sayfası ve içeriğin tamamı tuhaf hissettirdi. Apple pazarlama materyali gibi görünmeye ve hissettirmeye çalışırken tekinsiz vadiye düşmüş gibiydi
Abartılı ifadeler, cerrahi hassasiyetle ayarlanmış ırk/cinsiyet çeşitliliği, gereksiz animasyonlar ve CEO'nun satış sunumu havasındaki konuşmasıyla, bu alandaki küçük bir oyuncunun büyük oyuncu gibi görünmeye çalışması gibiydi
Apple keynote'ları ise tekinsiz vadiden yeni çıkmış robotların insanmış gibi davranmasına benziyor. 5 yıl sonraki keynote'lar yapay zekâyla hazırlanırsa böyle görünebilir; yani Apple keynote trendlerinde de her zamanki gibi önde
Google aynı sahada yer aldığını göstermek istiyor gibi
Pazarlamada çeşitlilik kullanılmasının nedeni, hedeflenen pazarın zaten çeşitli olmasıdır. Ama bunun “cerrahi hassasiyetle” olması tam olarak ne anlama geliyor, pek bilmiyorum
Sundar'ın modele doğru/yanlış diye ayrışabilecek çok sayıda olgu söyletmek üzere prompt vermesi büyük bir tehlike işaretiydi
Açıklanan benchmark rakamlarına bakınca çoğu yalnızca küçük iyileşmelerdi; yani halüsinasyon sorunu çözülmemiş demekti. Oysa demo, sanki çözülmüş gibi görünüyordu. Sonuçta modelin tesadüfen doğru bildiği ya da tutarlı bilgi verdiği örneklerin özellikle seçildiğini düşünüyorum
Yetenekleri abartmış olsalar da, birden fazla modalite boyunca gerçekten gözlemlenebilecek olgular hakkında tutarlı bir kavrama yakınsamak için çok modlu bir model gerekecek gibi görünüyor. İyi bir ilerleme, ama artık belirli bir yapının gerçekten nedenselliği modellediğini ikna edici biçimde göstermeleri gerekiyor
“Sıcak hava ceplerinin düşük basınç oluşturup uçağın stall'a girmesine neden olduğuna inanıyor musun?” gibi bir şeydi; sorunun kendisi de o kadar tuhaftı ki düzgün söylemek bile zor görünüyordu. Gerçekten utanç vericiydi
[1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
Bizzat kullanınca bunu anlamak kolay. Otoregresif doğaları nedeniyle LLM'ler yanıt vermeden önce içeride tutarlı bir model kuramaz. Chain-of-thought gibi yaklaşımlar var, ama bunlar geçici çözümler; sorunu yalnızca yüzeysel olarak ele alıyor
Eğer çözülebilirse, bunun çok temel ve köklü bilimsel önemi olan bir iş olacağını ve yapay zekada küçük bir atılım daha sayılacağını düşünüyorum
Girdi dizisinin ardından yalnızca kendisine en makul gelen çıktı dizisini üretir. “En makul”ün nasıl tanımlandığı çok fazla araştırmanın konusu, ama olgusal doğruluk için optimize etmek bambaşka bir iş
Kodlama problemleri gibi belirli durumlarda zeki görünebilirler; çünkü belirli prompt'lar için internet metinlerindeki kabaca uzlaşı gerçeğe oldukça yakındır ve uzman olmayanların çöp içerikleriyle daha az kirlenmiştir. Genel, yumuşak “içerik” üretimini de iyi yaparlar, ama bunun değerinin ne olduğunu bilmiyorum
Sonuçta dönen bilginin kalitesi, titiz bir Google aramasının kalitesinden daha iyi değil; yalnızca daha hızlı, daha özlü ve daha şık düzenlenmiş bir yanıt veriyor
Kandırıldım. Modelin çıkış duyurusunda video ve ses çok modlu girdileri alabileceği yazıyordu
Çok fazla kurgu ve kesme olduğunu biliyordum, ama gerçekten video ve ses girdisi örnekleri izlediğime inanmıştım. Metin ve durağan görüntülerden “gözler ve kulaklar” aşamasına geçiş büyük bir sıçramaydı; tamamen hayran kalmıştım. Bir enstrüman çizilip müzik üretilen bölüm de vardı, bu yüzden özel modeller gibi dil prompt'uyla müzik yapan bir model gördüğümü sandım
Meğer hepsi sahteymiş. Seçilmiş prompt mühendisliği örneklerini, hissedar heyecanını en üst düzeye çıkaracak şekilde dramatize edip bir araya getirmişler. Müzik örneği, videoda duyduğumuz müziği üretmüyordu; yalnızca parçanın açıklamasını çıktı olarak veriyordu
“Böyle bir şey mümkün hale gelebilir” diyen abartılı bir video ile yeni çok modlu modelin en iyisi olduğunu iddia edip benchmark'ları manipüle etmek ve demoda insanları kandırmak tamamen farklı şeyler
Google kötü olma aşamasına girmiş gibi görünüyor. OpenAI ve Microsoft'un epey keyifli olduğunu tahmin ediyorum
Henüz ulaşılmadığını ama o yöne gidildiğini açıkça belirterek ürünün geleceğini gösteren gelecek odaklı demo ya da mevcut özellikleri en iyi gösterecek şekilde senaryolaştırılmış ve kurgulanmış demo standart uygulamadır ve kabul edilebilir
Ama Google'ın yaptığı düpedüz yanlıştı. Buna tepki almaları normal
Yatırımcılar kandırılmak istiyor gibi. Due diligence yapacak alan yok; yalanları dinlerken de Taylor Swift hayranı gibi heyecanla çığlık atıyorlar
Bu büyük şirketler, mümkün olduğu kadar uzun süre, mümkün olduğu kadar çok şeyi yanlarına kâr bırakabildikleri kadar bırakır. Sanki bize düşen tek şey onların bir gün bize “kötü olmayan bir aşama” bahşetmesini beklemekmiş gibi bir ima var; oysa gerçekte son 30 yılda sistematik olarak parçalanan antitröst düzenlemelerini yeniden inşa etmemiz gerekiyor
Videonun veri miktarı çok büyük olduğu için saniyede yaklaşık bir kare çıkarıp görüntü olarak işleyeceğini, ama ilk girdiyi tüm video olarak alacağını tahmin etmiştim
Meğer o bile değilmiş
Hissedarları memnun etmek için böyle abartılı videolar yapmak araştırma bölümüne olan güveni kaybettiriyor. Bert'i duyurduklarında böyle bir şey yapmamışlardı sanırım
T9 zamanlarından beri Swype girişini kullanıyorum
QWERTY klavyeye alışkın birine günlük hayatta kullandığım haliyle Swype girişini göstersem kimse benimsemez
Yanlış kelime tahmin etme ya da düzeltme gerektirme oranı muhtemelen %10-20 civarında. Ama düzeltmesi kolay olduğu için sorun olmuyor ve hiç yavaşlatmıyor. Çeşitli metin giriş yöntemleri arasında kişisel olarak en iyisi bu, ama kullanmayı öğrenmek zaman alıyor
Bence tüm ürünler böyle. 100 saat boyunca alışkanlık haline getirip edge case’lere göre düzeltmeler yaptıktan sonra gerçekte nasıl çalıştığını olduğu gibi gösterirseniz kimse hiçbir şeyi benimsemez
İkisi de kötü olduğu için çözümü pek bilmiyorum
Düzenleme: Telefonda Swype ile yazıyorum, bu bağlama uygun olarak yazım hatalarını olduğu gibi bırakacağım
Bu, bir Swype klavye demosuna hataları düzeltmek için telepatik zihin kontrolü eklemek gibi
Ne yazık ki iOS metin düzenleme de tamamen işe yaramaz. Garip seçim alanlarını dayatıyor ve düzeltilmiş metni tuhaf bir şekilde ekliyor
Ben QWERTY ile mesaj yazıyorum ama iOS’ta metin girişi tam bir felaket ve zamanla daha da kötüleşti
Swype’ta doğru çıktının nasıl görünmesi gerektiğini zaten biliyorsunuz. Çıktı istediğinizden farklıysa hemen fark edip düzeltiyorsunuz
LLM’e soru sorduğunuzda ise doğru yanıtı mutlaka bilmiyorsunuz. Çıktı yeterince kendinden emin görünüyorsa insanlar bunu gerçek kabul ediyor. Deney ve testler dışında insanlar LLM’e zaten doğru yanıtını bildikleri soruları sormuyor
El yazısı tanımanın klavyenin yerini alamamasının başlıca nedeni de bu. El yazısı metne dönüştükten sonra hataları işaretçi ve klavyeyle düzeltmek daha kolay. Bunu birkaç kez tekrarlayınca çoğu kişi “en iyisi en baştan işaretçi ve klavyeyle başlayıp zaman kazanayım” diye düşünüyor
O zaman soru şu: üretken yapay zeka çıktısındaki hataları bulup düzeltmek ne kadar kolay? Ne yazık ki cevabı zaten bildiğiniz durumlar dışında hataları ayıklamak çok zor olabilir
Swype klavyeyi öğrenmek pratik gerektirir, ama böyle bir giriş yönteminin demosu genellikle gösteren kişi “uzman” olsa bile gerçekçi kullanımı gösterir
Bu tür demolar insanların ürünün gerçekte ne yapabildiğini yanlış anlamasına yol açar ve sonunda kaçınılmaz alaycı tepkiyi büyütür. Ürün gerçekten harikaysa gerçekçi bir özellik demosu bile insanların bunu görmesine yeter
Twitter’da bağlantısı verilen Bloomberg sayfası artık yayından kaldırılmış.[1] Alternatif sayfa [2] ve yeni sayfada bunun bir kısmının sahte olduğu yazıyor. Eski sayfayı arşivde bulamadım
[1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
[2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
Bu, gerçek video, ses, görsel ve şirket pazarlamasına duyulan güveni sorgulamamız ve doğrulanana kadar bunları üretilmiş varsaymamız gerektiğine dair çok iyi bir örnek gibi
Ses, e-posta, sohbet ve yakında video da gerçek zamanlı ya da neredeyse gerçek zamanlı üretilebiliyorsa, uzaktan çalışan birinin gerçekten tamamen ya da kısmen üretilmiş bir varlık olmadığından nasıl emin olunabilir merak ediyorum
Doğrulama için paylaşılan sırlar iyi, ama beden tamamen uzaktayken çözüm ne?
Şu an seyahatteyim; kayıp bagaj iddiasıyla Venmo isteği gönderen aile üyesinin gerçekten ben olduğumu nasıl doğrulatabilirim?
Yalan, gerçek daha başlangıç çizgisinden çıkmadan dünyayı dolaşacak; ama bu, onu öylece bırakabileceğimiz anlamına gelmez
Videonun kendisinde ve video açıklamasında bu yönde bir feragat metni var. Yine de bazı insanların Gemini’nin nasıl çalıştığını yanlış anlayıp ayrılabileceğine katılıyorum.
Gerçek zamanlı etkileşimin yakında uygulamanın bir parçası olması güzel olur. Teknik engeller pek fazla görünmüyor.
Başka yerlerde ayrıntıların çoğunu açıkladılar ama videonun kendisi çok yanıltıcı olacak şekilde üretilip kurgulanmıştı. Basit bir sesli prompt’a ve video akışına karmaşık biçimde tepki verdiğine inandırmak istediler; gerçekte ise öyle değildi.
Bu, “Gemini’ye video değil, seçilmiş durağan görüntüler verildi” demekle aynı şey değil.
O video, ben dahil birçok insanı kandırdı. Bu, sıradan bir aşırı optimize edilmiş/senaryolaştırılmış demo değildi.
Var olmayan bir özelliği gösteren açıkça yanıltıcı bir reklamdı ve açıkçası Google açısından utanç verici bir davranış.
Yapay zeka üretimi içerik ve genel manipülasyon bağlamı düşünüldüğünde bu videonun aldatıcı olduğunu düşünüyorum. Benim için videodaki tek etkileyici şey, videoyu gerçek zamanlı işliyormuş gibi görünen hızlı ve esnek tepki kabiliyetiydi; bunların hiçbirisi gerçek değilmiş. Neredeyse dolandırıcılık gibi.
Ben de Gemini’nin durağan görüntüler ve metin prompt’ları almak yerine, video/ses akışı üzerinden görüp duyduğunu düşünmeye kandırıldım.
Durağan görüntüler ile video akışı arasındaki fark çok büyük görünmeyebilir ama gerçekte, botun sürekli saçma sapan konuşmaması için değişen bağlamı epey iyi anlaması gerekir.
Ayrıca gerçek zamanlı video akışıyla yapılan bir konuşmada, uygun şekilde sessiz kalabilmek için henüz bilmiyorum durumunu fark etmesi gerekir; üretken yapay zekada bunun ne kadar zor olduğu malum.
Elbette birkaç hack ve sezgisel kural ekleyerek bunu kolaylaştırmak mümkün olabilir, ama botun konuşmada insan bir partner gibi görünmesini sağlamak gerçekten zor. Videodaki “konuşma”nın en etkileyici kısmı buydu; ne yazık ki hepsi sahteymiş :(