Süpermarketin yapay zeka yemek planlama uygulaması klor gazı üreten bir tarif önerdi
(theguardian.com)- Yeni Zelanda süpermarket zinciri Pak ‘n’ Save’in Savey Meal-bot’u, evdeki malzemelerle yemek planı öneren bir araçtı; ancak girilen değerlere bağlı olarak tehlikeli kombinasyonlar da üretti
- Geçim maliyeti baskısı altında kalan yemek malzemelerini değerlendirmeye yardımcı olma amacının aksine, kullanıcılar ev eşyaları girince klor gazı ve zehirli sandviç gibi sonuçlar ortaya çıktı
- “aromatic water mix”, klor gazı oluşturabilecek bir kombinasyon olmasına rağmen bot bunu susuzluğu gideren ve duyuları ferahlatan alkolsüz bir içecek gibi sundu
- Sosyal medya deneylerinde çamaşır suyuyla “fresh breath” mocktail’i, karınca ilacı ve yapıştırıcı sandviçi, “bleach-infused rice surprise”, “methanol bliss” gibi örnekler paylaşıldı
- Pak ‘n’ Save, bazı kullanıcıların aracı amacının dışında kullandığını belirtti; uygulamada tariflerin insanlar tarafından incelenmediğine dair bir uyarı yer alıyor
Savey Meal-bot’un oluşturduğu tehlikeli kombinasyonlar
- Yeni Zelanda süpermarket zinciri Pak ‘n’ Save, yapay zeka ile yemek planı oluşturan Savey Meal-bot’u işletiyor
- Kullanıcı evde bulunan çeşitli malzemeleri girdiğinde otomatik olarak yemek planı veya tarif oluşturuyor ve buna neşeli bir tonda açıklamalar da ekliyor
- Başlangıçta “oreo vegetable stir-fry” gibi iştah açıcı görünmeyen kombinasyonlarla sosyal medyada dikkat çekti
- Daha sonra kullanıcılar gıda olmayan ev alışveriş listesi ürünlerini de girince daha tehlikeli öneriler ortaya çıktı
- “aromatic water mix”, klor gazı oluşturabilecek bir kombinasyondu
- Bot bunu “susuzluğunuzu gidermek ve duyularınızı ferahlatmak için mükemmel alkolsüz içecek” diye tanıttı
- “Soğuk servis edin ve ferahlatıcı kokusunun tadını çıkarın” diye yönlendirdi; ancak klor gazı solumanın akciğer hasarına veya ölüme yol açabileceğini belirtmedi
Sosyal medyada yayılması ve Pak ‘n’ Save’in yanıtı
- Yeni Zelandalı siyasi yorumcu Liam Hehir söz konusu “tarifi” Twitter’da paylaşınca, diğer Yeni Zelandalı kullanıcılar da deney sonuçlarını sosyal medyada paylaştı
- Paylaşılan öneriler arasında çamaşır suyuyla “fresh breath” mocktail’i, karınca ilacı ve yapıştırıcı sandviçi, “bleach-infused rice surprise” ve terebentin aromalı French toast olarak tarif edilen “methanol bliss” yer aldı
- Pak ‘n’ Save sözcüsü, “az sayıda kullanıcının aracı uygunsuz biçimde ve amacı dışında kullanmaya çalışmasından” hayal kırıklığı duyduklarını söyledi
- Şirket, botun güvenli ve faydalı çalışması için kontrol mekanizmalarını sürekli ince ayarlardan geçireceğini belirtti; kullanım şartlarında kullanıcıların 18 yaşından büyük olması gerektiği koşulu bulunuyor
- Yemek planı oluşturucuda tariflerin insanlar tarafından incelenmediği ve şirketin hiçbir tarifi eksiksiz, dengeli bir öğün ya da tüketim için uygun olarak garanti etmediği uyarısı yer alıyor
- Uyarı metni, kullanıcıların Savey Meal-bot’un oluşturduğu tariflere güvenmeden veya bunları pişirmeden önce kendi değerlendirmelerini yapmaları gerektiğini belirtiyor
1 yorum
Hacker News yorumları
Ayrıntılar epey dikkat çekici; başlık ise gerçekten sadece bir “aperitif”ten ibaret
Evdeki malzemeleri girince otomatik olarak yemek planı veya tarif üreten bir araç; ama ölümcül klor gazı, “zehirli ekmek sandviçi”, sivrisinek kovuculu fırın patates, çamaşır suyuyla “ferah nefes” mocktail’i, karınca ilacı ve ot sandviçi, “çamaşır suyu enjekte edilmiş pirinç sürprizi”, “metanol mutluluğu” gibi şeyler önerdiği anlatılıyor
“Aromatik su karışımı” adlı tarif klor gazı üretebiliyor; bot bunu “susuzluğunuzu giderecek ve duyularınızı tazeleyecek mükemmel alkolsüz içecek” diye önermiş, “soğuk servis edip ferahlatıcı kokusunun tadını çıkarın” demiş; ancak klor gazı solumanın akciğer hasarına veya ölüme yol açabileceğini yazmamış
Süpermarket sözcüsü, “az sayıda kullanıcının aracı uygunsuz ve amaç dışı şekilde kullanmaya çalışmasından hayal kırıklığı duyduklarını” söylemiş; ama şüpheli çıktı olasılığının uygunsuz kullanımdan değil, aracın kendisinde içkin olduğunun farkında değil gibi
LLM’ler de 8 bit bilgisayarlar zamanındakiyle aynı; neredeyse 200 yıl önce Babbage’ın “böyle bir soruyu sorduran düşünce karmaşasını doğru düzgün anlayamıyorum” dediği zamandakiyle de aynı
Çöp girerse çöp çıkar; dolayısıyla LLM’in zaten hiç şansı yoktu
Bu LLM meselesi değil; korumasız bir bıçağı çocuk oyuncağına koyma meselesi
Böyle bir durumda bıçak üreticisini suçlamaz, satılan tüm bıçakların köreltilmesini istemez, “güvenlik” vaat eden az sayıdaki bıçak üreticisine düzenleyici tekel verip onların keskin bıçakları yalnızca arkadaşlarına satmasına, geri kalanlara da kaşık dağıtmasına dair tartışmalara girmezdik
Burada kimse yanlış bir şey yapmış değil
Şirket aracı yayımladı, kullanıcılar her zamanki gibi onu amaçlanmayan şekillerde denedi, gazete de ortaya çıkan komik şeyi haber yaptı
İstem verilmeden çamaşır suyu kullanmasını söylemiş olsa ve biri de çıkan şeyi yemiş olsa bile, bu navigasyona körü körüne güvenip arabayı nehre sürmekle benzer bir kategoriye girer
Hiçbir teknoloji sağduyunun yerini tutamaz
Ne var ki insanların yazdığı tarifler genellikle başka biri tarafından gözden geçirilir; bu da istek-yanıt döngüsünde hiç insan gerektirmeyen bir şey yapma fikriyle pek uyuşmuyor
“Müşteriler daha geniş bir ev alışveriş listesi kalemi yelpazesini girmeyi denemeye başladığında” kısmına bakılırsa, araç amaçlandığı gibi çalışmış sayılır
Klorlu temizlik ürünleri içeren bir tarif yapmasını isterseniz bunu yapıyor
Kullanıcının tam olarak hangi malzemeleri girdiği makalede yok; muhtemelen neden-sonuç ilişkisi herkes için fazlasıyla açık hâle geleceği için
Gelecek haftanın Guardian haberi: Çekiçle kendi başparmaklarına vuran tüketiciler, çekiçlerin mağazadan kaldırılmasını talep ediyor. Kullanım şartlarında yalnızca 18 yaş ve üzerinin kullanabileceği yazıyordu ama kasada yaş kontrolü yoktu!
Modelden malzeme güvenliğini kontrol etmesini isteyen bir prompt eklenerek düzeltilebilir belki
Elbette tüm prompt’lar aşılabilir, ama kişinin kendini zehirleme yöntemini muhtemelen başka yerlerde daha az çabayla bulması mümkün olur
Malzeme olarak çamaşır suyu girdiğiniz anda her şeyin bittiği doğru; ama iyi bir sistem bunu elemiş olurdu
Daha derin sorun, bazı gıda malzemeleri sağlığa zararlı olabileceği hâlde sistemin bunları olduğu gibi geçirmesinde
Isıtılmamış hint yağında risin bulunur; ısıtılmış yağ da hamilelerde kasılmaları tetikleyebilir
Çiğ tavuk salmonella bulaştırabilir
Düzgün bir tarif sistemi, “hafif hint yağı eşliğinde sebzelerin üzerinde tavuk suşi” gibi bir şeyi ciddi bir uyarı olmadan döndürmemeli; bu sistem ise bunu yapabilecek gibi görünüyor
Böyle bir sistemi hiçbir şey bilmeyen kullanıcının eline vermek kötüdür ve bundan utanılmalıdır
https://twitter.com/PronouncedHare/status/168736440337978982...
Yapay zeka uygulamasına yönelik eğlenceyi, korkuyu ve öfkeyi anlıyorum
Ama bireysel insan sorumluluğu da yok mu?
Avrupa’da, ABD’deki her mikrodalga fırının üzerine evcil hayvan ya da bebek kurutulmaması gerektiğine dair uyarı konması gerektiğiyle ilgili bir şehir efsanesi var
Buradaki eleştiriler dahil birçok yapay zeka eleştirisi bana buna benzer geliyor
İki beyin hücresi olan biri bile çıktıyı biraz sağduyuyla gözden geçirmesi gerektiğini bilmez mi?
“Yapay zeka” navigasyon sistemi denize yönlendiriyor diye arabayı gerçekten denize sürmemek gerektiğini herkesin bilmesi gerektiği gibi. Öyle değil mi? Değil mi?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
İnsanların bu tarifi körü körüne izleyip yapacağı, yiyeceği ve öleceği şeklindeki sansasyonel kısma odaklanıyor; oysa gerçek sonucun kesinlikle böyle olmayacağı açık
Ama tıklama uğruna seçilmiş yanlış açıyı bir kenara bırakırsan gerçek bir hikâye var
Teknolojiyle uğraşanların zaten bildiği ve anladığı bir hikâye, ama ilginç olduğu için tartışmaya değer
Bu tür “yapay zeka” ürünleri, yani temelindeki LLM, insan sağduyusu gibi akıl yürütemez
Yanına bile yaklaşamaz
Bu, şaşırtıcı bir teknoloji olmadığı anlamına gelmiyor; ancak teknoloji ürüne uygulanınca sınırları daha belirgin hale geldi
“Yapay zeka sizi öldürecek tarifler hazırlıyor!!!”a kıyasla biraz sıkıcı bir tarafı var, ama bu hikâyenin kökü orada ve önemsiz değil
Uçurumdan atlamamak gerektiği basittir, ama bazı kimyasal tepkimelerin sonucu kolayca bilinmeyebilir
Atmak için laboratuvardaki rastgele kimyasalları rögara döküp tepkimeyi öngöremediği için Darwin Ödülü alan kimya öğretmeni örneğinde olduğu gibi, sıradan insanların hangi bileşimin ne üreteceğini bilmemesi gayet olası
Bu yüzden güvenilir kaynaklara ihtiyaç var
Birincisi, teknoloji şirketleri onlarca yıldır çözümlerini sihirli biçimde kusursuzmuş gibi pazarlıyor
Şimdi halkın buna inanması halkın suçu mu?
İkincisi, şüpheci biri bile bir teknoloji vakaların %90’ında doğruysa kalan %10’da da doğru olacağını varsaymaya yatkındır; bu da anlaşılabilir bir rehavete yol açar
Pek çok dağcı böyle öldü; üstelik bunlar genelde çok deneyimli ve dikkatli insanlardır
Daha kötüsü, makine yanıldığında şaşırtıcı ve öngörülemez şekillerde yanılabilir
Üçüncüsü, bilgi asimetrisi nedeniyle kullanıcı çıktıyı doğrulayamayabilir
Örneğin Hawaii hakkında hiçbir şey bilmiyorsan ya da harita okuyamıyorsan, felakete sürüklendiğini nasıl anlayacaksın?
LLM’lerde bu sorun çok büyük
Mucize gibi pazarlandılar, bazı insanların olası bilinç ihtimalini bile düşünmesine yol açtılar; çoğu durumda doğru çıkıyorlar ama bazen çok yanlış oluyorlar, yanlış olduklarında da çok tuhaf biçimde yanılıyorlar ve çıktıyı doğrulayacak kadar becerikli ya da bilgili olmayan kişiler tarafından kolayca kullanılabiliyorlar
O zaman böyle hikâyelerin şaşırtıcı bir yanı yok
Elbette “internette okuduğun şeye inanma” sözünü biliyorlar, ama bu internetteki diğer insanlarla ilgili
İnsanlar bilgisayarın kendisinin deterministik ve güvenilir olmasına alışkın
Üstelik insanlar hâlâ canlı varlıkları mikrodalga fırına koyuyor. Uyarı olsa bile böyle şeyler oluyor
Öğün planlama aracındaki uyarıda tariflerin “insan tarafından incelenmediği” yazıyor ve şirket hiçbir tarifin “eksiksiz ya da dengeli bir öğün olduğunu veya tüketim için uygun olduğunu” garanti etmediğini söylüyor
“Sistemin çalışıp çalışmadığını bilmiyoruz. Çöp olabilir, tatsız hatta ölümcül sonuçlar üretebilir. Yine de hukuki sorumluluğu engelleyecek bir feragat beyanı koyduk” hissi veriyor
Ama eleştiriyi engellemeye yetmiyor
https://saveymeal-bot.co.nz/ adresinde buldum
Görünüşe göre artık yiyecek olmayan şeyleri reddedecek şekilde prompt’u değiştirmişler
Belki prompt injection ile aşılabilir
Yine de en azından evcil hayvan maması kullanan insanlara yönelik tarifler üretmeye gayet istekli: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
Birbiriyle pek uyumlu olmayan bir sürü şey girdim; hepsini kullanıp bir şeyler üretti
Kahveyi de her şeyin malzemesi olarak memnuniyetle kullanıyoruz: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
Eldeki malzemelere göre mevcut tarifleri filtreleyen yapay zeka olmayan araçların aksine, bu tamamen işe yaramaz
“Artan balıkla tarif ver” dediğinde “lezzetli tartar!” sonucunun çıkması gibi
LLM aşçılık okuluna gitmedi
Düpedüz saçmalık üretiyor
Karınca, kereviz ve çikolata olduğunu söyledim; çikolatalı ekmek olduğunu varsayıp(???) kerevizle ekmeği pişirmemi söyledi
LLM rol yapma toplulukları muhtemelen bu tür uygulamalarla herkesten çok alay ediyordur
Onlar Llama ya da Stable Diffusion’dan bile önce modellerle serbest, çılgın ama eğlenceli hikâyeler ve diyaloglar üretip oynuyordu
Ama biri çıkıp LLM’in gerçeklere dayalı yemek önerileri için uygun olduğunu mu düşündü?
Meşgul bir ev hanımının gereksinimlerini üst düzeyde tarif ettiği, Bing’in de kurtarıcı gibi ortaya çıkıp talimatlara göre 6 aşamalı bir menü hazırladığı bir senaryoydu
Son alıntının tadını bir an çıkarabilir miyiz?
Bazen çağın ruhunu somutlaştıran cümleler vardır. “Mordor’a öylece yürüyerek girilmez” ya da “All your base are belong to us” gibi
“Savey Meal-bot’un oluşturduğu herhangi bir tarifi yapmadan önce mutlaka kendi muhakemenizi kullanmalısınız” ifadesi, bir market zincirinin pazarlama oyuncağına iliştirilmiş bir uyarının ötesinde, toplumumuzun hâline dair daha büyük bir yorum da olabilir
Klor ha
Birkaç ay önce yapay zeka hizalama tartışmalarından ve sınırsız modellere anarşik biçimde kamu erişimi açılmaması gerektiğinden bahsederken, sadece mutfak eşyalarıyla klor üretmenin iki yolunu bildiğim örneğini verdiğimi belli belirsiz hatırlıyorum
Bilgi düzeyi aşağı yukarı Birleşik Krallık GCSE kimyasında B notu seviyesindeydi
İnsanların basit deneyler yaparken yanlışlıkla kendilerini gazla zehirlememesi için bunun bu kadarının genel kültür olması gerekmez mi diye düşünüyorum
Birkaç hafta önce manyetohidrodinamik bir itki sistemi yapmaya çalışan bir YouTuber vardı; tuzlu suya yüksek voltajlı elektroliz uygulayıp akım akışı oluşturmaya çalışırken farkında olmadan kendini zehirliyordu
Ayrıca, bu iş için ehil biri olmama rağmen yukarıdaki cümleyi ilk başta “Bood luck” diye yazdım ve bu cümlede de bir ara “thyped” vardı
Bu tür “sınırlamalar” için hem önceden hem sonradan dikkat gerekiyor
Zekâ sahibi bizler için bile önemsiz değil; biz de hata yapıyoruz
Bu bağlamda “sınırlama”, bir delinin ağzına kural denen bir bandaj sarmak gibi görünüyor
Kuralları koymak ve beklenen sonuçları dengelemek başlı başına bir meydan okuma gibi görünüyor
Rastgele sektör yöneticilerinin geri kalmamak için LLM’i pazarlamaya bir şekilde entegre etmeleri gerektiğini düşündükleri beceriksiz örnekleri görmek keyifli
Sorun, LLM’in başka tür tarifler de üretebilmesinde
Birkaç gün önce yayımlanan bir yapay zeka seyahat sitesini denedim; Michigan’daki Flint için başlık Drink Up idi
Bazen gerçekten karanlık bir mizah anlayışı varmış gibi geliyor
Modelin içindeki bir tür çekim noktası olabilir; insanlar da kimin daha karanlık şaka yapabileceği konusunda yarışır zaten
GPT-4 makalesindeki o şaka da epey kasvetliydi. Tekerlekli sandalyedeki Müslümanla ilgili şakadan bahsediyorum