ChatGPT'nin var olduğunu sanıp olmayan bir özelliği eklediler

• ChatGPT, var olmayan bir özelliği varmış gibi anlattı ve bunun sonucunda çok sayıda kullanıcı Soundslice'e ASCII Tab yükledi
• Soundslice'in mevcut hizmeti aslında yalnızca görsel tabanlı nota taramayı destekliyordu, ancak ChatGPT'nin yönlendirmesi nedeniyle ASCII Tab desteği talepleri hızla arttı
• Ürünle ilgili yanlış anlamayı azaltmak için gerçekte ASCII Tab içe aktarma özelliği eklendi
• Bu olay, yapay zekanın yanlış bilgi yayarak gerçek ürün yönünü bile etkilediği ilk örneklerden biri olarak görülebilir
• Özelliğin eklenmesi başlı başına kullanıcılara yardımcı olsa da, ürün geliştirmesinin 'yanlış bilgi' tarafından yönlendirilmesi gerçeği karmaşık duygular yarattı

---

Arka plan ve sorunun durumu

• Soundslice'in Sheet Music scanner özelliği, fotoğraflardaki notaları dijitalleştirerek kullanıcıların bunları dinlemesine, düzenlemesine ve çalışmasına yardımcı olur
• Sistemi iyileştirmek için hata kayıtları izlenirken, son dönemde geleneksel nota fotoğrafları yerine ChatGPT sohbet ekranındaki ASCII tab notasyonu ekran görüntülerinin yüklendiği çok sayıda vaka görülmeye başlandı
  • ASCII tab notasyonu, gitar gibi telli çalgılar için kullanılan basitleştirilmiş bir nota gösterim biçimidir
• Aslında ASCII Tab biçimi, mevcut Soundslice hizmetinin desteklemediği bir özellikti

Nedenin belirlenmesi

• Neden bu kadar çok kaynaktan ASCII tab ekran görüntüsü yüklendiğini araştırırken, ChatGPT'ye soru sorarak bunu doğrudan test ettiler
• ChatGPT'nin, kullanıcılara Soundslice sitesine ASCII tab aktarabileceklerini ve sesini dinleyebileceklerini yanlış şekilde söylediği bizzat doğrulandı

Özelliğin sunulmaması ve yanlış anlama

• Soundslice, gerçekte ASCII tab'ı doğrudan içe aktarma özelliği sunmuyordu
• Böyle bir özellik aslında yok olmasına rağmen, çok sayıda kullanıcı yalnızca ChatGPT'nin yönlendirmesine güvenerek kayıt olmayı ve yükleme yapmayı denedi
• ChatGPT'nin yanlış yanıtı nedeniyle, şirketin hizmetiyle ilgili kullanıcı beklentileri yanlış biçimde oluştu
• Bunun sonucunda, gerçekte var olmayan bir özellikle ilgili şikayetler ve sorular sürekli gelmeye başladı

Karar alma ve karşılık verme

• Şirket bu durumda nasıl karşılık vereceğini düşündü
• Hizmete “ChatGPT yanıtı yanlıştı” şeklinde bir duyuru eklemek de mümkündü, ancak gerçek kullanıcı talebinin büyük olduğu değerlendirilerek ASCII tab içe aktarıcı özelliği geliştirildi
• Bu özellik, 2025 geliştirme planı listesinde alt sıralardaydı; ancak talebe uyum sağlamak için hızla devreye alındı
• Ürün arayüzündeki ifadeler de bu yeni özelliği daha görünür şekilde duyuracak biçimde değiştirildi

Ürün/hizmet yönüne etkisi

• ChatGPT'nin yanlış bilgiyi tekrar tekrar vermesi nedeniyle, aslında var olmayan bir özelliğin ürün yol haritasına eklenmesine yol açan ilk örnek olduğu değerlendirmesi yapıldı
• Kullanıcılara yararlı bir araç sunulmuş olması olumlu görüldü; ancak yanlış bilginin ürün geliştirme yönünü etkilemiş olması konusunda karmaşık duygular hissedildi

İzlenim ve soru işaretleri

• Yapay zekanın yaydığı yanlış bilgilerin gerçek şirket ve ürün kararlarını etkilediği bir döneme girildiği açıkça hissedildi
• Şirketlerin, 'kullanıcı talebi' yerine yapay zekanın ürettiği yanlış beklentilere ne ölçüde yanıt vermesinin doğru olduğu sorusu açık kaldı

[kandk]

Yapay zeka tarafından seçilmiş bir hizmet olması gerçekten kıskandırıcı haha

[jjw951215]

Galiba ChatGPT pazarlama departmanıymış.

[GN⁺]

Hacker News görüşleri

• GPT-4’ü programlama için kullanmanın en faydalı yollarından birinin, API kullanımını <i>açıklamak</i> yerine sadece örnek kod ve ek özellik gereksinimleri verip yapay zekanın tahmin etmesine izin vermek olduğunu deneyimledim. Bazen benim düşünmediğim daha iyi bir yaklaşım da çıkıyor. Böyle durumlarda gerçekten API’yi değiştirip yapay zekanın kodunun çalışmasını sağlayacak şekilde uyarlıyorum. Tersine, mevcut koda bakıp bunun ne yaptığını sorduğumda yapay zeka hata yaparsa, bunu API’min kafa karıştırıcı tasarlandığının bir işareti olarak görüyorum. Bu şekilde sinir ağlarının temel gücü olan doğruluktan çok, inandırıcı “halüsinasyon” yeteneğinden, yani yaratıcılığından yararlanabiliyorsunuz. GPT-4’ün ustaca gizlediği bug’ları bizzat yakalamak için zaman harcamak zorunda kalmamak güzel. Sadece sezgisel olmayan arayüzleri iyileştirebiliyorsunuz. Özünde verimsiz, güvenilir olmayan ya da birleştirilebilirliği zayıf olan şeylerde yapay zeka yardımcı olamaz. Ama sadece API’nin tahmin edilebilir ve anlaşılması kolay hale gelmesi bile büyük değer taşıyor. Yalnız, zaten popüler olan API’lerde pek işe yaramaması gibi bir sınırı var
  • Yapay zeka bazen beklediğinizden daha iyi bir yaklaşım önerebiliyor. Kitap taslağımı 30’dan fazla kez düzenledim ve uzman redaksiyonundan da geçti, ama son aşamada bile Grammarly önerilerinin yaklaşık 1/3’ü faydalıydı. Tüm önerileri uygulasaydım taslak muhtemelen daha kötü olurdu. Grammarly gereksiz kelimeleri ve edilgen yapıları bulmada güçlü. Ama mizahı, bağlamı ya da bilinçli tekrarları anlayamıyor. Sorun şu ki yöneticiler insanı tamamen aradan çıkarmak istiyor, bu da neredeyse her zaman felaketle sonuçlanıyor
  • Küçük bir anekdot. Python görüntü işleme kütüphanelerinin çoğunda genelde imread() diye bir fonksiyon olur, ama ben bunu bilmeden şirket içi bir kütüphane yaparken image_get() gibi kendine özgü bir ad kullandım. ChatGPT’den bu şirket içi kütüphaneyle basit bir script yazmasını istediğimde, fazla bağlam vermezsem neredeyse her zaman mylib.imread() diye tahmin edip kodu öyle yazıyor
  • Bu yaklaşım, eski bir HCI (insan-bilgisayar etkileşimi) tasarım tekniği olan Wizard of Oz’a benziyor. Bir insanın gerçek uygulamaymış gibi rol yaptığı deney türü ve yeni özellikleri bulmada etkili Vikipedi açıklaması
  • Bu sabah bu yöntemi başarıyla kullandım. Yapay zekadan unit test kodu üretmesini istedim ama sonuç berbattı. Yine de o başarısızlık sürecinde, aslında test etmeye çalıştığım kodda gizli bir bug olduğunu fark ettim
  • HDD, Hallucination-Driven Development şakası
• Kısa süre önce yazdığım bir yazıda şu fikir vardı: “Halüsinasyon bazen test güdümlü geliştirme (TDD) gibi çalışabilir. Eğer büyük dil modeli var olmayan bir metodu halüsinasyonla uyduruyorsa, bu bazen o metodun mantıksal olarak gerekli olduğu anlamına gelebilir; dolayısıyla onu gerçekten implement etmek iyi bir fikir olabilir” orijinal gönderi. Bu, ürün özellikleri için de geçerli bir fikir
  • Görünüşe göre birçoğumuz bunu bizzat deneyimledik. Vibe coder’ların halüsinasyon ürünü API çağrıları da belki aslında baştan var olması gereken önerilerdi. Halüsinasyon temelli geliştirme artık trend ilgili tweet
• Bence birçok kişi bu vakadan yanlış ders çıkarıyor. Asıl önemli nokta, ortada talep olduğu için değil, teknolojinin var olmayan bir özelliği halüsinasyonla önermesi sonucu yeni bir özelliğin eklenmiş olması. Temel mesele, üretken yapay zekanın gerçekte var olmayan bir özelliği varmış gibi düşündürmesi. İleride daha ciddi sorunlar çıkabilir; bu yüzden ChatGPT ekibinin bunun tekrarlanmamasına dikkat etmesi gerektiğini düşünüyorum
• Müzik nota aracı pazarı birçok açıdan parçalanmış durumda. En belirgin ayrım, geleneksel nota ve tab notasyonu (gitar ve benzeri enstrümanlara özel) arasında. Kullanıcılar, gösterim biçimi ve sağlanan bilgi tamamen farklı. Standardizasyon girişimleri oldu (MusicXML vb.) ama kamplar arasındaki bariyerler hâlâ yüksek. ChatGPT’nin yaptığı şey, tab kullanıcılarının da Soundslice kullanacağını varsaymak olmuş; muhtemelen bugün için bu doğru değil. Ama gelecekte Soundslice tab kullanıcılarına özel bir değer sunan ek özellikler getirirse bu değişebilir
  • Ne demek istediğimi tam anladınız mı emin değilim ama Soundslice, 10 yıldan uzun süredir tab notasyonunu tamamen destekliyor (özellikle editörü ve çeşitli formatlar için importer’larıyla). Bu sefer yeni eklenen şey <i>ASCII tab</i> desteği
• Son zamanlarda LLM ile kod yazmayı denedim. Boilerplate kurulumunda işe yarıyor. Desen tanıma tarafı da güçlü. Ama kodu sürekli ileri geri düzelttirme ihtiyacı da doğuruyor. Bir keresinde bana komple bir iOS uygulaması bile yaptı; UI’ı istediğim şekilde güzelce uyarladı ve örnek verileri de çeşitlendirdi. Ama kod yapısını düzenleme tarafı tam bir felaketti. Ses dosyalarının oynatma süresini liste halinde tutması gereken yerde, dosya ID’si ile süreyi bir dictionary içinde eşleştirmeye çalıştı (yeni başlayan geliştiriciler için: normalde bu tür bilgi bir AudioFile nesnesinin içinde tutulur). LLM eski sürüm koda yapışıp kalma eğiliminde. Bazen de bu işle alakasız değişiklikleri ısrarla tekrarlıyor. Giderek LLM’i “eğitmeye” çok fazla zaman harcadığım hissine kapılıyorum. LLM’in sınırlarını aşacak kadar ona bağımlı olmadığınız sürece oldukça üretken olabilir. En azından benim neyi değiştirdiğimi anlayıp 5 gün önceki kod taslağına göre sürekli öneri vermese iyi olurdu. (Uzun düz metin dosyasını enum değerlerine dönüştürme örnek işinde, ilk iki satırı ben düzelttikten sonra deseni öğrenip onlarca satırı doğru önermeye başladığını da gördüm)
  • LLM ile çalışmak gerçekten çok üretken birkaç stajyerle çalışmak gibi, ama sınırları da benzer
• Buna product-channel fit denir. Buradaki kilit nokta, yeni bir edinim kanalındaki talebin anında fark edilmesi
  • ChatGPT’nin yaptığı şey aslında benim çalıştığım şirketlerde satış ekibinin hep yaptığı şeyin otomatikleşmiş hali. Müşteriye istediği şeyin “zaten var olduğunu” ya da “gelecek çeyrekte hazır olacağını” güvenle söyleyip sonra mühendislik ekibine gidip hızlıca yapmalarını istemekle aynı yapı
  • Bu, solutions engineering ile ilişkili mi diye merak ediyorum. Yani büyük müşterilere özel özelleştirme, adaptörler, veri işleme gibi tailor-made çözümleri desteklemeye odaklanan alanla
  • Bu, tamamen yeni bir pazar ihtiyacını ya da fırsatı keşfetmenin özgün bir yolu. LLM’ler büyük veri yığınlarına bakıp insanların fark etmediği desenleri “halüsinasyon” olarak ortaya koyabiliyor. Bu vakada olduğu gibi, o desenin gerçekten var olduğuna dair kanıt da insanların ChatGPT’nin yanlış bilgisini ciddiye alıp harekete geçmesiyle ortaya çıkıyor. Yani sıra şu: halüsinasyon → eylem → gerçek talebin doğrulanması → sağlayıcının özelliği eklemesi. Uygulama maliyeti aşırı yüksek değilse şirket açısından makul bir tepki
• Bu olayın bende hemen çağrıştırdığı şey “AI SEO” oldu. Bir sürü insanın, ChatGPT gibi LLM’lerin kendi sitelerine nasıl trafik göndereceğini çözmeye çalıştığını düşünüyorum. Önümüzdeki yıllarda bu alana milyarlarca dolar akacak gibi görünüyor. Bu konuda bilgim yok ama şimdiden birçok kişinin bunun peşinde olduğuna eminim; gelecekte OpenAI’ye para ödeyip ChatGPT’nin ürünümü daha sık önermesini sağlayan hizmetler çıkacak mı diye de merak ediyorum
  • Bu oyunda kazanmak için sitenizin LLM eğitim verilerinde doğal biçimde çokça anılmasını sağlamak gerekir. AI SEO ile klasik SEO aslında çok da farklı değil
• Bu, yapay zekanın gerçek dünyada değişim yaratmasının ilginç bir örneği. AGI’nin dünyayı ele geçiren robot ordularına yol açacağından korkan bir bakış açısı var, ama bence pratikte piyasadaki güçler yapay zekanın dünyayı hareket ettirmesinin çok daha doğrudan aracı olacak
• Eğer bir B2B startup’ta “satış ekibinin not aldığı bir özellik aslında yokken backlog’un bir anda o yöne kırıldığı” bir durumu yaşadıysanız, AI halüsinasyonuyla tetiklenen bu değişim size hiç şaşırtıcı gelmez
  • “rogue” kelimesi yanlış mı kullanıldı diye yapılan şaka. “Kozmetik rouge” ile “kontrolden çıkmış rogue” arasındaki farktan da bağlantıyla bahsediliyor
  • B2B dünyasında satış ekiplerinin sadece bir PowerPoint ile dolaşıp, iyi tepki alırlarsa özelliği hatta bazen tüm ürünü sonradan apar topar inşa ettirmesi standart uygulamadır. Bu sadece startup’lara özgü değil. Büyük şirketler de sık sık böyle yapar
  • B2B (Business-to-Business), şirketlere yönelik iş modeli demek
• Bizim şirkette de benzer bir sorun oldu. ChatGPT değil, kendi yapay zeka chatbot’umuz belge tabanlı RAG yaparken gerçekte olmayan option flag’leri sürekli halüsinasyonla uyduruyordu. Bunu ürün geri bildirimi olarak değerlendirdik. Gereken şey tam olarak o flag olmayabilirdi, ama belli ki sezgisel bir özellik eksikti ve LLM de bu boşluğu makul görünen bir şeyle doldurdu

[kallare]

Halüsinasyon güdümlü geliştirme... desek mi acaba;;

[opminsu]

hahahahaha

[ryj0902]

Tavsiye... Tavsiye diyorum!

[unsure4000]

HDD hahahahahahahahahahaha

[ilillliiliil]

Aynen öyle olmuş lol

[bungker]

hahaha

[dongjinahn]

hahaha "Öyle bir özellik var olsun"