- Şirketler müşteri destek otomasyonu için LLM tabanlı chatbot'ları devreye alırken, insan temsilciye erişim kısıtlanıyor ve yanlış yanıtlar ile hatalar gündelik hale geliyor
- Bu sistemler ekonomik sınıfa göre ayrımcı biçimde işliyor; sıradan müşteriler otomatik yanıtların içine hapsolurken yalnızca yüksek değerli müşteriler insan desteği alıyor
- LLM'ler sigorta incelemesi, fiyatlandırma gibi muğlak karar alanlarına yayılıyor; insanlar makinelerle tartışmaya ve onları ikna etmeye daha fazla zaman harcıyor
- ML sistemlerindeki belirsiz sorumluluk ve toplumsal önyargı, haksız gözaltı ve yanlış tanıma gibi gerçek zararlara yol açıyor; karmaşık yapı nedeniyle hesap sormak zorlaşıyor
- LLM'lerin ödeme ve satın almayı otomatikleştirdiği Agentic commerce yaygınlaşırsa, manipülasyon, dolandırıcılık ve maliyet aktarımı daha da artabilir ve 'sinir bozuculuğun eşitsizliği' kalıcı hale gelebilir
Müşteri hizmetleri otomasyonunun rahatsız ediciliği
- Şirketler müşteri destek maliyetlerini düşürmek için talepleri LLM tabanlı chatbot'lara yönlendiriyor; insan temsilciye bağlanmak ise giderek zorlaşıyor
- Ses modellerindeki ilerleme, telefon desteğinin de otomatikleşmesine yol açabilir
- LLM'ler kibar ve sabırlı yanıtlar verir, ancak yalanlar ve hataları tekrar ederek sorunun çözümünü geciktirir
- Bu sistemler ekonomik sınıfa göre ayrımcı biçimde çalışır
- Yüksek değerli müşteriler hâlâ insan temsilcilere erişebilirken, sıradan müşteriler LLM ile konuşmaya mahkûm olur
- LLM'ler öngörülemezlik ve injection attack'lere karşı savunmasız olduğundan, sistem dışında eyleme geçme yetkileri sınırlıdır
- Basit sorunlarda yararlı olabilirler, ancak karmaşık idari hatalarda ya da sistemsel problemlerde daha çok hayal kırıklığı yaratırlar
Modellerle tartışmak
- LLM'ler müşteri desteğinin ötesine geçerek sigorta incelemesi, fiyatlandırma, hukuki değerlendirme gibi muğlak iş alanlarına yayılıyor
- Doğruluktan çok maliyet verimliliği önceliklendirildiği için, yanlış kararlar çıksa bile sistemin toplam kârlılığı korunuyorsa yapı olduğu gibi kalır
- Bu ortam yeni bir emek israfı biçimi doğuruyor
- Uçak bileti alırken tarayıcıya, cihaza ve hesaba göre fiyatların değiştiği algoritmik fiyatlandırma bunun tipik örneğidir
- Doktorlar sigorta şirketinin LLM'sini ikna etmek için belirli ifadeleri öğrenmek zorunda kalıyor, tüketiciler de kamera tanımaya uymak için görünüşlerini ayarlamak durumunda kalıyor
- Bireyler makinelerle tartışmaya daha fazla zaman harcıyor
- LLM'ler, anlamadan yanıt üreten bir 'Çin Odası' gibidir; insani kavrayıştan yoksundur
- Gelecekte “sigorta primini düşüren 8 sebze” gibi makineye nasıl yanıt verileceğini anlatan içerikler ortalığı kaplayabilir
- İnsanlar LLM'leri bürokrasiye karşı bir araç olarak da kullanıyor
- Sigorta talebi reddine itiraz, abonelik iptali ve fiyat pazarlığını otomatikleştiren kişisel LLM'ler ortaya çıkıyor
- Ancak şirketlerle bireyler arasındaki asimetri sürüyor ve bireyler LLM arızalarının doğurduğu mali riski üstlenmek zorunda kalıyor
Sorumluluğun dağılması
- IBM'in 1979 tarihli iç yönergesindeki “Bilgisayarlar sorumluluk üstlenemez; bu yüzden yönetim kararları vermemelidir” ifadesi alıntılanıyor
- ML sistemleri masum insanlara zarar veren vakalar üretiyor
- Yüz tanıma hatası nedeniyle Angela Lipps'in 4 ay boyunca haksız yere gözaltında tutulduğu olay
- Gözetim kamerasının Taki Allen'ın atıştırmalık paketini silah sanması üzerine silahlı polisin sevk edildiği vaka
- Bu olaylar basit teknik arızalar değil, sosyoteknik sistemlerin başarısızlığı olarak analiz ediliyor
- İnsani muhakeme eksikliği, usul hataları ve kurumlar arası kopukluk birlikte etkili oluyor
- ML modelleri toplumsal önyargıları istatistiksel nesnellik kılığına sokuyor
- Siyah borçluların kredi itibarının düşük değerlendirilmesi, kadınlara yönelik sağlık hizmetlerinin kısılması ve siyah yüzlerin yanlış tanınması gibi örnekler var
- Modellerin opaklığı ve kendiyle çelişen açıklamaları, denetleyicilerin muhakemesini çarpıtıyor
- Büyük ölçekli modeller, birbirinden kopuk çok sayıda insan ve kurum tarafından üretildiği için sorumluluğun kaynağı belirsizleşiyor
- Hastaneler, sigorta şirketleri, model sağlayıcıları, veri tedarikçileri ve taşeron emek gibi çok katmanlı bir yapı söz konusu
- Sonuçta bireysel düzeyde sorumluluk bilinci ve düzeltme imkânı zayıflıyor
- Otonom araç kazaları, Copilot tabanlı performans değerlendirmesi nedeniyle işten çıkarmalar gibi otomatik kararların mağdurlarının artması bekleniyor
- Şirketler para cezası ya da sözleşme düzenlemeleriyle karşılık verse de, tek tek sorumlulardan hesap sormak zor
- Bu durum, modern mühendisliğin genelindeki yapısal bir sorun olarak sunuluyor; sistem ne kadar karmaşıksa, kazanın nedenini saptamak da o kadar güçleşiyor
- Uçak kazalarında olduğu gibi büyük ölçekli soruşturma gerektiren karmaşıklık, gündelik kararlara da yayılıyor
Piyasa mekanizmaları ve 'Agentic Commerce'
- Agentic commerce, LLM'lerin kullanıcının ödeme araçlarını onun adına yönetip otomatik satın alma yapması fikridir
- LLM'ler fiyat karşılaştırma, sigorta yenileme ve abonelik uzatmayı otomatikleştirerek aracı dağıtım katmanlarını ortadan kaldırır
- McKinsey, insan merkezli reklamların azalacağını öngörüyor; bunun yerine chatbot içine reklam yerleştirme ve LLM'ler arası müzakere yapıları öneriyor
- Ancak bu, LLM davranışını manipüle etmeye yönelik güçlü teşvikler yaratır
- LLM'lere yönelik reklamcılık ve SEO manipülasyonu yarışı, yeni bir algoritmik savaş biçimine dönüşebilir
- Belirli piksel, font ve renklerle LLM tepkisini yönlendirme ya da eğitim verisini kirleterek satış teşvik etme girişimleri görülebilir
- OpenAI gibi platformlar, üretici ile tüketici arasındaki aracı olarak her iki taraftan da gelir elde eden bir yapı kurar
- LLM'ler arası otomatik müzakere, 'dark pattern'lerin karşılıklı saldırı savaşına dönüşme riski taşır
- Sahte sinyaller, injection attack'ler ve aşırı işlem günlükleri nedeniyle kaotik etkileşimler ortaya çıkabilir
- Bazı araştırma kurumları kripto para tabanlı ödemelere geçiş öngörüyor, ancak bu durum hata, dolandırıcılık ve iade sorunlarını ağırlaştırabilir
- LLM yanlış bir satın alma yaparsa sorumlu tarafın kim olduğu belirsizleşir
- Ödeme şirketleri, bankalar ve LLM'ler arasında karmaşık bir uyuşmazlık yapısı oluşabilir
- Bu belirsizlikler ödeme komisyonlarının artmasına ve dolandırıcılığı önleme maliyetlerinin yükselmesine yol açabilir
- Sonuçta risk maliyetini sıradan tüketiciler paylaşmak zorunda kalır
- Tüketicilerin, LLM'leri kandırmak ya da onlarla pazarlık etmek için sahte profiller ve otomasyon araçları kullanması gerekebilir
- Bu durum yorgunluk ve verimsizlik yaratır; ancak piyasanın geneli LLM benimsediğinde kaçınılmaz bir yapıya dönüşebilir
- Yalnızca varlıklı kesimler insan merkezli hizmetleri korurken, 'sinir bozuculuğun eşitsizliği' daha da derinleşebilir
1 yorum
Hacker News yorumları
Günde 1000 işlem yapmaya ihtiyacım yok
Her satın alımı onaylamak zorunda olmanın ölümcül bir rahatsızlık olacağını düşünmüyorum
Kredi kartımı bir LLM'e emanet etmeyi hiç düşünmüyorum. Bunun nedeni injection zafiyeti gibi yapısal sorunlar
Gelecekteki AI mimarilerine de aynı şekilde güvenmenin zor olduğunu düşünüyorum
Yine de müşteri desteği otomasyonu gibi şeyler sonuçta kaçınılmaz bir akış
Zaten Costco eczanesini her aradığımda otomatik yanıt cehenneminden kaçmak için 0'a basıyorum
Sonuçta bu tür sistemlerden fayda sağlayanlar yalnızca hissedarlar ve yöneticiler
Bugünün dünyası giderek daha fazla manipülasyon ve hakikatin yokluğu etrafında dönüyormuş gibi geliyor
LLM'ler şaşırtıcı bir teknik başarı, ama sorun bunların sınıfsal uçurumu büyütecek şekilde kullanılması
Bundan sonra güvenilebilecek şey ne büyük şirketler, ne devletler, ne de LLM'ler
Yeniden, güvenebileceğimiz gruplar ve topluluklar etrafında örgütlenmemiz gerekiyor
Sorun kurumlar değil, ortamın kirlenmesiydi. Sosyal medyanın ilgi ekonomisi güveni yıktı
Bilgi kirliliği herkesi etkiliyor ve sonunda botların yön verdiği bir bilgi ekosistemine gidiyoruz
İnsanlar ve botlar birlikte katılsa bile kural tabanlı etkileşim önemli hale gelecek
Ama hissedar değeri bunu istemiyor. Sonunda artan maliyetler ve teknoloji nefreti çelişkisi içinde evrilmek zorundayız
Babam, AI yardımıyla araba anahtarının pilini değiştirdi ve çok memnun kaldı
Sigorta kurallarını da AI'ya sordu ve doğrudan aramaya göre daha iyi sonuç aldı
Ben de artık basit soruları Google yerine AI'ya sorma eğilimindeyim
Çoğu durumda AI yeterince 'iş görür' düzeyde ve çoğu zaman daha iyi
İnsanlar bunun sadece bir token tahmincisi olup olmadığını umursamıyor. Sonuç iyiyse yeterli
Şirketlerin sorunu üretip sonra çözümü sattığı bir yapı gibi görünüyor
Müşteri destek ekipleriyle çalışma deneyimime göre, teknolojik iyileştirmenin hedefi her zaman ticket sayısını azaltmak ve maliyeti düşürmektir
Memnuniyet de ölçülür ama asıl mesele ticket hacmidir
LLM'lerden önce de chatbot'lar bu yüzden kullanılıyordu
Ama müşteri desteği, şirket için aynı zamanda bir erken uyarı sistemi işlevi görür; bu yüzden insan temasını azaltırsanız kullanıcıların çektiği sıkıntıyı anlamak zorlaşır
IBM'in 1979 tarihli iç eğitim ifadesi “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE” sözünü hatırlatıyor
Bugün “bilgisayar izin vermiyor” türü sözlerin sürekli tekrar edilmesinin nedeni bu
Bir yönetici sorumluluktan kaçmak istiyorsa kararı bilgisayara bırakabilir
Sonuçta sorumluluktan kaçmanın otomasyonu, AI sayesinde güçleniyor
Beni en çok endişelendiren şey sorumluluğun dağılması ve sulanması
Orta ölçekli kurumlar zaten böyle işliyor ve LLM'lerin bunu daha da kötüleştireceğini düşünüyorum
Aphyr'in yazı serisini arkadaşlarıma gönderdim, ama gelen yanıt “özetler misin?” oldu
Eskiden derin tartışmalar yaptığım arkadaşlarım şimdi sadece AI özetleri gönderiyor ve yüzeysel konuşmalar yapıyor
Dikkat azalması çok belirgin hissediliyor
Birçok kişi sadece 'akıllı YouTube videolarını' alıntılayarak bilgi sahibiymiş gibi yapıyordu
Uzun yazılar gönderip alarak derin konuşmalar yapmak çok daha taze ve anlamlıydı
AI hâlâ erken aşamada ve her hafta yeni araştırmalarla modeller ortaya çıkıyor. Gelecek henüz belirlenmiş değil
archive.is bağlantısı paylaşıldı
“Burger King'in modeline token israfı yaptıran kişisel model boykotu” fikri ilginç
O yüzden ben de 'trilyon parametreli efendileri' kabullenmeye karar verdim
Aphyr'in yazısı ilginç ama tipik bir Amerikan üslubu gibi geliyor
“Bu kötü → şirketler bunu düzenleme olmadan kötüye kullanacak → mahvolduk” kalıbı
Ama iş regülasyon (law) önermeye gelince herkes geri çekiliyor
Amerika zaten hep böyle bir yerdi. Şirketler, düzenleme yoksa sömürür
Kısa vadede daha az para kazanılsa bile regülasyonlu bir toplum uzun vadede daha yaşanabilir
Anayasa değişikliği gerekiyor ama bugünkü siyasi yapıda bu neredeyse imkânsız
Eskiden de dolandırıcılar ve yılan yağı satıcıları her yerdeydi
Sonuçta güven ancak tekrarlanan ilişkiler içinde doğar. Çevrimiçi ortamda bu mümkün değil
Bundan sonra marka güveni daha önemli hale gelecek gibi
Bu yüzden başka ülkelerin gerisinde kalma sonucu da doğabiliyor