Aşırı Verimliliğin Yan Etkileri (2022)

Aşırı yüksek verimlilik her şeyi kötüleştirir: aşırı uyum ve Goodhart yasasının güçlü versiyonu

Verimlilik arttığında sonuçlar paradoksal biçimde kötüleşebilir. Bu, neredeyse her yerde geçerlidir. Bu olguya Goodhart yasasının güçlü versiyonu diyelim. Örneğin, öğrencilerin başarısının standart testlerle merkezi olarak izlenmesi iyi bir fikir gibi görünebilir, ancak bu okulları sınava hazırlığa odaklanmaya iterek genel eğitim sonuçlarını kötüleştirebilir. Siyaset, ekonomi, sağlık, bilim gibi birçok alanda da benzer örnekler vardır.

Aşırı uyum ve Goodhart yasası

• Aşırı uyum: Makine öğreniminde hedefi doğrudan tutturamadığımız için benzer bir vekil ölçüt kullanarak modeli eğitiriz. Başlangıçta vekil ölçüt iyileşirken hedef de iyileşir, ancak optimizasyona devam edildiğinde vekil ölçüt daha iyi hale gelse bile hedef artık iyileşmez. Buna aşırı uyum denir.
• Goodhart yasası: Bir ölçüm hedef haline geldiğinde artık iyi bir ölçüm olmaktan çıkar. Bu yalnızca ekonomide değil, çeşitli alanlarda da geçerlidir.

Goodhart yasasının güçlü versiyonu: Fazla verimli hale geldiğimizde önem verdiğimiz şey kötüleşir

• Vekil hedefi sürekli optimize etmek, asıl hedefin kötüleşmesine yol açabilir. Bu, makine öğreniminde çok yaygın bir olgudur.
• Goodhart yasasının güçlü versiyonu: Bir ölçüm hedefe dönüştüğünde ve etkili biçimde optimize edildiğinde, ölçmeye çalıştığı şey kötüleşir.

Verimlilik artışı ve aşırı uyum her yerdedir

• Verimlilik arttıkça toplum genelinde olumlu ya da olumsuz sonuçlar ortaya çıkabilir.
• Örnekler:
  • Hedef: Çocukları iyi eğitmek
    • Vekil ölçüt: Standart test puanları
    • Sonuç: Yalnızca sınava hazırlığa odaklanıldığı için gerçek eğitimin kalitesi düşer
  • Hedef: Bilimin hızla ilerlemesi
    • Vekil ölçüt: Yayın sayısına bağlı primler
    • Sonuç: Hatalı araştırma sonuçlarının yayımlanmasında artış
  • Hedef: Sağlıklı bir nüfus
    • Vekil ölçüt: Besleyici gıdaya erişim
    • Sonuç: Obezite sorunu

Aşırı uyumu ve Goodhart yasasının güçlü versiyonunu hafifletme yolları

• Vekil hedeflerle istenen sonuçları daha iyi hizalamak: Makine öğreniminde, test durumuna benzer eğitim örnekleri toplanır. Toplumsal sistemlerde ise yasalar, teşvikler ve toplumsal normlar değiştirilerek hedefle daha iyi uyum sağlanır.
• Regularization cezası eklemek: Makine öğreniminde parametrelerin büyüklüğü küçük tutulur. Toplumsal sistemlerde karmaşıklık azaltılır veya ek maliyetler getirilir.
• Sisteme gürültü enjekte etmek: Makine öğreniminde girdilere, parametrelere ve iç durumlara rastgele gürültü eklenir. Toplumsal sistemlerde ise öngörülebilirliği azaltmak için rastgele unsurlar eklenir.
• Erken durdurma: Makine öğreniminde doğrulama kaybı kötüleşmeye başladığında eğitim durdurulur. Toplumsal sistemlerde karar verme süresi sınırlandırılır veya piyasa faaliyetleri durdurulur.
• Yetenek/kapasite sınırlaması: Makine öğreniminde model küçük tutularak aşırı uyum önlenir. Toplumsal sistemlerde organizasyonların veya aktörlerin kapasitesi sınırlandırılır.
• Yetenek/kapasite artışı: Makine öğreniminde model çok büyük yapılarak aşırı uyum önlenir. Toplumsal sistemlerde ise hedef ile vekil ölçüt arasındaki ödünleşimi ortadan kaldırmak için kapasite büyük ölçüde artırılır.

Son düşünceler

Goodhart yasasının güçlü versiyonu, yapay zeka konusundaki kişisel korkularımın temel nedenidir. Yapay zeka neredeyse her görevde verimliliği artırabilir. Bu sorunu çözmeye yönelik çok sayıda araştırma fırsatı vardır. Toplumsal sistemler Goodhart yasasının güçlü versiyonu nedeniyle çökerse, bunu düzeltmek için rasyonel adımlar atmak zorlaşır. Bu olguyu adlandırmak ve daha iyi anlamak faydalı olacaktır.

GN⁺ özeti

• Goodhart yasasının güçlü versiyonu, verimlilik arttığında hedeflerin kötüleşebileceğini açıklar.
• Makine öğrenimindeki aşırı uyum olgusuna benzer ve çeşitli alanlara uygulanabilir.
• Sorun, vekil hedeflerle gerçek hedefleri daha iyi hizalamak, regularization cezası eklemek ve sisteme gürültü enjekte etmek gibi yöntemlerle hafifletilebilir.
• Yapay zekanın verimlilik artışı çeşitli yan etkilere yol açabilir ve bunları çözmek için araştırma gerekir.
• Toplumsal sistemlerin çökmesini önlemek için Goodhart yasasının güçlü versiyonunu anlamak ve buna karşılık vermek önemlidir.

[gguimoon]

Ülkemizdeki CSAT sınavının, başlangıçtaki matematiksel yetkinliği ölçme amacından uzaklaşıp yalnızca not dilimi eşiklerinin dağıtımını daha verimli hale getirmeye çalışan bir sisteme dönüştüğünü duydum. Bu, Goodhart yasasından kaçamayan bir örnek gibi görünüyor.

[GN⁺]

Hacker News görüşü

• Jascha, Google Brain'de çalışmış parlak bir ML araştırmacısı ve şu anda Anthropic'te

  • Derin sinir ağlarında sinyal yayılımını matematiksel olarak açıklayan araştırmasıyla tanınıyor
  • "dynamical isometry" gibi kavramlar aracılığıyla çok derin transformer modellerinin yakınsamasını sağladı
  • Optimizasyon sezgisi, ML'in ötesine geçerek modern toplumun geneline uzanıyor
  • Verdiği mesaj, teknik arka planın ötesinde insani ve empatik bir davranış çağrısı
  • Aşırı uyum sorunuyla ekonomi, siyaset bilimi, işletme gibi diğer alanlar arasında matematiksel bağlantılar öneriyor

• Goodhart yasası, bir ölçüm hedef haline geldiğinde artık iyi bir ölçüm olmaktan çıktığını söyler

  • Sorun yalnızca ölçümde değil, insan davranışında da
  • İnsanlar kurulan kontrol sistemini istismar etmeye çalışır
  • Campbell yasası bunu daha iyi açıklar
  • Düzenlileştirme, erken durdurma gibi hafifletme yöntemleri dolaylı kalabilir veya yeni sorunlar doğurabilir

• İsveç'te son 20 yılda toplumsal bir sorun olarak öne çıktı

  • Sağlık hizmetlerinde verimlilik, aile hekiminin "tamamlanan işleri" ile ölçülüyor
  • Basit vakaları ele almaya optimize edildiği için kişisel temas ortadan kalkıyor
  • Demiryolu sistemi özelleştirildi ama gecikme sorunlarıyla boğuşuyor

• Egzersiz fizyolojisinde de benzer bir yasa var

  • Genel antrenman metodolojisi daha anlamlı göstergeler sunuyor
  • Uzmanlaşmış sporcularda performans artışı, genel kondisyon artışını göstermiyor
  • Sporda "temel kondisyon" ve "zirve kondisyon" benzetmesi var

• Kuyruk teorisinde de ilgili bir yasa bulunuyor

  • Kullanım oranı %100'e yaklaştıkça bekleme süresi sonsuza gidiyor
  • Boş kapasiteye ihtiyaç var

• GDP'ye odaklanmayı sevmiyorum

  • Yaşam memnuniyeti ve iyimserlik üzerine üç aylık anketler daha iyi bir gösterge
  • GDP ekonomik faaliyeti yansıtır ama yaşam kalitesini yansıtmaz

• Bu yasanın bir örneğini yerel bir hırdavat mağazasında gördüm

  • Hırsızlığa karşı kafeslerin kurulması müşteri deneyimini kötüleştirdi
  • Veriye dayalı kararlar her zaman en iyi sonucu getirmiyor

• Zincir restoranları ziyaret ederken benzer bir deneyim yaşıyorum

  • Her şey optimize edilmiş, bu da mekanik ve yapay bir his veriyor
  • Odak müşteri deneyiminde değil, gelir yaratmada

• Yazarın adını hatırladım

  • 2015'te ilk üretici difüzyon modelini icat etti

• Etki var ama örnekler tam isabetli değil

  • Akademik başarıya aşırı vurgu, eğitimin amacıyla aynı şey değil
  • Obezite, besin değeri yüksek gıdaların öncelenmesinin sonucu değil
  • Eşitsizliğin artması, kaynakların toplumsal ihtiyaçlara göre dağıtılmasıyla ilgisiz
  • Yetersiz uyarım, duyusal bağımlılığa veya kumara yol açıyor
  • Kamu eğitiminin genişletilmesi, şeker vergisi ve servetin yeniden dağıtılması daha kolay çözümler