Derin öğrenme ilgi görüyor, ama derin doğrulama görmezden geliniyor
(rachel.fast.ai)- 22 milyon enzim verisiyle bir Transformer eğitip 450 bilinmeyen enzimin işlevini tahmin eden çalışma Nature Communications’ta yayımlandı ve Altmetric’te ilk %5’lik ilgi dilimine girdi; ancak büyük ölçekli hataları doğrulayan devam niteliğindeki preprint çok daha az ilgi gördü
- Enzim işlevi tahmini, amino asit dizisinden EC numarasını bulma problemi gibi görünse de, gerçek değerlendirme yapısal benzerliğin yanı sıra gen çevresi bağlamı, substrat docking’i ve metabolik yolaklarda birlikte görülme gibi biyolojik kanıtlar gerektirir
- 450 “novel” tahminden 135’i zaten UniProt’ta mevcuttu; 148’inde ise aynı son derece spesifik işlev en fazla 12 kez tekrar ediyor ve biyolojik açıdan tuhaf bir örüntü sergiliyordu
- yciO vakası, test seti performansı ile az sayıdaki in vitro doğrulamanın tek başına yeterli olmadığını gösteriyor; yciO yapısal olarak TsaC’ye benzese de önceki çalışmalar ve enzim aktivitesindeki fark, aynı temel işlevi yerine getirmediğine işaret ediyor
- Denetimli öğrenme modelleri, bilinen işlev etiketlerini aynı işlev ailesine yaymakta yararlı olabilir; ancak gerçekten bilinmeyen işlevleri keşfetmede sınırlıdır ve hatalı etiketler UniProt gibi veritabanları üzerinden sonraki model eğitimlerine yayılarak kalıcı hale gelebilir
Yapay zeka ile enzim tahmini makalesi ve onu izleyen doğrulama çalışması arasındaki karşıtlık
- Orijinal çalışma, EC numarası içeren 22 milyon enzimlik bir veri kümesiyle Transformer tabanlı bir modeli eğitip değerlendirdikten sonra, işlevi bilinmeyen yaklaşık 450 enzimin işlevini tahmin etti
- Functional annotation of enzyme-encoding genes using deep learning with transformer layers | Nature Communications dergisinde yayımlandı; 22.000 görüntüleme aldı ve Altmetric’e göre tüm araştırma çıktıları içinde ilk %5’lik ilgi dilimine girdi
- Devam niteliğindeki doğrulama makalesi Limitations of Current Machine-Learning Models in Predicting Enzymatic Functions for Uncharacterized Proteins | bioRxiv, orijinal makaledeki tahminlerde ciddi hatalar ve büyük olasılıkla yanlış olan yüzlerce sonuç buldu; ancak orijinal makale kadar görüntülenmedi veya alıntılanmadı
- Bu örnek, biyoloji alanındaki yapay zeka sonuçlarının geçerliliğini derin alan uzmanlığı olmadan değerlendirmenin zor olduğunu gösteriyor
Enzim işlevi tahmini neden zor?
- Enzimler canlılardaki reaksiyonları katalizler ve Enzyme Commission (EC) numarası binlerce enzim işlevini hiyerarşik olarak sınıflandırır
- Girdinin proteini oluşturan amino asit dizisi, çıktının ise EC numarası olması nedeniyle bu problem makine öğrenmesine çok uygunmuş gibi görünebilir
- UniProt’ta EC numarasıyla birlikte 22 milyondan fazla enzim bulunur ve bunlar büyük ölçekli bir eğitim veri kümesi olarak kullanılabilir
- Ancak enzim işlevini belirlemek için yalnızca dizi ya da yapı benzerliği yeterli değildir; işlevlerin ayrıştığı evrimsel ilişkiler yaygın bir tuzaktır
Transformer yaklaşımı ve görünen başarı
- Nature Communications makalesi, daha önce işlevi bilinmeyen enzimlerin işlevini tahmin etmek için Transformer derin öğrenme modelini kullandı
- Model mimarisi, BERT’te benimsenen yaklaşımla iki Transformer encoder, iki convolution katmanı ve bir lineer katmandan oluşuyordu
- Araştırmacılar attention’ın yüksek olduğu bölgelerin biyolojik olarak anlamlı olup olmadığını kontrol ederek, modelin temel anlamı öğrendiği ve yorumlanabilirlik de sunduğu sonucuna vardı
- Milyonlarca öğe içeren veri kümesinde standart eğitim/doğrulama/test ayrımı kullanıldı ve ground truth bulunmayan bir veri kümesine model uygulanarak yaklaşık 450 yeni tahmin üretildi
- Bunlardan rastgele üçü seçilerek in vitro test edildi ve tahminlerin doğru olduğu doğrulandı
Ortaya çıkan hatalar ve tekrar örüntüleri
- Devam analizine göre Nature Communications makalesindeki yüzlerce “novel” tahmin neredeyse kesin olarak hatalıydı
- Orijinal makale ayrılmış test setinde iyi performans gösterse de, sonraki incelemede veri sızıntısı olasılığı ortaya çıktı
- 450 “novel” sonuç içinde:
- 135’i zaten UniProt’ta kayıtlıydı; yani aslında yeni değildi
- 148’i, aynı son derece spesifik enzim işlevinin E. coli genlerinde en fazla 12 kez tekrarlandığı anormal bir örüntü gösteriyordu
- Bu tür tekrarlar biyolojik olarak makul görünmüyor; önyargı, veri dengesizliği, ilgili özelliklerin eksikliği, mimari sınırlamalar ve yetersiz belirsizlik kalibrasyonu modelin eğitim verisindeki yaygın etiketleri zorla üretmesine yol açmış olabilir
- YjhQ, mycothiol synthase olarak tahmin edildi; ancak E. coli mycothiol sentezlemez
- YrhB’nin belirli bir bileşiği sentezlediği tahmin edildi; ancak o bileşiğin zaten QueD enzimi tarafından sentezlendiği öngörülüyordu ve QueD mutant E. coli bu bileşiği sentezleyemediği için bunun YrhB’nin işlevi olmadığı görüldü
yciO vakasının gösterdiği alan bilgisinin rolü
- yciO, in vitro test edilen hedeflerden biriydi ve Dr. de Crécy-Lagard bu enzim üzerinde 10 yıldan uzun süredir çalışıyordu
- Orijinal makale, yciO’nun TsaC ile aynı işlevi gördüğü sonucuna vardı; ancak önceki araştırmalar bunu desteklemiyor
- TsaC, E. coli’de zorunlu bir gendir; yciO aynı genomda bulunsa ve yciO aşırı eksprese edilse bile TsaC’nin zorunluluğu ortadan kalkmıyor
- Kim et al.’ın bildirdiği yciO aktivitesi, TsaC’den 4 büyüklük mertebesi, yani 10.000 kattan fazla daha zayıf
- yciO ile TsaC yapısal olarak benzer ve yciO, TsaC atasından evrimleşmiş olsa da, gen duplikasyonu sonrasında işlevlerin çeşitlenmesi protein ve enzim evriminde yaygındır
- Enzim işlevi sınıflandırmasında yapı benzerliğine ek olarak şu kanıtlar da önemlidir
- genin neighborhood context’i
- substrat docking’i
- metabolik yolak içinde genlerin birlikte görülmesi
- enzimin diğer özellikleri
“Bilinen işlevin yayılması” ile “gerçekten bilinmeyen işlevin keşfi” arasındaki fark
- Enzim işlevini tanımlamada birbirine karışan iki farklı problem vardır
- aynı işlev ailesindeki enzimlere bilinen işlev etiketlerini yayma problemi
- gerçekten bilinmeyen bir işlevi keşfetme problemi
- Denetimli makine öğrenmesi modelleri, tasarım gereği true unknowns için işlev tahmini yapmakta kullanılamaz
- Makine öğrenmesi, bilinen işlevleri ek enzimlere yaymak için yararlı olabilir
- Ancak şu hatalar ortaya çıkabilir
- yayılması gereken etiket yayılmaz
- yayılmaması gereken etiket yayılır
- kürasyon hatası
- deneysel hata
- Hatalı bir işlev UniProt gibi temel çevrimiçi veritabanlarına girerse, daha sonra tahmin modellerinin eğitim verisi olarak kullanıldığında hata daha da yayılabilir
- Bu sorun zamanla büyüyebilir
Veri doğrulama araştırmalarının düşük ödüllendirilmesi
- Yapay zeka modeli inşa etme çalışmaları, temel veriyi ayrıntılı biçimde inceleme ve derin alan bilgisini entegre etme işlerinden daha fazla ödül ve destek görüyor
- Everyone Wants to do the Model Work, not the Data Work yüksek riskli yapay zeka projelerinde çalışan onlarca makine öğrenmesi uygulayıcısını ele alıyor ve yetersiz uygulama alanı uzmanlığını kritik başarısızlıkların başlıca nedenlerinden biri olarak gösteriyor
- Kendi uzmanlık alanı dışındaki yapay zeka sonuçlarını değerlendirmek çok zor, hatta imkansız olabilir
- Pek çok derin öğrenme makalesi, alan uzmanlarının sonuç kalitesini ayrıntılı biçimde incelemediği koşullarda okunuyor
- Yüzlerce enzim tahminini doğrulama işi, yapay zeka modeli üretmek kadar gösterişli olmayabilir; ancak sonuç kalitesi açısından daha önemli olabilir
- Gösterişli yapay zeka çözümlerine orantısız şekilde odaklanan teşvik sistemi, kaliteli sonuçlar pahasına işleyebilir
1 yorum
Hacker News görüşleri
Daha önce benzer bir şey yaşamıştım. Enzim verilerine BERT uygulamıştım; değerlendirmede düzgün görünüyordu ama gerçek ortamda tamamen çöktü. Tipik bir “havaya aşırı uyum” durumuydu.
Açıkçası basit bir sınıflandırma söz konusuysa her zaman SVM ya da lojistik regresyonu seçerim. Transformer'lar havalı, ama veri çok temiz değilse büyük bir özgüvenle saçmalıyorlar. GPT'ye anlamsız bir çoktan seçmeli sınav verince bir şey seçip son derece kendinden emin konuşmasına benziyor.
Bugünlerde büyük modellerden sadece embedding alıp üstüne basit bir sınıflandırıcı koyma yoluna gidiyorum. Daha iyi çalışıyor, daha hızlı ve daha az gürültülü.
Yapay zekaya araştırma yaptırmadan önce bence araştırmayı yeniden üretmesini sağlamak gerekir. Örneğin bir deep learning tekniği makalesi verip o makalenin implementasyonunu yaptırmak gibi.
Bunu yapamıyorsa yeni fikirler üretebileceğini beklemem.
Akademik sahtekârlık nadirdir ama yok değildir. LLM'ler en küçük boşlukta veri uydurur ve yalan söyler.
Bir araştırmacının yayımlanmış bir makalenin sonuçlarını doğrulamak için 6 ay harcadığını duymuştum. Sonunda aldığı tek şeyin “işaret ettiğin için teşekkürler” olduğu söyleniyor.
Sessizce “Bazı işler görünür oldukları için değil, başkalarının yanlış yola sapmasını engelledikleri için önemlidir” demişti.
Tahminlerin gerçekle uyuşup uyuşmadığını bile dikkatle kontrol etme iradesi yoksa, teknoloji ne kadar etkileyici görünürse görünsün bunun kısa süreli bir yanılsamadan ibaret olduğuna inanıyorum.
“Sonraki incelemelere göre veri sızıntısı olmuş olma ihtimali var” kısmı sık sık unutuluyor gibi. Güçlü karşı kanıt çıkana kadar herkes veri sızıntısı varsaymalı.
Sızıntı olduğunu kanıtlama sorumluluğu okurda ya da şüphecide değil; olmadığını ispatlama sorumluluğu yazarlarda.
Küçük veri kümelerinde veri sızıntısı kolayca oluşur. Tamamını gözle görebileceğiniz veri kümelerinde bile sızıntı çok kolay girer ve çoğu zaman kişi farkına bile varmaz. İnce detaylar veriyi kolayca bozar.
Artık insanların tamamını gözden geçirmesinin mümkün olmadığı dev veri kümeleriyle çalışıyoruz. Filtreleme yöntemlerinin kusurlu olduğunu da biliyoruz; o halde sızıntı olmadığına nasıl inanıyoruz? Filtreledik diyebilirsiniz ama sızıntı yok diyemezsiniz.
Üstelik erişilebilir veri kümelerinde bile sürekli kontaminasyon buluyoruz. Aslında bunun sık yaşandığına dair kanıtlar sürekli gelmeye devam ediyor.
Peki neden hâlâ kontaminasyon olmadığını varsayıyoruz? Hype yüzünden mi? Açıkçası inanmak istediğimiz için kendimize söylediğimiz bir yalan gibi geliyor. Bu tür bir sorunu kendimizi kandırarak düzeltemeyiz.
Örneğin Medicare ve Medicaid'de usulsüz ödeme oranı %7,66'ydı. Bu milyarlarca dolarlık bir ölçek ve iyileştirme alanı var; ama bu tüm sistemin başarısız olduğu anlamına gelmez. Vakaların %93'ünde kapsama amaçlandığı gibi sağlanıyor.
Bu modeller için de benzer olabilir. Kontaminasyon oranı %10 ise tüm sistem kötü müdür, yoksa katlanılabilir bir seviye midir?
[1]: https://www.cms.gov/newsroom/fact-sheets/fiscal-year-2024-im...
Tahmin ettiğim şey aynen çıktı: https://news.ycombinator.com/context?id=44041114 https://news.ycombinator.com/context?id=41786908
“AI kod yazabilir” meselesiyle aynı. Problem eğitim setinde yoksa sürekli cafcaflı biçimde başarısız oluyor; insanlar da her seferinde şaşırıyor.
Mimari, tasarım, review gibi zor kısımları yapamıyor ama çoğu mühendisin zamanını yiyen tekrarlı ve zaten çözülmüş kısımların çok büyük bölümünü üstlenebiliyor. Kalite güvencesini insan yaptığı için kalite kaybı olmadan üretkenliği 2 ila 5 kat artırmak da gayet mümkün.
Ama yönetilmeden ve kontrol edilmeden herhangi bir insanın bütün işini düzgün biçimde ikame edemez. Henüz buna hiç yakın değil.
“Okuduğum derin öğrenme makalelerinin çoğunda, bir alan uzmanı sonuçları ayrıntılı biçimde gözden geçirip çıktı kalitesini denetlememişti. Dışarıdan etkileyici görünen makalelerin kaçı titiz doğrulamadan geçemez acaba?”
Gerçekten öyle mi? Kendi alanımdaki birkaç yapay zeka makalesini okudum ve başka alan uzmanlarının da epey okuduğunu biliyorum. Yalnız bilgisayar bilimi ve yazılım temelli çalışmaların, biyolojiye kıyasla genel olarak doğrulanmasının daha kolay olduğunu düşünüyorum. Ya da biyolojiyi neredeyse hiç bilmediğim için bana öyle geliyor olabilir
Kimse rastgele bir model tahminini doğrulamak için kariyerinden 3-5 yılını ortaya koymaz
Böyle bakınca doğru cevap etiketi hatalarını oldukça hızlı bulma eğilimindeyim. Elbette çoğu model, bu tür hataların sonuçları ciddi biçimde etkileyeceği kadar iyi performans göstermiyor
Nature Communications için “Nature” denmemeli. İtibarı tamamen farklı. Ayrıca alternatif metriklerin de pek ilgisi yok; ancak kamuoyundaki aşırı ilgiyi ölçmek istiyorsanız başka
Bir araştırmacı olarak yaşadığım sınırlı LLM deneyimiyle iyi örtüşüyor. İlk bakıştaki yazılı dili anlama ve cümle kurma becerisi çok etkileyici
Ama özellikle henüz çözülmemiş sorularda mümkün olan en iyi yanıta ulaşmak başka bir şey. Normalde yarım gün harcansa bile sonuca varılamayabilecek bir soruya neredeyse anında verilen yanıt nadiren tatmin edici oluyor
Karmaşık sorular keşfetmek için zaman gerektirir. Şimdiye kadar LLM'ler, yetersizlikleri nedeniyle sonuca varamamaları gereken durumlarda bile bu çözümsüzlüğü kabul etmek yerine, kendinden emin görünen ve bazen tamamen yanlış olan yanıtlar verme eğiliminde
Rachel Thomas'ın mükemmel bir yazısı
Bu, derin öğrenmenin temel alanın çok kayıplı bir temsili olan eğitim verisine bağlı olduğu için, nihayetinde yalnızca üretken bilgi arama olarak çalıştığına dair başka bir argüman gibi görünüyor. Yani stokastik papağan meselesi
Gen verileri veya etiketler, temel alan olan biyolojiyi her zaman kusursuz biçimde temsil etmediğinden çıktı yanlış, geçersiz veya anlamsız olabilir
Çok iyi çalıştığı durumlarda veri sızıntısı vardır. Çünkü LLM'ler tasarım gereği bilgi arama araçlarıdır. Bilgi teorisi açısından bakınca, her modelde temel bir “bilmediğini de bilmediği şeyler” alanı bulunur
Benim vardığım sonuç, bunun algoritmadan çok eğitim veri kümesinin hatası olduğu yönünde
İnsanlar doğal dil alanında esnek çalışır ve bir çocuk bile metni okuyup anlamlı olup olmadığını değerlendirebilir. Doğal dil işleme ile eğitilmiş modellerin başarısını bu açıklar
Ancak eğitim verisinin temel alanı kayıplı temsil ettiği alanlarda eksik kalması kaçınılmazdır
Gömme uzayı kelimeler, cümleler ve paragraflar arasındaki ilişkileri temsil edebilir; bunlar da temel alan hakkında bilgi taşıyabildiğinden, bu ilişkileri metinle sorguladığınızda makul görünen yanıtlar alabilirsiniz. Sorun, metnin dağınık bir kodlama biçimi olması ve bu ilişkinin neyi temsil ettiğinin her zaman net olmamasıdır
Bir diğer zayıflık da üretken olmasıdır. Üretken hale getirmek için olası tüm soru ve yanıtları bir veritabanına sabit kodlamak yerine, verinin bir kısmı algoritmaya, yani bir sonraki token tahminine devredilir. Bu sayede yanlış ama olasılıksal sorular ve prompt'lar mümkün olur; her şeyi sorabilme avantajı doğar
Fakat tek bir algoritma, bir alanın olası tüm sorularına verilebilecek olası tüm yanıtları doğru biçimde kodlayamaz. Bu yüzden bilginin hassasiyetinde bir miktar kayıp olur. Ben günümüz LLM'lerini böyle görüyorum
Programlamada ortalamanın altında veya ortalama seviyede bir junior geliştiricinin nasıl çalıştığını düşünmek yeterli. Stack Overflow'da ya da eğitimlerde problem çözme bilgisini “arar”
Her geliştiriciye iyi yapılmış bir AI otomasyon aracı vermek, sıkıcı ve basit işleri devredeceği birer junior geliştirici atamak gibidir. Üstelik basit işler yüzünden junior'ın gelişememesi gibi bir endişe de yok. Buna statik kod analizi, testler gibi araçlar yeterince eşlik ediyorsa, AI aracı çalışmak, araçları çalıştırmak ve sorunları düzeltmek döngüsünü oldukça iyi yerine getirecektir
Bu aracın maliyeti bir junior geliştiricinin maliyetinin yaklaşık 1/30'u değil mi? O zaman gerçek junior geliştiricileri eğitmek de dahil olmak üzere önemli işlere daha fazla zaman ayırabilirsiniz
AI'ın henüz tam olarak oraya vardığını düşünmüyorum, ama mevcut temel modellerin de doğru bağlanıp birleştirildiğinde buna ulaşmak için yeterli olabileceğini düşünüyorum
Mevcut AI abartı döngüsünün temel sorunlarından birini iyi yakalıyor. Doğruluğu değil, ilgiyi optimize ediyoruz
Ve bu yalnızca biyolojinin sorunu değil. İklim bilimi, hukuk ve tıp dahil pek çok alandaki makine öğrenmesi uygulamalarında benzer bir desen görülüyor