Yapay zeka araştırmacılarının enerji tasarrufu yöntemi: geri sarma yaklaşımına dönüş

 (quantamagazine.org)
4 puan yazan GN⁺ 2025-06-05 | 1 yorum | WhatsApp'ta paylaş
  • Geri sarımlı (reversible) hesaplama, işlemleri ters yönde çalıştırarak veri silmeden enerjiden tasarruf etmeyi sağlayan teorik bir yöntem olarak, yapay zekanın enerji tüketimi sorununa çözüm adayı olarak öne çıkıyor
  • Mevcut bilgisayarlar bilgi silindiğinde kaçınılmaz olarak ısı (enerji) açığa çıkarır ve bu durum fiziksel bir sınır olan Landauer ilkesi nedeniyle önlenemez
  • Uncomputation kavramı, yalnızca işlem sonucunu bırakıp geri kalanını işlemi tersine çevirerek bilgi kaybı olmadan işler; ancak hız ve bellek maliyeti gibi pratik sınırlara sahiptir
  • Son dönemde yapay zekâ gibi paralel işlemin yoğun olduğu işlerde, birçok reversible çipin daha yavaş çalıştırılmasının büyük enerji tasarrufu sağladığı deneysel olarak gösterildi
  • Sanayi ve araştırma dünyası, gerçek ticari reversible çipler geliştirmeye yönelirken, yapay zekada enerji verimliliği devriminin gerçeğe dönüşme ihtimali artıyor

Bilgisayar işlemlerindeki temel enerji kaybı

  • Bilgisayar iki sayıyı topladığında, örneğin 2 + 2 = 4 işleminde olduğu gibi, iki girdiden geriye yalnızca tek bir çıktı kalır
  • Bu şekilde bilginin bir kısmı kaybolur ve işlem geri döndürülemez hale gelir; silinen bilgi de ısı enerjisine dönüşür
  • Çoğu bilgisayar bu şekilde çalıştığı için, temelde her zaman belirli ölçüde bilgi kaybı (ısı üretimi) kaçınılmazdır

Landauer’in geri döndürülebilir hesaplama önerisi ve sınırları

  • Landauer, bilgi silmeden tüm işlem sonuçlarını kaydederek enerji kaybını azaltan bir hesaplama biçimi tasarladı
  • Ancak böyle bir bilgisayarda bellek kısa sürede dolacağı için, bunun pratik kullanım açısından sorunlu olduğu görüldü
  • Sonunda Landauer, geri döndürülebilir hesaplamanın çıkmaz bir yol olduğu sonucuna vardı

Bennett’in uncomputation (ters hesaplama) fikri

  • IBM’den Charles Bennett, 1973’te yalnızca işlem sonucunu saklayıp geri kalanını hesaplamayı ters yönde çalıştırarak (uncomputation) silme yöntemini önerdi
  • Hansel ile Gretel’in ekmek kırıntılarını geri toplaması benzetmesinde olduğu gibi, yalnızca gerekli veriyi bırakıp bilgiyi kaybetmeden geri kalanını kaldırmak mümkün olur
  • Bu yaklaşımın işlem süresini iki katına çıkarması ise onu verimsiz gösterdi

Pratikliği artıran araştırmaların ortaya çıkışı

  • Bennett, 1989’da biraz daha fazla bellek kullanılarak işlem süresinin büyük ölçüde azaltılabileceğini gösterdi
  • Sonrasında araştırmacılar bellek-zaman optimizasyonu üzerine çalışmayı sürdürdü
  • Ancak bilgisayarlar yalnızca veri silme nedeniyle değil, transistörlerin bağlanma biçimindeki verimsizlik yüzünden de enerji kaybeder
  • Gerçek anlamda enerji tasarruflu geri döndürülebilir bilgisayarlar üretmek için, tasarım aşamasından itibaren düşük ısı kayıplı bir yapı gerekir

MIT’nin prototip çipi ve sanayinin tepkisi

  • 1990’larda MIT mühendisleri, devre verimliliğini artıran bir prototip çip geliştirdi
  • Frank bu çalışmaya doktora öğrencisiyken katıldı ve daha sonra reversible computing alanının önde gelen isimlerinden biri oldu
  • Ancak mevcut çip performansının hızla arttığı sanayi ortamında, bu teorik alternatife sanayinin ilgisinin düşük kalması nedeniyle destek sınırlıydı
  • Frank de bir süre araştırmaya ara verip başka alanlara yöneldi
  • Buna karşın devre minyatürleşmesinin sınırlarına yaklaşılmasıyla enerji verimliliği sorununa ilgi hızla arttı

Geri döndürülebilir hesaplamanın enerji verimliliği ve yapay zekâya uygulanabilirliği

  • 2022’de Cambridge’den Hannah Earley, geri döndürülebilir bilgisayarların enerji verimliliğini ayrıntılı biçimde analiz etti
  • Geri döndürülebilir bilgisayarlar, geleneksel sistemlere kıyasla daha az ısı yayar, ancak tamamen ısısız çalışmaları mümkün değildir
  • Özellikle, hızları düştükçe ısı yayımının da azaldığı gösterildi
  • Yapay zeka işlemleri paralel işleme dayandığı için, her bir çip daha yavaş çalıştırılıp çip sayısı artırıldığında toplam enerji tüketiminin azalması beklenebilir
  • Düşük hız sayesinde soğutma maliyetleri de azalabilir; bu da çiplerin daha sık yerleştirilmesi, alan ve malzemeden tasarruf gibi ek faydalar sağlayabilir

Ticarileşme hareketi ve görünüm

  • Yatırımcıların ilgisi artmaya başlarken, Earley ve Frank Vaire Computing’i kurarak ticari reversible çipler geliştirmeye başladı
  • Kopenhag Üniversitesi’nden Mogensen ve diğerleri de reversible işlemcilerin gerçek iş ortamlarında kullanılmasına dair büyük beklenti taşıdıklarını belirtiyor
  • On yıllar boyunca teoride kalan geri döndürülebilir hesaplamanın, yapay zeka ve enerji verimliliği alanlarında somut bir yenilik getirip getirmeyeceği yakından izleniyor

Sonuç

  • Reversible computing, bilgi silindiğinde ısı oluşması şeklindeki bilgisayar fiziği sınırını aşabilecek pratik bir yöntem olarak, yapay zeka çağında büyük ölçekli enerji tasarrufu teknolojisi adayı olarak dikkat çekiyor
  • Çipleri yavaş ama paralel çalıştırma yaklaşımı, yapay zeka işlemlerinin yapısal özellikleriyle birleşerek gerçek ticari uygulamayı yakınlaştırıyor

İlgili okumalar

1 yorum

 
GN⁺ 2025-06-05
Hacker News yorumu

  • Stephen Baxter'ın Time romanında, çok uzak bir gelecekte tüm yıldızlar sönüp bütün kara delikler buharlaştıktan sonra insanlığın torunları maksimum entropili bir evrende kalıyor; serbest enerjinin tamamen tükendiği bu durumda, bu torunlar devasa bir simülasyon içinde tersinir işlemleri (enerji harcamadan çalışan) kullanarak aynı olayları tekrar tekrar yaşayarak varlığını sürdürüyor; hesaplama sonucunu uncompute edip tekrar compute ederek aynı olay döngüsünü yineliyorlar

  • Bir yazılım mühendisi açısından bunun anlaşılması zor kısımlarından söz ediliyor; bilgiyi silince elektronların kaybolduğu fikri ilk duyulduğunda kafa karıştırıyor, elektronlar her yerde kayboluyorsa ve çoğu kapı akımın olumsuzlanmasıyla çalışıyorsa bunların hepsi kötü mü diye soruluyor; bellekteki tüm değişiklikleri kaydetmenin neden ısı kaybını önlediği de sorgulanıyor; tüm belleği sürekli korumak zorundaysak bunun daha fazla enerji harcamayacağı düşünülüyor ve ayrıca hesaplamada neden ille de geçmişe geri dönmek gerektiğinin pratik değeri de sorgulanıyor

    • Teorik olarak bilgiyi unutmayan bir bilgisayar neredeyse hiç güç kullanmadan, dolayısıyla neredeyse hiç ısı üretmeden çalışabilir; bu tür bilgisayarlara tersinir (adiabatic) hesaplama deniyor ve tüm işlem kapılarının geri alınabilir olması gerekiyor; giriş durumunun ayarlanması ve çıktının kopyalanması gibi en baştaki ve en sondaki aşamalarda yine enerji gerekiyor; gerçek dünyada ise güç tüketiminin büyük kısmı mantık kapılarındaki bilgi "silinmesinden" değil, kablo direnci gibi yerlerdeki kayıplardan kaynaklanıyor; tam anlamıyla tersinir bir CPU yapmak için süperiletken kablolama/bileşenler gibi özel donanımlar gerekli; ayrıca hesaplamayı geri sarmak da kolay bir sorun değil, yoksa durumları silip enerji tüketimini kabullenmek gerekiyor; gerçek dünyadan bir örnek olarak kuantum bilgisayarlar verilebilir; kuantum mantık kapılarında tüm işlemler tersinirdir ve geriye doğru da yürütülebilir

    • Termodinamik açısından tersinir bir sürecin teorik olarak en yüksek verime sahip olduğu, bunun da entropiyle ilişkili olduğu belirtiliyor; bilgiyi silmek süreci tersinir olmaktan çıkarıyor, dolayısıyla ısı üretimi kaçınılmaz hale geliyor; ancak bunların hepsi son derece teorik ve gerçek bilgisayarlar bu sınırlara yaklaşmış bile değil; pratikte AND, OR, NAND gibi çoğu mantık elemanı, izole ele alındığında tersinmez işlem yapısına sahip

    • Sabit disk ve SSD gibi kalıcı depolama aygıtlarının veriyi korumak için hiç güç harcamadığı, dolayısıyla ısı da üretmediği belirtiliyor; veriyi silerken ya da üzerine yazarken ise kaçınılmaz olarak enerji gerekiyor ve bu süreçte ciddi ısı çıkıyor; ısı dağıtımı sorunu, daha ince çip ölçeklemesinin önündeki engellerden biri olarak gösteriliyor; bilgiyi silmeyen bir bilgisayar tasarlanabilirse ısı üretimi büyük ölçüde azalabilir ve bu da çip performansını artırıp güç tasarrufu ile ölçekleme için yeni olanaklar açabilir

  • Enerji tasarrufu motivasyonuna biraz kuşkuyla yaklaşılıyor; yine de tersinir derin öğrenme mimarileri kurmanın kendisi oldukça ilginç bir araştırma konusu; gerçekten de 2019–2021 dönemindeki invertibleworkshop serisi gibi etkinliklerde bu konu yoğun biçimde tartışıldı; bugün popüler olan diffusion modelleri de sürekli normalizing flow'un özel bir vakası olarak görülebileceği için teoride hesaplama tersinir sayılabilir; pratikte üretimde kullanılan distill edilmiş modellerin ise büyük ölçüde böyle olmadığı düşünülüyor; diferansiyel denklem simülasyonlarında da kayan nokta yuvarlama hataları yüzünden ters yönde hesaplama tam olarak uyuşmayabiliyor, ama yeterince özenli tasarlanırsa bit-to-bit düzeyinde tamamen tersinir simülasyonlar da mümkün

  • Hesaplamanın bir yönünün olmasının ne anlama geldiği üzerine düşünülüyor; bu nedensellik gibi görünse de aslında giriş ve çıkış meselesi gibi duruyor; sonuçta önce programı çalıştırmak gerekiyormuş gibi geliyor ve durumu saklamak da yalnızca backtracking'i kolaylaştırıyormuş hissi veriyor

    • Evet, ancak burada fiziksel seviyeden söz edildiği için ayrı donanım gerekiyor; bilgi silme (ör. AND işlemi) ısı ürettiğinden Fredkin kapısı gibi farklı mantık kapılarına ihtiyaç var

    • Aslında tüm hesaplamaların bir yönü vardır; bu konuya çok ilgi duyan biri olarak, örneğin f(x) -> y fonksiyonunun kendisinin zaten bir yön gösterdiği söyleniyor; tersinin de mümkün olması elbette iyi olurdu ama terslenemeyen durumlar hep vardır. Mesela f(x)=mx+b için ters fonksiyon kolayca bulunur (m=0 olmadığı sürece), ama f(x)=x^2 için f(x) değerinden x'i geri çıkarırken hem +x hem -x mümkün olduğundan tekil bir çözüm yoktur; burada görüntü kümesi ve ön-görüntü kümesi kavramları devreye girer; bunun P=NP problemiyle de yakından ilişkili olduğu söyleniyor; makine öğreniminde Normalizing Flow terslenebilir, diffusion model tersinir yapıdadır, GAN-Inversion gibi örnekler vardır ve ML topluluğunun bunun için "inverse problem" terimini kullanmasından kişisel olarak hoşnutsuzluk dile getiriliyor; bu kavram anlaşılırsa tahminlerin neden bir yönde doğru çalışıp ters yönde başarısız olduğu da anlaşılır; sonuçta bu mesele nedensel çıkarıma bağlanıyor; fizikte denklemleri dönüştürerek nedensellik haritası çıkarmak önemli hedeflerden biri ama entropi ve kuantum mekaniği gibi alanlarda kendine özgü zorluklar var; örneğin bir gaz molekülünün durumunu geriye doğru hesaplarsanız tek bir çözüm değil, birden çok olası durum elde edersiniz; türev ve integral örneğinde olduğu gibi differentiation tersinir değildir ve f(x)+C biçimindeki tüm fonksiyonlar aynı türev sonucunu verebilir, yani tek yönde bilgi kaybı olur; birden fazla zamandaki durum örneklenirse çözüm uzayı ciddi biçimde daralabilir

    • Sonuç olarak tersinmez işlemler (bilgi silme) en aza indirilirse tersinir hesaplama mümkün olabilir; örnek: 2 + 2 + 2 gibi tüm ara işlemler kaydedilirse süreç tersinirdir, ama yalnızca son sonuç bırakılıp geçmiş silinirse (6 kalır) tersinmez olur

  • Mike P Frank'i Twitter'da uzun süredir takip ettiğini ve reversible computing ile yapay zeka hakkında sık sık ilginç şeyler söylediğini belirten bir yorum var: MikePFrank Twitter

  • Bu teknolojinin, GPU veri merkezi tabanlı yazılım trendi yeniden geri döndüğünde işe yarayabileceği umuluyor; ancak Jevons Paradox'ta olduğu gibi (verimlilik arttığında talep de arttığı için gerçek enerji tasarrufu sağlanamaması) bunun da sonunda bir dönüm noktası yaratmama ihtimalinin yüksek olduğu düşünülüyor

  • Somut planın ne olduğu ve gerçekten reversible matmul gösteriminin yapılıp yapılmadığı merak ediliyor; çünkü o işlemde bile ara aşamalarda bilgi silmenin kaçınılmaz göründüğü ve bu yüzden pratikliğinin şüpheli olduğu söyleniyor

    • Tersinir matrisler için reversible matmul var, ancak ReLU gibi tersinmez operatörlerde bu mümkün değil; ayrıca haberde iddia edildiği gibi yalnızca işlemi tersten yapmakla neden daha az enerji harcanacağı da pek anlaşılmış değil

  • Haberin başlığını görür görmez, ilgili web sayfasının güncel bir bilgisayarda bile 12 saniyede açılmasının ironik geldiği söyleniyor; insanların genelde başkalarının sorunlarını umursamadığı, yapay zeka gibi yeni teknolojiler çıktığında çevre, bireysel istihdam, altyapı, telif ihlalleri ve toplumsal sistemler üzerindeki maliyetlerin dışsallaştırıldığı ifade ediliyor; verimlilik elde edilince insanların bunu başkalarına verilen zararı azaltmak için değil, kendileri için daha fazla kullanma eğiliminde olduğu yönünde buruk bir değerlendirme yapılıyor

  • Bir LLM'yi birkaç kez kullanmanın elektrik tüketiminin, elektrikli kettle ile su kaynatmaktan daha az olduğunun defalarca gösterildiği belirtiliyor