- Yapay zeka başına tek bir sorgunun enerji kullanımı önemsiz görünebilir, ancak dünya genelinde milyarlarca isteğin birikmesiyle enerji şebekesi üzerinde gerçek bir etki yaratacak düzeye ulaşıyor
- Büyük yapay zeka şirketleri onlarca trilyon won ölçeğinde veri merkezi ve elektrik altyapısı yatırımlarını hızlandırıyor; bazıları nükleer santral inşasını bile planlıyor
- Yapay zeka sorgularının enerji tüketimi modelin boyutuna ve karmaşıklığına göre yüzlerce kat farklılık gösterebiliyor ve kapalı modeller söz konusu olduğunda kesin tüketim miktarı neredeyse hiç bilinmiyor
- Yapay zekanın kullandığı elektriğin büyük bölümü fosil yakıt tabanlı elektrik şebekelerine dayanıyor ve bu nedenle karbon emisyon yoğunluğu ortalamadan %48 daha yüksek
- Gelecekte yapay zeka kullanımının sürekli genişlemesi halinde, 2028'de ABD veri merkezi elektriğinin yarısından fazlasının yapay zekâ için kullanılacağı öngörülüyor
Making the Model: AI model eğitiminin başlangıç noktası
- Yapay zeka modelleri aylar boyunca veri merkezlerinde onlarca gigavat-saat elektrik tüketilerek eğitiliyor
- Yalnızca GPT-4'ün eğitimi için 50 milyon doların üzerinde maliyet ve 50GWh elektrik gerekti; bu, San Francisco'nun tamamını 3 gün boyunca çalıştırabilecek bir seviye
- Çıkarım (inference), toplam yapay zeka elektrik kullanımının %80~90'ını oluşturuyor ve GPU merkezli veri merkezlerinin rolü kritik
- NVIDIA'nın H100 GPU'su, yapay zeka çıkarım işlerinin merkezinde yer alıyor ve binlercesinin birbirine bağlandığı kümeler halinde çalışıyor
A Query: Tek bir sorunun tükettiği enerji
- Aynı yapay zeka modeli olsa bile soru türüne, konuma ve günün saatine göre enerji tüketimi ile karbon emisyonu büyük ölçüde değişebiliyor
- Llama 3.1 8B modeli ortalama 114 joule (J) tüketirken, Llama 3.1 405B 6.706 joule tüketiyor
- Stable Diffusion 3 Medium ile tek bir görüntü üretildiğinde 2.282 joule harcanıyor; yüksek çözünürlüklü görüntüler veya videolarda ise yüz binlerce ile milyonlarca joule tüketilebiliyor
- Video üretimi, görüntüye göre 700 kattan fazla enerji kullanıyor; gelecekte yapay zeka video üretimi yaygınlaşırsa elektrik tüketiminde sert artış yaşanabilir
Fuel and Emissions: Yapay zekanın kullandığı elektriğin kaynağı
- Yapay zeka veri merkezlerini güneş ve rüzgâr gibi kesintili enerji kaynaklarıyla işletmek zor olduğundan, ortalamada daha yüksek karbon yoğunluklu elektrik kullanılıyor
- Örnek: 2024'te ABD genelindeki elektriğin %60'ı fosil yakıtlardan, %20'si nükleerden, kalan %20'si yenilenebilir enerjiden geldi
- Kaliforniya ile Batı Virginia örneğinde olduğu gibi bölgeye göre karbon emisyonunda neredeyse 2 kata varan fark bulunuyor
- Meta, Google ve Amazon gibi şirketler gelecekte nükleer santral kapasitesini artırmak için ortak yatırım açıkladı; ancak tamamlanması onlarca yıl sürecek
AI around the corner: Yaklaşan yapay zeka kitleselleşmesi ve enerji sıçraması
- ChatGPT şu anda dünya genelinde en çok ziyaret edilen 5. site ve günde 1 milyardan fazla sorgu alıyor
- Tahminlere göre bir GPT sorgusu başına 1.080 joule enerji harcanıyor; yıllık toplam 1.090GWh, yani ABD'de 10.400 haneyi 1 yıl boyunca çalıştıracak elektrik
- Video ve görüntü de dahil edildiğinde yıllık 35GWh'ten fazla ek tüketim oluşuyor; bu miktarın AI agent'lar, ses modu ve video tanıma tabanlı yapay zeka yaygınlaştıkça daha da artması bekleniyor
- Yapay zekanın işleri kendi başına yaptığı ve kullanıcı verileriyle kişiselleştirildiği gelecek, enerji talebini tekil sorgu bazlı tahminlerle açıklamayı imkânsız kılıyor
The Future Ahead: 2028'e kadar enerji talebi tahmini
- ABD'deki yapay zeka amaçlı veri merkezleri 2024'te 76TWh tüketti; bu, 7,2 milyon hanelik ölçeğe denk geliyor
- 2028'e kadar 165~326TWh tüketim bekleniyor; bu, ABD'deki tüm hanelerin elektrik kullanımının %22'sine eşdeğer
- Bu miktar, 300 milyar mil sürüşün karbon emisyonuna eşit ve veri merkezlerinin elektrik kullanım payının %4,4'ten %12'ye çıkarak üç katına yaklaşacağı öngörülüyor
- SoftBank, OpenAI ve diğerleri 500 trilyon won ölçeğinde veri merkezi ve elektrik altyapısı yatırımı yapıyor; dünyanın dört bir yanında futbol sahası büyüklüğünde altyapılar inşa ediliyor
Transparency Gap: Verilerin açıklanmaması ve yurttaşa binen yük
- Yapay zeka şirketlerinin çoğu model çıkarımı sırasında enerji tüketimini açıklamıyor; bu da kamunun öngörü yapmasını zorlaştırıyor
- ABD devlet enerji kurumu (EIA) da yapay zekayı ayrı bir sanayi kolu olarak ele almadığı için istatistikler yetersiz
- Virginia eyaleti raporuna göre veri merkezi enerji maliyetleri nedeniyle sıradan hanelerin aylık elektrik faturasının 37,5 dolar artma ihtimali var
- Yapay zeka altyapısının maliyetini vatandaşlar üstlenmek zorunda kalabilir ve bunun için toplumsal tartışma gerekiyor
2 yorum
Bir anda, kendi TPU'larında çalışan Google Gemini'nin ne kadar etkileyici olduğunu bir kez daha hissediyorum...
Hacker News görüşleri
http://archive.today/mnHb8 bağlantısı paylaşıldı
Meta, Amazon, Google gibi teknoloji şirketlerinin fosil yakıt sorununa yanıt olarak nükleer enerjiden yararlanma hedeflerini açıkladığı haberine değiniliyor; üç şirketin 2025'e kadar küresel nükleer enerji kapasitesini üç katına çıkarma taahhüdüne katıldığı anlatılıyor, ancak bu tarihin dünkü makale açısından biraz tuhaf göründüğü, gerçekte hedefin 2050 olduğu belirtiliyor. Makalede bu tür garip kısımlar ve "uzman" kaynaklarının aşırı kullanımı olsa da, en azından birilerinin bu meseleyi sayısallaştırmaya çalışmış olması olumlu değerlendiriliyor.
Bu makaledeki en garip noktanın, büyük teknoloji şirketlerinin bu tür verileri açıklamayı reddetmesi olduğu söyleniyor; uzmanların tahmin yürütmesine bırakılmaması, tüm dünyayı etkileyen kararlar için toplumun bilgiye erişmesi gerektiği vurgulanıyor.
Bu kadar garip kısımların basit bir yazım hatası mı olduğu, yoksa gerçekten tuhaf mı görüldüğü merak ediliyor.
Eskiden Usenet'e gönderi atarken her zaman şu tür bir uyarı eşlik ederdi: "Bu program haberleri dünya çapında binlerce bilgisayara gönderir. Yazınız ağa yüzlerce, binlerce dolarlık maliyet yükler. Bunu gerçekten göndermek istediğinizden emin olun." Şimdi LLM istemcilerinde de böyle bir uyarı gerekip gerekmediği hayal ediliyor; her isteğin ne kadar bekleme kaynaklı karbon üreteceğini hesaplayan bir biçim öneriliyor.
Bazı ülkelerde "rolling coal" (araçların aşırı egzoz dumanı salması) kültürü bulunduğu, böyle bir uyarının ters etki yaratabileceği endişesi dile getiriliyor.
Alıntılanan uyarının aslında ters bir anlam ilettiği, sonuçta bu tür uyarıların ortadan kalkma nedeninin maliyetlerin çok düşmesi olduğu, benzer bir durumun AI için de geçerli olabileceği söyleniyor.
E-posta yazdırmadan önce çevresel etkiyi düşünmeyi söyleyen devasa altbilgi mesajları hatırlatılıyor; gerçekte yazdırırken gereksiz yere bir sayfa daha tükettiği deneyimi paylaşılıyor.
Bu uyarı mesajının ilginç olduğu, asıl büyük maliyeti mesajın kendisinin değil onu aktaran bilgisayarların oluşturduğu, iletilen mesaj miktarı arttıkça birim başına maliyetin düştüğü belirtiliyor.
Her şeye böyle bir uyarı eklenmedikçe yalnızca AI teknolojisinin enerji kullanımı nedeniyle eleştirilmesinin adil olmadığı vurgulanıyor.
Asıl meselenin emisyon maliyetini elektrik fiyatına içselleştirmek olduğu düşünülüyor; tek tek kullanıcıların kaygılarının dikkat dağıttığı, ulaşım, ısınma ve sanayinin tümü elektriklendikçe talebin zaten hızla artacağı, bu yüzden elektriğin hızlı biçimde karbonsuzlaştırılması gerektiği savunuluyor.
Buna katılmakla birlikte, tüketimi azaltmanın veya verimliliği artırmanın da enerji dönüşümünün önemli bir parçası olduğu; kullanılmayan enerjinin üretilmesine de gerek kalmayacağı belirtiliyor.
Bu maliyetleri içselleştirmek için önce toplumun emisyon maliyetinin "ne olduğunda" uzlaşması gerektiği, pratikte elektriği çok bol ve çok verimli hale getirmenin daha kolay bir yol olduğu, toplumun kendisini iyileştirmenin ise kolay olmadığı söyleniyor.
"DeepSeek 600 milyar parametreli ama gerçekte mixture-of-experts yapısında, bu yüzden token başına yalnızca yaklaşık %12,5'i kullanılıyor (yanlış hatırlamıyorsam)" deniyor; bunun açıkça belirtilmemesinin metnin güvenilirliğini düşürdüğü savunuluyor. Metin enerjisi kullanımı konusunda en güvenilir bulunan analizlerden biri olarak epoch.ai bağlantısı paylaşılıyor; sıradan soru-cevapların ortalama 0.3Wh, en fazla maksimum bağlamda ise 40Wh'a kadar tükettiği, çoğu kullanımın bunun çok altında kaldığı, bu nedenle metin kullanımının enerji maliyetinin sağladığı faydaya kıyasla küçük olduğu söyleniyor. Buna karşılık video üretiminin enerji tüketiminin çok yüksek olduğu, LLM tabanlı kod üretiminde de bu tür nicel analizlerin merak edildiği belirtiliyor.
Bu başlık altında muazzam enerji tüketimini meşrulaştıran yorumların sayısı ile, şu anda bu teknolojinin son derece gereksiz şeyler için, yani metin/görsel spam için kullanılıyor oluşu arasındaki durumun, kripto dönemindeki enerji tartışmalarıyla şaşırtıcı bir tezat oluşturduğu söyleniyor. Büyük teknoloji şirketlerinin büyük işverenler olması nedeniyle buna göz yumuluyor gibi bir hava olduğu ifade ediliyor.
AI'nın en azından teorik bir faydası olduğu, oysa kriptonun tasarım gereği israfçı olduğu; ancak gerçekte AI'nın maliyet-fayda yapısının da hâlâ belirsiz olduğu söyleniyor.
Bitcoin'in fiyatı yükseldikçe enerji tüketiminin de arttığı, buna karşılık LLM çıkarım maliyetinin hızla düşme eğiliminde olduğu belirtiliyor (ilgili bağlantı); Apple ve Google gibi şirketlerin de kendi veri merkezleriyle ve cihaz üzerinde AI ile ilerlemeye çalıştığı, aynı anda daha maliyetli algoritmaların da geliştirilmeye devam ettiği, çoğu kullanımın dizüstü ve telefon gibi pil sınırlı cihazlarda bile çalışabilecek kadar ucuzlayabileceği ifade ediliyor.
Kripto patlamasıyla olan bağlantı noktasının ilginç olduğu, bu tür akımların bir kez başladı mı insan doğası gereği kolay kolay tersine çevrilemediği söyleniyor.
Eskiden HN'deki kripto havasının bugünkü kadar olumsuz olmadığının hatırlandığı belirtiliyor.
Kripto enerji kullanımının, özellikle Bitcoin PoW'un, gerçekten israf olduğuna dair şaka yapılıyor.
Bu sayfanın ne yaptığı belirsiz JavaScript yüzünden hiçbir şey yapmazken CPU'nun sonuna kadar kullanıldığı bir durumda bu yazıyı okumanın ironik olduğu söyleniyor.
Tarayıcının her sayfanın kullanabildiği CPU miktarını sıkı biçimde sınırlaması ve ek CPU kaynağı gerektiğinde kamera benzeri açık izin istemesi gerektiği öneriliyor.
Öğle yemeğinden önce bu yazıyı okurken benzer bir düşünceye kapılındığı, tabdouse ile ilgili bir blog yazısının paylaşıldığı, cgroups gibi yöntemlerin de numaralar sunduğu ama tam tatmin edici olmadığı belirtiliyor.
Şu anda AI'nın, bilgisayarların ilk "mainframe" dönemine benzediği söyleniyor; bir odayı dolduran dev makineler muazzam elektrik tüketirken bugünkü akıllı telefondan bile düşük performans sunuyordu. Bundan sonra model verimliliğinin ve donanıma özgü uzmanlaşmanın hızla ilerleyeceği, AI'ya özel çipler sayesinde yerel çıkarımın çoğu işte enerji kullanımını büyük ölçüde azaltacağı, böylece büyük hesaplama kaynaklarının karmaşık bilimsel problemlere ayrılabileceği düşünülüyor.
CPU gelişim eğrisinin, yani geometrik büyümenin, sıkça örnek gösterildiği ama bunun gerçekte başka alanlarda pek işlemediği; yarı iletkenlerin çok özel ve şanslı koşullar sayesinde büyüyebildiği, batarya, füzyon, kuantum hesaplama gibi alanlarda durumun böyle olmadığı söyleniyor. Yarı iletkenlerde zaten kolay kazanımların büyük ölçüde tüketildiği, bu yüzden AI verimliliğinin de öyle bir anda sıçramasının olası görünmediği; önümüzdeki on yıllarda yavaş ve kademeli ilerlemenin daha gerçekçi olduğu, milyarlarca parametre ve trilyonlarca işlem ihtiyacını bir anda ortadan kaldıracak bir yol bulunmadığı, belki fotonik hesaplamanın bir olasılık olabileceği ifade ediliyor.
"AI'ya özel çip" fikrinin kişisel olarak pek anlaşılır gelmediği; LLM'lerin zaten baştan GPU'lara uygun olacak şekilde tasarlandığı, yani donanımın zaten mevcut olduğu söyleniyor. Sorunun GPU'ların giderek daha büyük, daha sıcak ve daha çok enerji tüketir hale gelmesi olduğu; GPU'dan daha iyi bir şey olsaydı çoktan oraya geçilmiş olacağı, CPU'ya dönerek verim alınabilecek bir yapı olsaydı bunun da zaten gerçekleşmiş olacağı savunuluyor.
Gerçekte eski dizüstü bilgisayarında bile (7 yıllık) küçük Gemma modellerini oldukça rahat çalıştırabildiğine şaşırıldığını, yalnızca bazı işleri LLM'e gönderip geri kalanını klasik programlarla yaparak verimliliğin artırılabileceğinin hayal edildiği belirtiliyor.
AI enerji kullanımı hakkında şimdiye kadar görülen en iyi yazılardan biri olduğu, büyük teknoloji şirketlerinin toplumsal karar alma için gerekli verileri vermekte isteksiz oluşunun özellikle dikkat çektiği söyleniyor; bu konuyu derinlemesine işleyen Data Vampires podcast serisi öneriliyor.
2017'de AI benimsenmeye başladıktan sonra veri merkezlerinin enerji yoğun donanımlarla kurulup 2023'e kadar elektrik kullanımını ikiye katladığına dair makale kısmının ilginç olduğu belirtiliyor. Ancak üretken AI'nın gerçek yükselişinin 2022 Kasım'ında ChatGPT ile başladığı, dolayısıyla 2017-2022 arasındaki beş yıllık AI büyümesinin çoğunun üretken AI olmayabileceği söyleniyor.
2017'nin AlphaGo'nun Lee Sedol'u yenmesinden sonraki yıl ve "attention is all you need" makalesinin yayımlandığı yıl olduğu, dolayısıyla sektörde işaretlerin aslında o dönemde zaten görüldüğü; OpenAI'nın sadece 2022'de ürün-pazar uyumunu yakaladığı, sektörün o zamana kadar boş boş dolaşmadığı belirtiliyor.
O dönemden itibaren makine öğreniminde GPU kullanımının ciddi biçimde hızlandığı söyleniyor.
Meta'nın zaten arama, öneri sistemleri, grafik ve benzeri kendi hizmetlerinin tüm alanlarında AI'yı yoğun biçimde kullandığı; bu sayede LLM çılgınlığından önce bile on binlerce hatta yüz binlerce GPU'yu hazır bulundurduğu ve bu nedenle Llama gibi büyük projeleri yürütebilmek için avantajlı bir konumda olduğu söyleniyor.