- YC, LLM’lerin özel dijital sistem tasarım maliyetlerini ciddi ölçüde düşürebileceğini düşünüyor; ancak asıl darboğaz kod üretiminden çok çip mimarisi tasarımı ve doğrulama tarafında
- LLM’ler zaman zaman çalışan Verilog üretebilse de performansları hâlâ insanlardan düşük ve modern hızlandırıcı çiplerin performansını belirleyen yeni mimarileri tasarlayamıyor
- Maliyet düşürme yaklaşımı geçmişteki yüksek seviyeli sentez (HLS) ile benzerlik taşıyor; HLS de üretkenliği artırdı, ancak sonuç kalitesi ve performansı RTL akışlarına göre daha düşük kaldığı için yüksek değerli çip pazarında ana akım olamadı
- LLM veya HLS’nin faydalı olduğu alanlar, RTL uzmanlığı sınırlı ekiplerin FPGA hızlandırması gibi dar alanlarla sınırlı; genomics veya CFD gibi pazarlarda GPU’lar ihtiyacın bir kısmını zaten karşılıyor ve ölçek de küçük
- Daha gerçekçi fırsat tasarım otomasyonundan çok çip doğrulama üretkenliğinde; ancak LLM’lerin karmaşık çip spesifikasyonlarını anlayıp bunlar üzerinde akıl yürütebilmesini sağlama sorunu hâlâ duruyor
YC önerisinin kaçırdığı çip tasarımı darboğazı
- YC, son Request for Startups çağrısında özel dijital sistem tasarımının özel tasarım, geliştirme ve test nedeniyle pahalı olduğunu ve büyük dil modelleri ile maliyetin büyük ölçüde düşürülebileceğini savunuyor
- Özel algoritmaları veya hesaplamaları optimize etmek, cryptocurrency mining, data compression, special-purpose encryption gibi işleri 5x~100x daha hızlı ve 10x~100x daha az enerjiyle gerçekleştirebilir
- Gary Tan ve YC, LLM’lerin insanlardan 100 kat daha iyi çipler tasarlayabileceğine inanıyorsa, çip tasarımının zorluğunu ve tasarımcı uzmanlığını ciddi biçimde hafife alıyor demektir
- LLM’ler bazen çalışan Verilog yazabiliyor, ancak performansları hâlâ insanlardan düşük ve modern hızlandırıcı çiplerde performans artışını sağlayan yeni çip mimarileri tasarlama yeteneğine sahip değiller
- Sonuçta LLM, çipleri çok daha iyi hâle getiren bir özne olmaktan çok, sıradan Verilog kodu üreten bir araca daha yakın
HLS’nin daha önce deneyimlediği maliyet düşürme yaklaşımının sınırları
- LLM tabanlı araçlarla çip tasarım maliyetini düşürerek donanım hızlandırmanın ekonomisini genişletme beklentisi, geçmişteki yüksek seviyeli sentez (HLS) girişimlerine benziyor
- HLS, 1998’de Forte Design Systems kurulurken ortaya çıktı; Cynthesizer, belirli zamanlama kısıtlarına dayanarak SystemC’yi otomatik olarak Verilog’a dönüştürüyordu
- HLS araçları C, C++, Scala gibi yüksek seviyeli dillerdeki kodu Verilog’a çeviriyor ve bunun ASIC ile FPGA’lar için lojik kapılara sentezlenmesini mümkün kılıyor
- Amaç, derin Verilog uzmanlığı olmayan ekiplerin de daha ucuz ve kolay biçimde silikon geliştirmesine yardımcı olmaktı
- Cynthesizer geniş çapta benimsenmedi; Forte, 2014’te Cadence tarafından satın alındıktan sonra Cadence’in HLS aracı Stratus’a entegre edildi
HLS’nin bugünkü değerlendirmesi ve yüksek performanslı çip pazarı
- Bugünkü AMD olan Xilinx, FPGA hızlandırmasını hedefleyerek HLS’yi aktif biçimde destekledi; Vitis sektörde iyi HLS araçlarından biri olarak görülüyor
- Lan Huang’ın HLS’nin güncel durumuna ilişkin araştırmasının girişi, HLS araçlarının sınırlarına işaret ediyor
- Tasarımcılar hâlâ donanım tasarımının birçok yönüne maruz kalıyor
- Geliştirme döngüsü hâlâ uzun
- Sonuç kalitesi (QoR) RTL akışlarının oldukça gerisinde kalıyor
- Diğer araştırmacıların incelemelerinde de benzer biçimde hayal kırıklığı yaratan sonuçlar görülüyor
- HLS tasarımcı üretkenliğini artırabilir, ancak ortaya çıkan tasarımın performansını düşürür
- AI hızlandırıcıları gibi rekabetin yoğun olduğu yüksek değerli çip pazarlarında performans temel rekabet ölçütü olduğundan, daha hızlı çipler yapmak için iyi RTL tasarımcıları işe almanın başlangıç maliyetine katlanmak daha mantıklı
Küçük hızlandırıcı pazarlarının ekonomi sorunu
- HLS, performans ve verimliliğin önemli olduğu yüksek değerli ve yüksek hacimli çiplerde yer edinemedi; düşük kaliteli Verilog üreten LLM’lerin de aynı sorunla karşılaşma olasılığı yüksek
- HLS’nin başarılı olduğu bazı örnekler, silikon uzmanlığı olmayan mühendislerin donanım hızlandırmadan yararlanmasını sağladığı alanlar
- genomics iş yüklerinin FPGA ile hızlandırılması
- CFD iş yüklerinin FPGA ile hızlandırılması
- Bu durumlarda HLS’nin değerli olmasının nedeni, ilgili donanım hızlandırıcıyı geliştiren mühendislerin baştan RTL düzeyinde optimize tasarım yapacak deneyime sahip olmaması
- Ancak genomics ve CFD için donanım hızlandırma pazarı görece küçük; GPU’lar talebin bir kısmını zaten karşılıyor ve pazar, AI çipleri veya şifreleme hızlandırıcılarının satış hacminin küçük bir bölümüne bile ulaşmıyor
- Pazar daha büyük olsaydı, optimize silikon geliştirmek için deneyimli donanım mühendisleri görevlendirmenin ekonomik karşılığı olurdu
Maliyet düşüşünün açabileceği alanlar ve sınırları
- LLM’ler silikon geliştirme maliyetini düşürerek, daha önce ekonomik olmayan genomics gibi uygulamalar için özel ASIC’leri mümkün kılabilir
- Ancak böyle ASIC’lerin daha önce ekonomik olmamasının nedeni, devasa bir pazarın bulunmamasıydı
- Donanım hızlandırmaya henüz ihtiyaç duymayan uygulamaların küçük pazarlar olma olasılığı yüksek; bu da onları startup’ların hedeflemesi için kötü bir seçenek yapar
- Büyüyen pazarlarda düşük kaliteli LLM tasarımlı çipler, startup’lar için ucuz bir ilk dayanak olabilir
- Pazar, tam bir çip tasarım ekibini haklı çıkaracak kadar büyüdüğünde ise yakın gelecekte insan tasarımı çiplerin performans açısından LLM tasarımı çipleri kolayca geride bırakacağı düşünülüyor
Çip tasarımında LLM’lerin gerçekçi rolü
- LLM tabanlı çip tasarımı ağırlıklı olarak yalnızca düşük değerli pazarları açacaksa, startup’ların ve mevcut EDA şirketlerinin LLM’den yararlanmak istemesinin nedeni başka yerde
- Verilog için LLM copilot’ları en iyi ihtimalle vasat; ancak basit kod parçaları yazdırmak mühendislerin zamanından tasarruf sağlayabilir ve şirket maliyetlerini azaltabilir
- Daha önemli alan çip doğrulama
- Silikon hataları genellikle çok maliyetli olduğundan, tasarımcı başına 2 doğrulama mühendisine ihtiyaç duyulur
- Günümüzde iyi doğrulama mühendisi bulmak zor
- LLM’ler doğrulamayı daha hızlı, kolay ve etkili hâle getirebilirse, hem yerleşik yarı iletken şirketleri hem de yarı iletken startup’ları için büyük değer oluşur
- Ancak LLM’lerin çip tasarım spesifikasyonlarını gerçekten anlayıp bunlar üzerinde akıl yürütmesini sağlamak küçük bir iş değil; Bronco veya Instachip gibi ince ayarlanmış LLM’leri çip doğrulamaya basitçe uygulayan yaklaşımlara şüpheyle yaklaşılıyor
Doğrulama için gereken model ve bundan yararlanacaklar
- Çip spesifikasyonları çoğu zaman karmaşık, eksik ve labirent gibidir
- Başarılı çip doğrulama için LLM’nin çipin beklenen iç durumunu anlaması gerekir
- Özünde dil modelinin çipe ilişkin bir biçimsel modele sahip olması gerekir; bu da matematik yerine yarı iletken doğrulamaya uygulanmış AlphaProof benzeri bir yapıya daha yakındır
- Normal Computing, yeni thermodynamic chip architectures ile birlikte bu yönde çalışmalar yürütüyor
- LLM’ler çip tasarımını daha ucuz hâle getirebilir; ancak başlıca faydalananlar doğrulama personelini azaltabilecek büyük yarı iletken şirketleri, daha küçük ekiplerle çalışabilecek geleneksel çip startup’ları ve LLM tabanlı araçlar satan EDA yazılım startup’ları olacaktır
- LLM’ler 100 kat daha iyi çipler yapamayacak veya donanım hızlandırmanın eksik kaldığı pazarları hedefleyen donanım startup’larını mümkün kılamayacak; ekonomisi buna uymuyor
1 yorum
Hacker News yorumları
EDA alanında LLM’lerin daha katetmesi gereken çok yol var
Birkaç ay önce LinkedIn’de biri, büyük LLM’lere sezgisel olarak farklı çizilmiş ama gerçekte paralel bağlı 3 kapasitörden oluşan bir devrenin toplam kapasitansını sordu; hiçbiri doğru yanıt veremedi. Yalnızca seri bağlı sanmakla kalmadılar, seri kapasitans hesabını da yanlış yaptılar ve birden fazla istem denenmesine rağmen doğru sonuca ulaşamadılar.
Ayrıca devre şemalarını anlamaya yardımcı olduğunu söyleyen bir yapay zeka aracı reklamı gördüm; gitar distortion pedalı gibi görünen bir devrede kapasitörün doğru akımı engellediğini doğru buldu ama bunun bir RC yüksek geçiren filtrenin bileşeni olduğunu kaçırdı. “Elektrik mühendisliğinde 4 yıl boyunca bunu bile öğretmediler” diyen anlatım komikti; gerçekten kapasitörün DC engellemesini ve RC filtreleri öğretmiyorlar mı diye düşündüm.
Bu alan için doğrudan özenle seçilmiş bir kaynak derlemesi oluşturup daha özel bir model eğitmek gerekiyor gibi. Genel amaçlı modeller çok fazla bocalıyor.
Üniversite eğitimi almış birçok kişi de belirli bir derste anlamlı bir şey öğrendiğine inanmıyor. O kişilerin o derste anlamlı bir şey öğrenip hatırlamamış olabileceğine rahatça inanırım ama bunun sorumluluğunun derste olup olmadığı çok daha şüpheli.
RC devreleri gerçekten zordu.
Fikir üretme ya da öğrenme gibi baştan yeniden üretilebilir olmayan aşamalarda LLM kullanmak sorun değil. Ama mühendislerin güvenilirlik, denetlenebilirlik ve anlaşılabilirlik gerektiren aşırı karmaşık sistemlerin merkezine yavaş, pahalı ve deterministik olmayan bir kara kutu koymak istemelerine hâlâ inanmakta zorlanıyorum.
Mümkün olan tüm istemleri engelleyebilen bir “LLM güvenlik duvarı” yapmanın imkânsız olduğuna dair bir kanıt ya da varsayım gördüğümü hatırlıyorum; ama yanlış hatırlıyor olabilirim.
[1] https://arxiv.org/abs/2410.07283
Geri kalanı doğru. Henüz denetlenebilir ya da anlaşılabilir değiller.
Derin “anlayış” ya da yeni icat gerektiren işler istatistiksel kelime tekrar oynatıcılarına bırakılacak işler değil. Herhangi bir alanda LLM’in gerçekten yeni bir şey icat ettiğine dair hâlâ tek bir örnek görmedim. O alanın uzmanlarının yeni olduğuna hükmedeceği düzeyden bahsediyorum.
LLM’lerin parladığı yer kalıp metin üretimi ve bu çok faydalı. Şimdiye kadar LLM’lerde özgün “düşünce” gibi görünen bir şey görmedim. İşte her gün yapay zeka kullanmama rağmen böyle.
ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
MatPilot’ın yeni malzeme keşfi: https://arxiv.org/abs/2411.08063
Bir de Nvidia Omniverse’ün dijital ikiz eğitimi var.
https://blog.google/technology/ai/google-ai-big-scientific-b...
Timsort ya da Dijkstra gibi isimlerin kullanılmasının bir nedeni var. Böyle şeyleri icat etmek nadir görülen insani yaratıcılık gerektirir. LLM mevcut algoritmalardan anlamlı ölçüde daha iyi yeni bir sıralama algoritması bile üretemiyorsa, çip tasarımı gibi çok daha zor işler daha da güç olacaktır.
YC, LLM ile çip tasarımı yapmanın “mantıklı olup olmadığıyla” ilgilenmiyor. Diğer VC’ler gibi teknik olarak yetersizler; tek ilgilendikleri satın alınma ihtimali olan abartı temelli startup’lar üretmek.
Gary Tan “daha iyi çipler yapmakla” ilgilenmiyor; berbat, abartı temelli bir şirketi birkaç milyar dolara satın alacak bir enayi bulmakla ilgileniyor. Eski usul yatırım bankacılığına tam uyuyor.
YC teknik olarak yetersiz ve dünyayı daha iyi hale getirmeye çalışan bir kuruluş değil. Söyledikleri her şey yalan; gerçek niyetlerini, yani para kazanmayı gizliyorlar.
İkincisi, gerçek gelir çekişi olmayan bir “abartı temelli şirketin” “birkaç milyara” satıldığı bir örnek verebilir misin?
Üçüncüsü, yatırım bankaları varlık satışlarına aracılık eder, varlıkları doğrudan satın almaz.
VC, startup ve bankacılığın temellerini bile bilmiyorsan bu konuşmadan çekilmen daha iyi olur.
Qualcomm DSP mimari ekibinde 1 yıl çalıştığım için bu alanda biraz deneyimim var, ama çok değil
Yazar, çip tasarımında birkaç önemli noktayı gözden kaçırıyor. Zamanın ve işin büyük kısmı yüksek performanslı Verilog yazmaya harcanmıyor. Tasarımcılar soruları yanıtlamaya, doküman yazmaya, kalıp kodları kopyalamaya, anlaşılması güç kılavuzları ve diyagramları okumaya muazzam zaman harcıyor. LLM’ler tüm bu işlerde şimdiden yardımcı olabiliyor
Mevcut halleriyle LLM’lerin bile tasarım ekibinin hızını en az 2 kat artırabileceğini düşünüyorum; daha iyi araçlarla, model zekâsı gelişmese bile 4 kat, hatta 10 kat bile mümkün olabilir. Kazancın büyük kısmı daha fazla deney çalıştırmaktan, daha fazla deneme yapmaktan, tasarım tercihleri hakkında daha hızlı geri bildirim almaktan ve dokümantasyon, iletişim, berbat dokümanları okuma için harcanan zamanı azaltmaktan gelecek
“Görünen o ki LLM’ler, kârlı pazarlardaki çiplerde bile epey değerli. Ancak tasarım işinin büyük kısmını yapmayacaklar. Verilog için bir LLM copilot’u, en iyi ihtimalle vasat. Ama LLM’e basit kod parçaları yazdırmak mühendislerin zamanını kazandırabilir ve sonuçta işverenin maliyetini de düşürebilir.”
Tasarımcının 2 kat hızlanması muhtemelen iyimser bir tahmin diye düşünüyorum, ama yanılıyor da olabilirim. Çip tasarımı deneyimimin çoğu, dokümantasyonu iyi küçük bir şirkette datapath mimarisi ve tasarımına odaklanarak geçti; bu yüzden ortalama bir mühendisin ne kadar kalıp kodla uğraştığını hafife alıyor olabilirim
Yine de LLM’lerin yakın zamanda yüksek performanslı datapath ya da ağ Verilog’u tasarlayacağını düşünmüyorum
Yazıdaki teknik argümanların çoğuna katılıyorum
Yine de YC’nin bu alanda inovasyon çağrısı yapmasının değeri olabilir. Yazı, LLM’leri çip tasarımına uygulamada kolay kazanımlar olmadığını doğru biçimde gösteriyor. Belirli bir uygulamanın pazarı çok küçükse LLM yardımcı olsa da bunun büyük anlamı olmaz; çip çok kritikse de en iyi mühendisleri kullanmak istersiniz. Yazılımdan farklı olarak, çip tasarımında uzun kuyruk etkisi büyük değil. Çip tape-out’u bir hacker’ın yapabileceği bir iş değil; FPGA ile uğraşmayı denemek bile PC’de hack yapmaktan daha yüksek bir giriş maliyetine sahip
Ama ileriye dönük bariz bir yol olsaydı, YC’nin yenilikçi yaklaşımlar istemesine de gerek kalmazdı
George Hotz’un AI çip planıyla çip şirketlerini altüst etmeye çalışmasında da görülmüştü https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... karmaşıklığı pek bilmiyor gibiydi. Yine de hakkını vermek gerekirse, hızla yazılım ve tiny-box üreticisi yönüne döndü
Bit düzeyinde, von Neumann olmayan genel amaçlı sistolik dizi, yalnızca AI hesaplamalarını değil neredeyse her şeyi ciddi ölçüde hızlandırabilir. Genel amaçlı hesaplama yapan bir çip anlamına geliyor
Çip tasarımının kendisi neredeyse önemsiz. Birkaç yıl deneyimi olan birinin birkaç gün içinde çıkarabileceğini düşünüyorum. Bir sonraki TinyTapeout’a tasarım göndermek istiyorum. Sabit gelirli olduğum için bir süre beklemem gerekti
Asıl sorun programlama. Neredeyse uçsuz bucaksız, keşfedilmemiş bir alan. Bu mimariyi hedeflemenin iyi bir yolu yok ve Verilog ya da başka bir donanım tanımlama dili kullanmak istemezsiniz
LLM patlaması konusunda, sonunda LLM’ler ile algoritmaları birleştirmenin yalnızca LLM kullanmaktan çok daha fazlasını yapabileceğini fark edeceğimizi düşünüyorum. Burada algoritma sözcüğü uygunsuz olabilir; kastım veritabanları, algoritmalar, başka modeller gibi yardımcı araçlar. Örneğin LLM’e tüm veri kümesini değil, yalnızca erişim API’sini öğretebilirsiniz
Çip tasarımı hakkında hiçbir şey bilmiyorum
Ama “X alanına AI uygulamak olmaz; çünkü X karmaşık ve mevcut LLM’ler insanlardan daha düşük performans gösteriyor” sözü bana her zaman şüpheli geliyor
VC’ler mevcut LLM tabanlı sistemlerle X’i iyileştirmeye değil, LLM tabanlı sistemlerin 100 kat daha iyi performans göstereceği geleceğe yatırım yapıyor
Yazı yazmak da karmaşıktı ve LLM’ler bir zamanlar insanlardan kötüydü, ama artık durum farklı. Dijital sanat ve müzik de aynı. suno.AI’ye bakın. Burada bir örüntü var
Uzman düzeyi Verilog’un çoğu kapalı kaynak olduğu için LLM’ler genellikle Verilog’da Python’a kıyasla çok daha kötü. Buna rağmen LLM’ler Python’da da epey kötü
Bunların bazıları çok keyfî görünebilir ve doğru yapmak derin bir anlayış gerektirir. Dil benzeri token’lar tek başına bunu çıkarımsayamaz. Fizik yasalarına ve deneyime dayalı kurallara dair temel bir kavrayış önemli
Eğer LLM bir kullanım senaryosunda bu alanda iyi hale gelirse, bundan fayda sağlayacak olan küçük bir startup değil, mevcut çip tasarımı şirketleri olur
Çip tasarımı pek benzer görünmüyor. Daha çok özel olarak eğitilmiş araçların yardımcı olduğu durumlara benziyor. Genel amaçlı LLM’lerin belirli görevlerde gösterdiği yetenek şaşırtıcı, ama geniş metin derlemleriyle eğitilmiş bir modelin özel araçları geride bırakmasının çok zor göründüğü işler de var. İlk paragrafa dönersek, metinle eğitilmiş bir modelin satrançta Stockfish’i yeneceğini düşünmek gerçekten şüpheli değil mi?
YC, çoğu yatırımcı gibi yapay zeka konusunda her yere saçıp dua etme halinde
Benim okuduğum kadarıyla, belirli bir algoritmanın donanım hızlandırması, genel amaçlı bir işlemcide yazılımla çalışan aynı algoritmadan 100 kat daha hızlı ve verimli olabilir; otomatik çip tasarımı da zor bir problem alanı olduğunu kanıtladığına göre, yapay zekayı uygulayıp çeşitli işler için özel donanım hızlandırıcılarının giriş bariyerini düşürmek istiyorlar gibi
Yapay zekanın çip tasarımını insanlardan 100 kat daha iyi yaptığı anlamına gelmiyor bence; onların bahsettiği mühendislik ödünleşimi bu kısım diye görüyorum. Ancak ifadeler acı verecek kadar tuhaf ve satış kokan bir dille yazıldığı için kafa karıştırıcı olmasını da kimse yadırgayamaz
Ayrıca özgün yazı, hedef uygulamaların pazarlarının çok küçük olduğu için peşinden gitmeye değmediğini söyleyerek asıl noktayı kaçırmış gibi
Tek tek bakıldığında her biri bir şirketin piyasa değerini oluşturacak kadar büyük değil; ama varsayımsal bir yapay zeka çip startup'ı bu küçük pazarların birkaçını aynı anda hedefleyebilir. Bu bir uzun kuyruk stratejisi olmaz mı?
Güzel yazı, ancak YC'nin temel ilkesi, teknolojinin sürekli üstel olarak geliştiğini varsaymak ve bunun neleri mümkün kılacağını düşünmek
Önerileri her zaman startup'ların yapay zeka versiyonu Moore Yasası gibi bir dalgaya bineceğini varsayar; donanım sentezi de apaçık bir kullanım senaryosu. Yani 2 yıl içinde başarılı bir yapay zeka donanım sentezi şirketi çıkacağını varsayıp o eğrinin önüne geçmeye çalışıyorlar
Muhtemelen yanıldıklarına katılıyorum, ama bu yazı yapay zeka kabiliyetlerinin üstel gelişimine bahis oynamanın neden yanlış olduğunu gerçekte açıklamıyor