LLM’ler için Stable Diffusion anı geliyor

xguru · 2023-03-13T11:40:39+09:00

Ağustos 2022’de Stable Diffusion(SD)’nin yayımlanması önemli bir andı ve bunun sonucunda patlayıcı yenilik dalgası bugün hâlâ sürüyor Son dönemde ControlNet, işlevsellik açısından MidJourney ve DALL-E’yi geride bıraktı SD’nin yayımlanması üretken yapay zekaya yönelik yeni bir ilgiyi tetikledi ve Kasım’daki ChatGPT çıkışıyla bu dalga daha da büyüdü Stable Diffusion anı, büyük dil modelleri(LLM) için de geliyor Artık GPT-3 seviyesindeki bir dil modelini kişisel bir dizüstü bilgisayarda çalıştırmak mümkün LLaMA GPT-3 gibi LLM’leri kurmak ve işletmek, görüntü üretim modellerine kıyasla çok daha maliyetlidir En iyi modeller OpenAI gibi şirketler tarafından geliştirildi; API üzerinden erişilebiliyorlar ama doğrudan çalıştırılabilecek şekilde yayımlanmıyorlar Modelin kendisi de çok büyük olduğundan, GPT-3 modelini elde etseniz bile ticari donanımda çalıştırmanız mümkün değil (birim başına 8000 doların üzerinde olan birden fazla A100 sınıfı GPU gerekiyor) Son birkaç yılda birçok dil modeli yayımlandı, ancak çoğu doğrudan çalıştırmaya uygun değil Facebook’un LLaMA modeli ve LLama.cpp sayesinde her şey değişti LLaMA tamamen açık değil. Modele erişmek için bazı katı koşulları kabul etmeniz gerekiyor Birisi torrent ile indirilebilen gayriresmî bir PR yayımladı ve böylece indirmek mümkün hâle geldi llama.cpp LLaMA kişisel bir dizüstü bilgisayarda zor çalışıyorsa, pek de iyi sayılmaz Bulgaristan’dan Georgi Gerganov daha önce OpenAI’nin konuşma tanıma modeli Whisper’ı C++’a taşıyan Whisper.cpp’yi geliştirmişti Aynı işi LLaMA için de yaptı Hedefi, 4-bit nicemleme (model boyutunu küçültüp yavaş donanımda da çalışmasını sağlayan teknik) kullanarak bunu MacBook’ta da çalıştırmaktı 7B modeli 4GB’a, 13B modeli ise 8GB’ın altına indirerek model boyutunu ciddi biçimde küçülttü MacBook’ta çok iyi çalışıyor Facebook’un GPT-3 ile rekabet edebildiğini iddia ettiği 13B model artık bir dizüstü bilgisayarda çalıştırılabiliyor Dizüstü bilgisayarda üretilen metni görünce, dünyanın yeniden değiştiği hissine kapıldım GPT-3 seviyesindeki bir modeli sahip olduğum donanımda çalıştırmak için yıllarca beklemem gerekeceğini düşünüyordum ama yanılmışım. "Gelecek zaten burada" Bu en kötü senaryo mu? Mesele bilim kurgu benzeri senaryolar için endişelenmek değil. Dizüstü bilgisayarda çalışan bir LLM, "dünyayı yöneten bir AGI" olmayacak Ancak bu teknolojinin kötü amaçlarla kullanılabileceği pek çok yol var spam üretimi, otomatikleştirilmiş aşk dolandırıcılığı, trollük ve nefret söylemi, sahte haberler ve yanlış bilgi, otomatik radikalleştirme Bu andan önce, OpenAI gibi şirketlerin insanların bu modellerle nasıl etkileşime girdiğini kontrol etmesi gibi ince bir savunma hattı vardı Ama artık herkesin kendi donanımında çalıştırabilmesiyle bu tür kontrol mekanizmaları ortadan kalkıyor Bunu iyi amaçlarla nasıl kullanmalıyız? Bunun toplum üzerinde büyük bir etkisi olacağını düşünüyorum. Benim önceliğim bu etkiyi olumlu bir yöne yönlendirmek Üretken yapay zekanın zararlı ya da zaman kaybı olduğu yönündeki alaycı bakış açısına kapılmak kolay Ben kişisel olarak her gün üretken yapay zeka araçları kullanıyorum. Somut verimlilik artışı sağladılar ve daha da önemlisi, yürüttüğüm projelere dair hedeflerimi büyüttüler Geçen hafta yeni bir proje için gereken AppleScript’i ChatGPT kullanarak bir saat içinde öğrendim Bu teknolojinin olumlu uygulama yollarını keşfetmeye ve paylaşmaya devam edeceğim Sonraki izlenecek şeyler Facebook lisans koşullarını gevşetmediği sürece, LLaMA bu tür modellerin tüketici donanımında çalışabildiğini gösteren bir PoC olarak kalabilir Artık insanlar arasında, kendi cihazlarında ChatGPT benzeri işlevler sunan tamamen açık bir dil modelini yayımlamak için bir yarış başladı

(simonwillison.net)

37 puan yazan xguru 2023-03-13 | 3 yorum | WhatsApp'ta paylaş

Ağustos 2022’de Stable Diffusion(SD)’nin yayımlanması önemli bir andı ve bunun sonucunda patlayıcı yenilik dalgası bugün hâlâ sürüyor
Son dönemde ControlNet, işlevsellik açısından MidJourney ve DALL-E’yi geride bıraktı
SD’nin yayımlanması üretken yapay zekaya yönelik yeni bir ilgiyi tetikledi ve Kasım’daki ChatGPT çıkışıyla bu dalga daha da büyüdü
Stable Diffusion anı, büyük dil modelleri(LLM) için de geliyor
Artık GPT-3 seviyesindeki bir dil modelini kişisel bir dizüstü bilgisayarda çalıştırmak mümkün

LLaMA

GPT-3 gibi LLM’leri kurmak ve işletmek, görüntü üretim modellerine kıyasla çok daha maliyetlidir
En iyi modeller OpenAI gibi şirketler tarafından geliştirildi; API üzerinden erişilebiliyorlar ama doğrudan çalıştırılabilecek şekilde yayımlanmıyorlar
Modelin kendisi de çok büyük olduğundan, GPT-3 modelini elde etseniz bile ticari donanımda çalıştırmanız mümkün değil (birim başına 8000 doların üzerinde olan birden fazla A100 sınıfı GPU gerekiyor)
Son birkaç yılda birçok dil modeli yayımlandı, ancak çoğu doğrudan çalıştırmaya uygun değil
Facebook’un LLaMA modeli ve LLama.cpp sayesinde her şey değişti
LLaMA tamamen açık değil. Modele erişmek için bazı katı koşulları kabul etmeniz gerekiyor
Birisi torrent ile indirilebilen gayriresmî bir PR yayımladı ve böylece indirmek mümkün hâle geldi

llama.cpp

LLaMA kişisel bir dizüstü bilgisayarda zor çalışıyorsa, pek de iyi sayılmaz
Bulgaristan’dan Georgi Gerganov daha önce OpenAI’nin konuşma tanıma modeli Whisper’ı C++’a taşıyan Whisper.cpp’yi geliştirmişti
Aynı işi LLaMA için de yaptı
Hedefi, 4-bit nicemleme (model boyutunu küçültüp yavaş donanımda da çalışmasını sağlayan teknik) kullanarak bunu MacBook’ta da çalıştırmaktı
7B modeli 4GB’a, 13B modeli ise 8GB’ın altına indirerek model boyutunu ciddi biçimde küçülttü
MacBook’ta çok iyi çalışıyor
Facebook’un GPT-3 ile rekabet edebildiğini iddia ettiği 13B model artık bir dizüstü bilgisayarda çalıştırılabiliyor
Dizüstü bilgisayarda üretilen metni görünce, dünyanın yeniden değiştiği hissine kapıldım
GPT-3 seviyesindeki bir modeli sahip olduğum donanımda çalıştırmak için yıllarca beklemem gerekeceğini düşünüyordum ama yanılmışım. "Gelecek zaten burada"

Bu en kötü senaryo mu?

Mesele bilim kurgu benzeri senaryolar için endişelenmek değil. Dizüstü bilgisayarda çalışan bir LLM, "dünyayı yöneten bir AGI" olmayacak
Ancak bu teknolojinin kötü amaçlarla kullanılabileceği pek çok yol var
- spam üretimi, otomatikleştirilmiş aşk dolandırıcılığı, trollük ve nefret söylemi, sahte haberler ve yanlış bilgi, otomatik radikalleştirme
Bu andan önce, OpenAI gibi şirketlerin insanların bu modellerle nasıl etkileşime girdiğini kontrol etmesi gibi ince bir savunma hattı vardı
Ama artık herkesin kendi donanımında çalıştırabilmesiyle bu tür kontrol mekanizmaları ortadan kalkıyor

Bunu iyi amaçlarla nasıl kullanmalıyız?

Bunun toplum üzerinde büyük bir etkisi olacağını düşünüyorum. Benim önceliğim bu etkiyi olumlu bir yöne yönlendirmek
Üretken yapay zekanın zararlı ya da zaman kaybı olduğu yönündeki alaycı bakış açısına kapılmak kolay
Ben kişisel olarak her gün üretken yapay zeka araçları kullanıyorum. Somut verimlilik artışı sağladılar ve daha da önemlisi, yürüttüğüm projelere dair hedeflerimi büyüttüler
Geçen hafta yeni bir proje için gereken AppleScript’i ChatGPT kullanarak bir saat içinde öğrendim
Bu teknolojinin olumlu uygulama yollarını keşfetmeye ve paylaşmaya devam edeceğim

Sonraki izlenecek şeyler

Facebook lisans koşullarını gevşetmediği sürece, LLaMA bu tür modellerin tüketici donanımında çalışabildiğini gösteren bir PoC olarak kalabilir
Artık insanlar arasında, kendi cihazlarında ChatGPT benzeri işlevler sunan tamamen açık bir dil modelini yayımlamak için bir yarış başladı

3 yorum

ffdd270 2023-03-13

MacBook'ta çalıştığından bahsediliyor; MacBook'ta LLAMA kurulum yöntemi için şuraya bakabilirsiniz: https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

(Bunu başka biri haber olarak paylaşsa da güzel olurdu 'm' b)

dkmin 2023-03-15

Paylaşım için teşekkürler

xguru 2023-03-13

Bu, GeekNews'in sık okurlarının tanıdığı Simon Willison'ın yazısı.
Onun iddia ettiği gibi, bu tür dil modellerini kişisel cihazlarda çalıştırmak mümkün hale gelirse, "projeye dair iddialar/uygulama kapsamı genişler" diye düşünüyorum.
Ben de GeekNews'e ChatGPT ile ilgili özellikler eklemeyi denemeye kalksam, API maliyeti yüzünden bir kez daha düşünmek zorunda kalıyorum.
Oldukça işe yarar seviyede LLM'leri kişisel cihazlarda çalıştırabilir hale geldiğimize göre, çok daha çeşitli uygulama alanlarının ortaya çıkmasını bekliyorum.

Bugün yayımlanan GeekNews Weekly'de de yazdım ama,
teknoloji trendlerinin konuşulmaya devam etmesi için, o teknolojiye dayalı gerçek işlerin kullanıcılar için ne kadar faydalı olacak düzeyde geliştirilip piyasaya sürüldüğü önemli.