- Yerel yapay zeka ekosisteminin sürdürülebilir gelişimi için
llama.cpp'nin kurucu ekibi olan ggml.ai, Hugging Face'e katılıyor
ggml ve llama.cpp, açık kaynak ve topluluk odaklı olarak işletilmeye devam edecek; ekip bunları tam zamanlı olarak koruyup destekleyecek- Hugging Face, projelerin uzun vadeli sürdürülebilirliğini güvence altına almayı ve kullanıcı deneyimi ile
transformers entegrasyonunu iyileştirmeye odaklanmayı planlıyor
- Bu iş birliğiyle yerel çıkarımın (Local Inference) erişilebilirliği ve dağıtım kolaylığı artırılırken, çeşitli model mimarilerine verilen destek de güçlendirilecek
- Ayrıca, açık kaynak süperzekayı (superintelligence) dünyanın her yerinden erişilebilir olacak şekilde inşa etme yönünde ortak bir uzun vadeli vizyon paylaşılıyor
ggml.ai'nin Hugging Face'e katılım duyurusu
llama.cpp'nin kurucu ekibi olan ggml.ai, yapay zekanın geleceğini gerçekten açık tutmak amacıyla Hugging Face'e katılıyor
- Amaç,
ggml ve llama.cpp topluluklarını büyütmek ve desteklemek, ayrıca yerel yapay zekanın sürekli büyümesini teşvik etmek
ggml-org projeleri, bugüne kadar olduğu gibi açık kaynak ve topluluk güdümlü kalacak- ggml ekibi,
ggml, llama.cpp ve ilgili açık kaynak projeleri tam zamanlı olarak sürdürmeye ve yönetmeye devam edecek
- Yeni ortaklık, projelerin uzun vadeli sürdürülebilirliğini güvence altına alırken kullanıcılar ve katkı verenler için yeni fırsatlar sunacak
- Hugging Face'in
transformers kütüphanesiyle daha iyi entegrasyon sayesinde model desteğinin kalitesinin artırılması planlanıyor
Arka plan ve iş birliğinin seyri
- ggml.ai, 2023'te kuruluşundan bu yana
ggml makine öğrenimi kütüphanesinin geliştirilmesini ve benimsenmesini destekliyor
- Son 3 yılda küçük bir ekip, açık kaynak topluluğunu büyüttü ve
ggml'nin verimli yerel yapay zeka çıkarımının standardı haline gelmesine katkı sağladı
- Bu süreçte Hugging Face en güçlü iş birliği ortaklarından biri olarak öne çıktı
- HF mühendisleri,
ggml ve llama.cpp'ye çekirdek özellik katkıları, çok modlu destek eklenmesi, Inference Endpoints entegrasyonu, GGUF formatı uyumluluğunun iyileştirilmesi gibi katkılar sundu
- İki taraf arasındaki iş birliği verimli ilerledi ve tüm topluluk bunun faydasını gördü; bu katılım da iş birliğinin resmileşmesine dönüştü
Açık kaynak projeler ve toplulukta değişenler
ggml ve llama.cpp'nin çalışma biçiminde bir değişiklik yok
- Ekip projeleri sürdürmeye odaklanmayı sürdürecek, topluluk ise teknik ve yapısal karar alma özerkliğini koruyacak
- Hugging Face, projelerin büyüme potansiyelini artırmak için sürdürülebilir kaynaklar sağlayacak
- Projeler %100 açık kaynak olarak kalmaya devam edecek ve model yayımlarından sonra kuantalama (quantization) desteğinin verilme hızı da artacak
Teknik odak
- Gelecekteki ortak hedefler iki temel yönde şekilleniyor
- Hugging Face
transformers ile tek tıklamalı entegrasyon
transformers, yapay zeka model tanımlarında fiili standart haline geldi; iki ekosistem arasındaki uyumluluğun iyileştirilmesi model desteğinin genişletilmesi ve kalite kontrolü açısından kritik
- ggml tabanlı yazılımların paketlenmesi ve kullanıcı deneyiminin iyileştirilmesi
- Yerel çıkarım, bulut çıkarımına bir alternatif olarak yükselirken, genel kullanıcıların model dağıtımı ve erişimini basitleştirme ihtiyacı da artıyor
- Amaç,
llama.cpp'yi evrensel ve her yerde kullanılabilir bir yapıya dönüştürmek
Uzun vadeli vizyon
- ggml.ai ve Hugging Face, açık kaynak süperzekayı (superintelligence) dünyanın her yerinden erişilebilir olacak şekilde inşa etmeyi ortak hedef olarak görüyor
- Yerel yapay zeka topluluğuyla birlikte verimli bir çıkarım yığını geliştirerek, bunun kişisel cihazlarda da en yüksek performansı sunacak şekilde ilerletilmesi planlanıyor
Topluluk tepkisi
- Hugging Face ve ggml topluluğu üyeleri çok sayıda tebrik ve beklenti mesajı paylaştı
- “Yerel yapay zeka ekosistemi için büyük bir ilerleme”, “Açık yapay zeka ekosistemi için önemli bir haber” gibi olumlu tepkiler öne çıktı
- Bazı kullanıcılar, projenin bağımsızlığı ve kod sahipliği konusunda daha net açıklamalar talep etti
- Başka görüşlerde ise şirket birleşmesiyle birlikte yargı alanının değişmesi ve açık kaynak şeffaflığı konusunda endişeler dile getirildi
- Genel olarak topluluk, bu iş birliğini yerel yapay zekanın sürdürülebilir büyümesi için bir temel olarak değerlendiriyor
1 yorum
Hacker News yorumları
Bana göre HuggingFace gerçek anlamda “Open AI”
On-premises AI’yi geniş kitlelere sessizce yaygınlaştıran birkaç kahramandan biri olduğunu düşünüyorum
Trafik maliyetlerinin pahalı olduğu zamanları hatırlıyorum; bu kadar çok modeli ücretsiz barındırmaları gerçekten etkileyici
Umarım sürdürülebilir bir iş modeli vardır. Bu ekosistem onlar olmadan çok daha yoksul olurdu
Kimi ya da GLM’yi içeride çalıştırmak için hâlâ fiyat/performans açısından iyi donanım gerekiyor ama en azından ağırlıklar ve dağıtım kısmı çözülmüş durumda
Dokümantasyonu harika ve ana formatlarda yüksek kaliteli quant sürümlerini hızlıca sunuyor. Güvenilir bir marka olduğunu düşünüyorum
Yüzlerce GB büyüklüğünde modelleri sık sık indiriyorum; egemen yapay zeka topluluğu için muazzam bir hizmet
Gece boyunca süren işler için gayet kullanılabilir ve işlem kaynağı arttıkça giderek daha iyi hale geliyor
hf-torrent ya da hf_transfer var ama web arayüzünde doğrudan kullanılabilen bağlantılar kadar erişilebilir değiller
Georgi Gerganov ve llama.cpp’nin yerel model ekosistemi üzerindeki etkisi küçümsenemez
Mart 2023’te tüketici sınıfı dizüstü bilgisayarlarda LLaMA çalıştırarak bir devrim başlattılar
O dönem README dosyasında “amacımız modeli MacBook’ta 4-bit kuantizasyonla çalıştırmak” yazıyordu
Hugging Face Transformers’ı ne kadar iyi yönettiyse, GGML’nin de aynı yolda ilerlemesini umuyorum
İlgili yazı burada özetlenmiş
HuggingFace’in dünyada bu kadar çok iyi etki yaratırken aynı zamanda gelir elde etmesi şaşırtıcı
İş modelinin ne kadar sağlam olduğunu, uzun vadede sürdürülebilir olup olmadığını ve bir gün “satılıp satılmayacağını” merak ediyorum
Makale bağlantısı
Topluluğu ücretsiz büyütüyorlar, şirketlere ise özel sürüm satıyorlar. Zaten kârdalar
Bence oldukça sağlam bir temel
AMD, Nvidia, Intel, IBM, Qualcomm gibi yatırımcıların kullanıcı özerkliği için mücadele ettiğini düşünmek biraz ironik
Hangi hizmet için ücret alındığını anlayamadığım için hesabımı kapattım. Şeffaf olmayan ödeme süreci rahatsız ediciydi
HuggingFace yapay zeka alanının sessiz GOAT’u
Topluluğu ve platformu harika
“Topluluk kendi kendini yönetecek ve %100 açık kaynak kalacak” sözünün doğru çıkmasını umuyorum
Ama sonunda muhtemelen ticari çıkarlar ağır basacak
Llama.cpp yerel çıkarımın fiili standardı haline geldi ve pek çok proje buna bağlı
Eğer belirli bir şirket bunu kontrol ederse, tüm yerel LLM ekosistemini de kontrol etmiş olur
Hugging Face bugün iyi görünüyor olabilir ama geçmişte Google da öyleydi
Kilitlenme etkisinden (lock-in) kaçınmak için ya bağımsız bir kâr amacı gütmeyen yapı tarafından yönetilmeli ya da rakip projeler olmalı
“Kontrol” en fazla belirli özelliklerin geliştirilmesine destek olmak anlamına gelir
ggml ekibinin kuantizasyon teknolojisini herkesle paylaşmış olması gerçekten takdire değer
Emekleri büyük bir fark yarattı
2023’ten beri GitHub üzerinden ggml/llama.cpp/Georgi’ye destek veriyordum; şimdi iyi bir yuva bulmuş gibi göründükleri için mutluyum
Bu yüzden desteğimi sonlandırmayı düşünüyorum
HuggingFace ile GGML birlikteliği kusursuz bir eşleşme gibi görünüyor
Hatta bunun daha erken olması gerekirdi diye düşünüyorum
Şu an yerel yapay zekanın durgun dönemi ama 2-3 yıl içinde patlayıcı bir büyüme bekliyorum
@ngxson gibi HF üyeleri llama.cpp’nin önemli katkıcıları arasında
MacBook M1 8GB gibi düşük donanımlı sistemlerde Docker ile modelleri verimli çalıştırmanın yolunu arıyorum
Cybersecurity-BaronLLM gibi modeller harika görünüyor ama sonunda dizüstü bilgisayarım bir ısıtıcıya dönüşüyor
Daha güçlü donanım mı almalıyım?
Whisper, SmolVLM, Phi-3-mini, Gemma3 gibi modeller önerilir
home-llm örneklerine bakılabilir
Mac’te Ollama veya MLX iyi seçenekler; Docker Desktop ya da Colima ile VM kurulabilir
8GB ile saniyede 5-10 token, 32GB ile yaklaşık 50 token mümkün. Yani sorun RAM yetersizliği
Küçük modeller ya da kuantize modeller kullanılabilir, ya da daha güçlü donanım satın alınabilir veya kiralanabilir
Docker olmadan LM Studio ile başlamak da iyi bir fikir olabilir
Kusursuz değil ama bence daha fazla parametreye sahip olmak yine de avantaj sağlayabiliyor
Yavaş ve kalite düşük olur ama mümkün
Yapay zeka geliştirmeye pratikte nasıl dahil olabileceğimi düşünüyorum
Şirkette sadece Copilot kullandığımız için yapay zeka geliştirme ekosisteminden kopuk hissediyorum
Java/React full-stack geçmişim var, biraz da Python biliyorum
LLM from scratch denemeli miyim, yoksa Google ML Crash Course ya da Nvidia sertifikalarına mı yönelmeliyim diye düşünüyorum
Tavsiye arıyorum
En başta LLM ile başlama; grafik gibi ilgini çeken bir alanda küçük başla
Unsloth tarafında ücretsiz Colab rehberleri gayet iyi hazırlanmış