Llama Stack 0.21 sürümü yayınlandı - Llama 4 desteği

(github.com/meta-llama)

5 puan yazan xguru 2025-04-10 | Henüz yorum yok. | WhatsApp'ta paylaş

Meta'nın Llama Stack'i, üretken yapay zeka uygulamaları için temel bileşenleri standartlaştıran bir framework
Farklı servis sağlayıcılarının implementasyonlarına dayalı birleşik bir API katmanı sunuyor
Geliştirme ortamından üretim ortamına geçerken geliştirici deneyiminde tutarlılık sağlıyor
Başlıca bileşenler:
- çıkarım, RAG, ajanlar, araçlar, güvenlik (Safety), değerlendirme (Evals), telemetri (Telemetry) vb. için birleşik API
- eklenti mimarisi ile farklı ortamları destekliyor (yerel, şirket içi, bulut, mobil)
- doğrulanmış dağıtımlar (distribution) sayesinde hızlı ve güvenli başlangıç imkanı
- CLI ve SDK'ler (Python, Node.js, iOS, Android) dahil çeşitli geliştirici arayüzleri sunuyor
- üretim seviyesinde uygulama örnekleri sağlıyor

Llama Stack nasıl çalışır

Llama Stack, sunucu + istemci SDK yapısından oluşur
- sunucu; yerel, şirket içi, bulut gibi farklı ortamlara dağıtılabilir
- istemci SDK'leri Python, Swift, Node.js, Kotlin desteği sunar

İstemci SDK listesi

Desteklenen Llama Stack implementasyonları

Inference API

Farklı barındırma/yerel ortamlardaki çıkarım sağlayıcılarını destekler
- Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini vb.

Vector IO API

Vektör deposu arayüzü sunar
Desteklenen implementasyonlar:
- FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate vb.

Safety API

Prompt ve kod denetimi gibi özelliklerle yapay zeka yanıtlarının güvenliğini sağlar
Desteklenen implementasyonlar:
- Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock vb.

Geliştirici kaynakları

Hızlı başlamak istiyorsanız: Quick Start
Katkıda bulunmak istiyorsanız: Contributing

Llama Stack, geliştiricilerin farklı yapay zeka teknolojilerini kolayca entegre edip dağıtabilmesi için tasarlanmış genel amaçlı bir framework olup, çok çeşitli ortam ve dilleri geniş kapsamda destekler