vLLM geliştiricilerinin kurduğu 'Inferact', açık kaynak çıkarım motorunu ticarileştirmek için 150 milyon dolarlık tohum yatırım aldı

Özet:

• Açık kaynak LLM çıkarım motoru vLLM'in geliştiricileri tarafından kurulan startup 'Inferact', 150 milyon dolarlık (yaklaşık 210 milyar won) tohum yatırım alarak 800 milyon dolar değerlemeye ulaştı.
• Bu yatırım turuna a16z ve Lightspeed liderlik etti; sağlanan kaynak, vLLM tabanlı kurumsal düzeyde bir yapay zeka çıkarım platformu kurmak ve ticarileştirmeyi genişletmek için kullanılacak.
• Inferact, yüksek performanslı ve düşük maliyetli çıkarım altyapısı sağlayarak şirketlerin büyük dil modellerini (LLM) farklı donanım ortamlarında verimli biçimde dağıtıp çalıştırmasını desteklemeyi hedefliyor.

Ayrıntılı özet:
Inferact'in bu büyük ölçekli tohum yatırımı, yapay zeka altyapısında özellikle 'çıkarım (inference)' aşamasının verimliliğinin bugün AI pazarındaki temel meselelerden biri olduğunu gösteriyor.

1. Inferact ile vLLM arasındaki ilişki

   • Inferact, şu anda en yaygın kullanılan açık kaynak LLM serving motorlarından biri olan vLLM projesinin çekirdek geliştiricileri tarafından kurulan bir şirket. Şirkete CEO Simon Mo liderlik ediyor.
   • vLLM, 'PagedAttention' algoritmasıyla bellek darboğazını çözüyor ve mevcut çözümlere kıyasla daha yüksek throughput sunarak geliştiriciler arasında fiili standart (de facto standard) haline geldi.

2. Yatırımın büyüklüğü ve arka planı

   • 150 milyon dolar (Seed Round): Tipik bir tohum aşamasını çok aşan sıra dışı bir ölçek; bu da AI çıkarım maliyetlerini düşürme ve performansı optimize etme konusundaki patlayıcı pazar talebini yansıtıyor.
   • 800 milyon dolar değerleme: Ürün tam anlamıyla ticarileşmeden önceki aşamada olmasına rağmen, vLLM'in mevcut etkisi ve teknik hendeği (moat) son derece yüksek değerlendirildi.
   • Başlıca yatırımcılar: Silikon Vadisi'nin önde gelen girişim sermayesi firmaları Andreessen Horowitz (a16z) ve Lightspeed Venture Partners yatırım turuna liderlik etti.

3. Teknik hedefler ve yol haritası

   • Kurumsal ticarileştirme: Açık kaynak vLLM temel alınarak, şirket ortamlarına uygun yönetilen hizmetler, güvenlik ve teknik desteği içeren ticari bir platform oluşturulacak.
   • Donanım uyumluluğunu genişletme: Yalnızca NVIDIA GPU'lar değil, AMD, AWS Inferentia gibi farklı donanım hızlandırıcılarında da en iyi performansı verebilmek için destek kapsamı genişletilecek.
   • Çıkarım maliyetlerini optimize etme: Stripe gibi şirketlerin halihazırda vLLM benzeri framework'ler üzerinden çıkarım maliyetlerini %70'in üzerinde düşürdüğü örneklerde olduğu gibi, Inferact şirketlerin LLM'leri daha ucuza ve daha hızlı servis etmesine yardımcı olmayı amaçlıyor.

4. Geliştirici ekosistemi üzerindeki etkisi

   • vLLM açık kaynak projesinin sürdürülebilirliği güvence altına alınırken, kurumsal özellikler isteyen organizasyonlar için de net bir ücretli seçenek ortaya çıkacak.
   • Karmaşık model optimizasyon süreçlerini soyutlayarak, ML mühendislerinin altyapı yönetiminden çok model uygulaması geliştirmeye odaklanabileceği bir ortamın oluşması bekleniyor.

[darjeeling]

vLLM'in 150 milyon dolar toplaması, "işleme kapasitesi çağı"ndan "gecikme (cold start)" çağına geçtiğimizi doğruluyor.

https://reddit.com/r/LocalLLaMA/…