- LLM uygulamaları için DataDog + PostHog; hızlı, kararlı ve ölçeklenebilir olacak şekilde tasarlanmış
- LLM verilerini izleme, değerlendirme, etiketleme ve analiz etme
- RabbitMQ (mesaj kuyruğu) + Postgres (depolama) + Clickhouse (analiz) + Qdrant (semantik arama) ile oluşturulmuş Rust tabanlı bir yığın
Laminar'ın farkı
- Sadece LLM çağrılarına değil, uçtan uca yürütme izlerini (execution trace) işlemeye odaklanıyor
- OpenTelemetry tabanlı enstrümantasyon: yalnızca 2 satır kod + decorator ile LLM/vektör DB çağrılarını otomatik olarak gerçekleştirip fonksiyonları izliyor
- GenAI semantik kurallarını kullanarak OpenTelemetry (Otel) span'ları için bir Rust collector oluşturmuş
- Semantik olay tabanlı analiz
- Laminar, LLM pipeline'ının arka plan iş kuyruğunu barındırıyor ve pipeline çıktıları metriklere dönüştürülüyor
- "Semantik metrikleri" (ör. AI ajanının gerçekte ne söylediği) izleyip bunları iz içindeki oluşum noktalarıyla ilişkilendirebiliyor
- Çekirdek uygulama mantığı ile LLM olay işlemeyi birbirinden ayırıyor
Pipeline Builder
- LLM ve yardımcı fonksiyonları düğüm, veri akışını ise kenar olarak ifade eden bir grafik UI kullanıyor
- Paralel branch yürütme, cycle ve branch'leri destekleyen özel bir görev yürütme motoru geliştirmiş
- Pipeline'lar doğrudan API endpoint'i olarak çağrılabiliyor
- Laminar, pipeline'ları doğrudan izleyerek ağ üzerinden büyük miktarda çıktı gönderme ek yükünü ortadan kaldırıyor
İz arama özelliği
- Her span'ı vektör DB'de indeksleyip sorgu anında hibrit arama gerçekleştiriyor
- Bu özellik henüz beta aşamasında, ancak gelecekte platformun önemli bir parçası olacak
Değerlendirme özelliği
- Braintrust ve Weights & Biases'ın "her şeyi lokalde çalıştırıp sonuçları sunucuya gönderme" yaklaşımını benimsiyor
- Basit bir SDK ve iyi bir dashboard ile her şeyi izlemek mümkün
- Değerlendirme özelliği hâlâ erken aşamada, ancak aktif olarak geliştiriliyor
Laminar'ın hedefi
- LLM/GenAI ile ilgili her şey için standart açık kaynak, kapsamlı bir platform; yani "LLMOps için Supabase" olmak
Henüz yorum yok.