OpenAI Realtime API tabanlı ses kontrollü React bileşeni
(github.com/openai)- Realtime API üzerinde geliştirilmiş React/tarayıcı için ses kontrollü bileşen
- Sesle form girişi dahil çeşitli işlemler yönlendirilebilir ve buna tepki veren widget'lar uygulanabilir
- Asistanın yalnızca uygulamanın izin verdiği işlemleri gerçekleştirmesini sınırlayan tool-constrained UI deseni sunar
- Oturum bağlantısı, ses işleme, araç çalıştırma ve transkript birleştirme işlemleri tek bir controller tarafından topluca yönetildiği için geliştiricilerin WebRTC veya Realtime protokolünü doğrudan ele alması gerekmez
- Mevcut uygulamaya eklenirken uygulama durumun tek doğruluk kaynağı (source of truth) olmaya devam eder ve ses katmanı yalnızca sınırlı uygulama işleyicilerini çağıran bir yapıda kalır
- Genel amaçlı bir orkestrasyon çerçevesi değil, tarayıcı UI akışlarına özel opinionated bir pakettir; React dışı runtime veya ajan orkestrasyonu gerekiyorsa Raw Realtime ya da
openai-agents-jskullanılması önerilir - Mevcut uygulamaya entegrasyonda
/sessionendpoint proxy'si → voice adapter wrapper oluşturma → araç kaydı → controller hoisting → widget mount adımlarını içeren 9 adımlı rehber sunar - Controller varsayılan olarak
server_vadkullanır; tool-only oturumlardainterruptResponse: falseile ilerleyen araç çağrılarının yeni ses girdisiyle iptal edilmemesi sağlanır - Demo uygulamada tema değiştirme, çok adımlı form, paylaşılan durumlu satranç akışı, wake-word denemeleri gibi çeşitli entegrasyon senaryoları görülebilir
- Apache-2.0 lisansı
Henüz yorum yok.