Cog: Makine öğrenimi için konteyner aracı

• Makine öğrenimi modellerini prodüksiyonda kullanılabilecek düzeyde paketlemeyi sağlayan açık kaynaklı araç
• NVidia temel imajı + önbellekleme + Python + ortam değişkeni varsayılanları gibi tüm en iyi uygulamaları içeren Docker imajlarını kolayca oluşturur
  → CUDA/cuDNN/PyTorch/TensorFlow/Python vb. sürümlerin birbiriyle uyumlu olmasını sağlar
• Pydantic aracılığıyla OpenAPI şeması oluşturur
• Model tipleri üzerinden FastAPI ile RESTful HTTP API'lerini dinamik olarak oluşturur
• Uzun süre çalışan derin öğrenme modelleri veya toplu işleme için Redis tabanlı kuyruk çalışanı sunar (ileride başka seçenekler de eklenecek)
• ML SaaS olan Replicate için geliştirilmiştir, ancak kendi altyapınızda da kullanılabilir