XrayGPT: Medikal Görüntü-Dil Modeli (VLM) ile Göğüs Röntgeni Özetleme

 (github.com/mbzuai-oryx)
7 puan yazan xguru 2023-07-04 | 1 yorum | WhatsApp'ta paylaş
  • Göğüs röntgeni X-ray görüntülerini otomatik olarak analiz etmeye yönelik bir araştırma
  • Vicuna LLM, medikal veriler (100 bin adet hasta-doktor arasındaki gerçek konuşma) ve 30 bin radyoloji konuşması temel alınarak fine-tune edildi
  • Ücretsiz metin radyoloji raporu veri kümeleri (MIMIC-CXR ve OpenI) üzerinden konuşma biçiminde düzenli özetler (~217k) üretilerek LLM performansı iyileştirildi
  • Frozen Medical Visual Encoder (MedClip), fine-tune edilmiş LLM'ye (Vicuna) align edildi (Simple Linear Transformation kullanılarak)

İlgili okumalar

1 yorum

 
cosine20 2023-07-06

Elinizde bir göğüs röntgeni varsa demoyu doğrudan siz de deneyebilirsiniz.