LLaVaVision - llama.cpp/llava ile yapılan "Be My Eyes" web uygulaması

• Görme engelliler için gönüllülerle bağlantı kurup ekranı okuyan "Be My Eyes" hizmetinin benzeri, yapay zeka ile hayata geçirilmiş
• Multimodal bir backend üzerinden görüntüyü izleyip bunun ne olduğunu gerçek zamanlı açıklayan bir web uygulaması
• Açık kaynaklı multimodal model SkunkworksAI'nin BakLLaVA-1 modeli llama.cpp ile çalıştırılıyor ve ses çıktısı Web Speech API ile veriliyor

[botplaysdice]

Vay, böyle şeyleri görünce mühendis olmakla gurur duyuyorum. Görme engelli insanlar için gerçekten çok büyük bir yardım olacak gibi görünüyor.

[hi098123]

YouTuber One Shot Hansol'un kullandığı Sullivan Plus adlı bir uygulama da var.
Yalnızca metin tanıma değil, nesnelerin özelliklerini de algılıyor gibi görünüyor.
https://youtu.be/EAKGU-uW6Ek
https://www.mysullivan.org/

[xguru]

Be My Eyes - görme engellilere görme yetisi verin
MS'nin görüntü açıklama yapan yapay zekası fotoğrafları insan gibi betimlemeye başladı

[hero512]

Böyle haberler beni çok mutlu ediyor :) Çünkü kızım görme engelli.