talk-llama - Terminalde LLaMA ile sohbet edin

• M2 Ultra üzerinde Whisper Medium (Whisper.cpp) + LLaMA v2 13B Q8_0 demosu
• Sesi Whisper ile tanıyıp ilgili soruyu LLaMA'ya gönderiyor, ardından yanıtı MacOS'un konuşma sentezi (say komutu) ile sesli olarak veriyor
• Oturum yönetimini desteklediği için önceki konuşma içeriğine dayalı kesintisiz sohbet mümkün

[ragingwind]

13B, Ultra'da iyi çalışıyor gibi görünüyor. M3 Max'te nasıl olacağını merak ediyorum.