Yalnızca telefonla çekilmiş görüntülerden bir köpeğin tanıtım short-form videosunu üreten bir pipeline. Birden fazla ham telefon videosu ve doğal dille yazılmış bir paragraflık istek verdiğinizde, yaklaşık 4 dakika sonra altyazı ve anlatım eklenmiş dikey 9:16 video çıkar. Tespit aşamasından TTS’e kadar tüm sürecin tek bir MacBook üzerinde yerel olarak çalışması için tasarlandı.
Bir LLM’e video verip inandırıcı bir demo çıkarmak zor değil. Bunun yerine iki soruya yanıt vermeyi hedefledim: Yarın aynı şekilde yeniden üretebilir miyiz ve yapay zekanın uydurduklarıyla insanın belirledikleri birbirine karışmıyor mu?
Yapı
- LLM yalnızca yorumlar, yürütme deterministiktir. Gemma (yerel) yalnızca hareket adı, düzenleme isteğini ayrıştırma ve sahne gözlemi gibi anlamsal değerlendirmeleri yapar; piksel, kare ve zamanlamayla ilgili her şeyi Python/OpenCV/ffmpeg işler. Aynı girdi aynı çıktıyı verir.
- Tespit ve takip YOLO11 + ByteTrack’e, birden fazla köpek için yeniden tanımlama DINOv2 embedding + sahip fotoğrafı çapasına, hareketli/durağan ayrımı ise kamera hareketi telafi edilmiş ROI artık ölçümüne emanet. LLM’in yapısal olarak göremediği, tek bir durağan karedeki hareket gibi eksenler LLM’e bırakılmaz.
- TTS, Qwen3-TTS (mlx-audio) ile yerel olarak sentezlenir ve Whisper gidiş-dönüş CER kapısıyla denetlenir.
- LLM’in uydurduğu altyazılar, olgusal iddialara ayrıştırılıp video gözlem kayıtlarıyla karşılaştırılır; dayanak yoksa yeniden yazılır. Kullanıcının doğrudan yazdığı altyazılar denetlenmez.
Karar yöntemi
- Model ve parametre değişikliklerinin tamamı, elle etiketlenmiş golden set puanlamasıyla kararlaştırıldı.
- Kesin iyileşme sağlayacağına inandığım öneriler, golden set puanlamasında iki kez reddedildi.
Rakamlar
- 148 birim testi, M4 hareket grubu sınıflandırma doğruluğu 1.00
- Tam yaşam döngüsünde üretim süresi 8 dakikadan 4 dakikaya indirildi.
Sınırlar
Golden set 5-9 video, tek alan ve tek kişilik geliştirmeden oluşuyor. Bu, metodolojinin titizliği; ölçekli bir doğrulama değil.
Geliştirme sürecini blogda seri halinde yayımladım.
MIT lisanslıdır. Bu metodolojiyi başka alanlara taşıma üzerine sohbetleri veya her bir kararla ilgili soruları memnuniyetle karşılarım.
Henüz yorum yok.