rPPG - DeepFake sahte videolarını ayırt etmenin yenilikçi bir yolu
(venturebeat.com)<p>Hızla gelişen DeepFake teknolojisi eğlence sektörüne büyük katkı sağlayabilir, ancak sahte haberlerin ciddiyetini daha da artıran sorunlara da yol açabilir. Bu yüzden bu tür DeepFake içerikleri ayırt edebilecek teknolojilere sahip olmak önemli bir anlam taşıyor.<br />
<br />
Yaklaşan ABD başkanlık seçimlerinde sahte haberleri engellemek için Microsoft'un çabaları:<br />
https://tr.news.hada.io/topic?id=2767<br />
<br />
DeepFake videolarını ayırt etmenin yenilikçi bir yolunu tanıtan bir yazıyı paylaşıyorum. (İngilizce) Bu yöntem, insan yüzünden çıkarılan kalp atışı sinyallerine dayanarak gerçek insan yüzü ile DeepFake'i ayırt ediyor.<br />
<br />
Hastanelerdeki invaziv olmayan oksijen satürasyonu ölçüm cihazları ya da artık oldukça yaygın hale gelen akıllı saatler gibi cihazlarda insanın kalp atış hızını ölçme yöntemine teknik olarak PPG (Photoplethysmography, fotopletismografi) denir. İnsan vücuduna ışık tutulduğunda bu ışığın bir kısmı emilir ve emilim miktarı, ışığın geçtiği yoldaki deri, doku ve kan hacmiyle orantılıdır. Deri ya da doku hacmi ani biçimde değişmez, ancak belirli bir bölgedeki damarlardaki kan hacmi kalp kasıldığında artar, kalp gevşediğinde ise azalır. Bu nedenle ışık emilim desenini grafik olarak çıkarıp tepe değerleri arasındaki aralığı ölçmek, doğrudan kalp atış hızını verir. Düşünüldüğünden daha basit, değil mi?<br />
<br />
rPPG (Remote photoplethysmography, uzaktan fotopletismografi) ise bunu bir adım ileri taşır. İnsanların ya da kameraların nesneleri görebilmesinin nedeni, bir yerden gelen ışığın nesneye çarpıp yansıyarak göze ya da kameraya ulaşmasıdır. Ancak yukarıda bahsedilen PPG ilkesini düşünürsek, canlı bir insan yüzü gibi vücut bölgelerinden yansıyan ışıkta, çok zayıf da olsa nabız desenini yansıtan değişimlerin gizli olduğu söylenebilir. İşte bu zayıf değişimleri güçlü biçimde yükselterek, herhangi bir özel ölçüm cihazı ya da temas olmadan yalnızca kamerayla çekilmiş yüz videosundan kalp atış hızını ölçmeye rPPG denir. Bu yöntem son derece küçük yüz rengi değişimlerine dayanır, ancak yakın dönemde deep learning uygulanan rPPG sistemlerinin, sıkıştırma oranı oldukça yüksek yüz videolarında bile bu değişimleri çıkarabildiği biliniyor.<br />
<br />
Peki bu şekilde biyolojik sinyaller çıkarılırsa, gerçek bir insan yüzü ile DeepFake ile üretilmiş bir yüz de ayırt edilebilir mi? Bu sorudan yola çıkarak, en yeni rPPG tekniklerini temel alıp DeepFake yüz videolarını tespit etmeye yönelik deneylerin sonuçlarını anlatan makaleler yakın zamanda yayımlandı. Kısaca söylemek gerekirse, gerçek insan yüzlerinde ve DeepFake ile üretilmiş yüzlerde görülen rPPG sinyallerinin desenleri belirgin biçimde farklı ve kullanılan DeepFake modelinin türüne göre çıkarılan rPPG sinyal deseni de değişiyor. Bu nedenle bu yöntemle yalnızca DeepFake videoları ayırt etmek değil, aynı zamanda hangi modelin kullanıldığını da oldukça yüksek doğrulukla belirlemek mümkün olmuş.<br />
<br />
İlgili makalelerin tam metni:<br />
https://arxiv.org/abs/2006.07634<br />
https://arxiv.org/abs/2008.11363</p>;
3 yorum