讓對(duì)方把頭側(cè)扭90°，這一動(dòng)作可辨別Deepfake偽造人臉

看似「天衣無(wú)縫」的偽造技術(shù)，也是有漏洞的。

視頻偽造是 Deepfake 技術(shù)最為主要的代表，其制作假視頻的技術(shù)也被稱為人工智能換臉（AI face swap)。一直以來(lái)，研究者發(fā)現(xiàn) DeepFake 存在著這樣一個(gè)漏洞：當(dāng)偽造人臉頭部轉(zhuǎn)到 90 度時(shí)（側(cè)臉 90 度），對(duì)方就能識(shí)別視頻中的人臉是不是偽造的。
這是怎么回事呢？在最近的一項(xiàng)測(cè)試中，技術(shù)專家兼評(píng)論員 Bob Doyle 允許研究人員進(jìn)行一些關(guān)于人臉偽造的測(cè)試，期間研究人員采用 DeepFaceLive 來(lái)改變他的外貌。DeepFaceLive 是流行的 DeepFaceLab 軟件的一個(gè)直播版本，能夠幫助用戶實(shí)時(shí)創(chuàng)建不同的視頻身份。
測(cè)試中，在人臉轉(zhuǎn)到 90 度以前，其余角度我們很難發(fā)現(xiàn)這張臉是偽造的。

為什么人臉轉(zhuǎn)到 90 度時(shí)會(huì)出現(xiàn)漏洞？原來(lái)這些深度偽造模型都沒(méi)有經(jīng)過(guò)高質(zhì)量的人臉輪廓數(shù)據(jù)訓(xùn)練，因而不能轉(zhuǎn)換面部的不同邊界，或者執(zhí)行必要的修復(fù)。

不過(guò)，借助這一漏洞，我們可以判斷視頻會(huì)議中與自己交談的人是真實(shí)的還是偽造的。
橫向限制
這一漏洞是怎么造成的呢？
在 Deepfake 技術(shù)中，用于估計(jì)面部姿態(tài)的標(biāo)準(zhǔn)軟件如「Facial Alignment Network」，在有些情況下不能無(wú)法可靠地工作。事實(shí)上，大多數(shù)基于 2D 的人臉對(duì)齊算法在從正面人臉映射到側(cè)面人臉中，僅僅對(duì)齊了 50-60% 特征點(diǎn)。
我們以論文《Joint Multi-view Face Alignment in the Wild》來(lái)說(shuō)，其展示了多視點(diǎn)人臉對(duì)齊，正面對(duì)齊包含 68 個(gè)特征點(diǎn)，而側(cè)臉對(duì)齊只有 39 個(gè)。典型的 2D 人臉對(duì)齊算法使側(cè)輪廓視圖隱藏了 50% 的特征點(diǎn)，這會(huì)妨礙模型的識(shí)別、訓(xùn)練以及后續(xù)人臉合成。

意識(shí)到這個(gè)缺陷后，許多病毒式 Deepfake 都會(huì)有針對(duì)性地進(jìn)行規(guī)避。一些人做出了一些努力，比如 YouTube 上就有人做過(guò)實(shí)驗(yàn)，他們通過(guò)大量的后期處理，將 Jerry Seinfeld 的臉替換到《低俗小說(shuō)》 (1994) 中的緊張場(chǎng)景中，獲得了很棒的側(cè)視圖。    
當(dāng)然，完成如此逼真的換臉還需要大量的訓(xùn)練。本次用到了《宋飛傳》里的鏡頭，時(shí)長(zhǎng)達(dá) 66 小時(shí)，其中大部分鏡頭是 Jerry Seinfeld 的。

影視演員可以獲得大量人臉視頻，但對(duì)于我們普通人來(lái)說(shuō)，側(cè)面 90 度的照片卻很少，可能是側(cè)面照不能表達(dá)太多東西，而更多角度的照片可以提供更豐富的內(nèi)容。
由于可用數(shù)據(jù)缺乏，很難獲得一系列普通人的圖像。因此，Deepfake 這一缺點(diǎn)提供了一種潛在的方法，可以在實(shí)時(shí)視頻通話中發(fā)現(xiàn)「?jìng)卧臁沟娜四?。如果你懷疑和你說(shuō)話的人可能是一個(gè)「深度偽造的人臉」，你可以讓他們側(cè)身一到兩秒鐘，看看對(duì)方有沒(méi)有破綻露出。
今年 5 月，AI 安全公司 Sensity 發(fā)布了一份報(bào)告和一段視頻，展示了一個(gè)類似 DeepFaceLive 的系統(tǒng)，該系統(tǒng)通過(guò)偽造身份成功地騙過(guò)活體檢測(cè)器。
Sensity 視頻截圖展示了 deepfake 對(duì)活體檢測(cè)器的攻擊。圖源：theverge
Sensity CEO 兼首席科學(xué)家 Giorgio Patrini 表示，他們?cè)趯?shí)驗(yàn)和測(cè)試中沒(méi)有進(jìn)行 90 度人臉檢測(cè)，并表示將人臉的側(cè)視圖用作身份驗(yàn)證的一種形式時(shí)，確實(shí)可以提供一些保護(hù)來(lái)防止 deepfake 技術(shù)。正如前面所指出的，缺乏廣泛可用的側(cè)視圖數(shù)據(jù)，使得 deepfake 檢測(cè)器的訓(xùn)練非常具有挑戰(zhàn)性。
意識(shí)到訓(xùn)練數(shù)據(jù)的缺陷，論文《Dual-Generator Face Reenactment》的附加材料中提供了一些包含 90 度的人臉照片。

自該現(xiàn)象出現(xiàn)以來(lái)，研究界一直在深入研究和開發(fā) deepfake 檢測(cè)技術(shù)，但在一定程度上相關(guān)技術(shù)還是受到了阻礙。
盡管如此，研究人員還是提出了一些解決方案來(lái)保證視頻通話中的安全。這些解決方案包括測(cè)量監(jiān)視器照明、評(píng)估面部區(qū)域的不一致等方法。
Deepfake 換臉能夠以假亂真，但鑒別算法總能找到破綻，以控制假視頻的傳播。
原文鏈接：https://metaphysic.ai/to-uncover-a-deepfake-video-call-ask-the-caller-to-turn-sideways/:https://www.theverge.com/2022/5/18/23092964/deepfake-attack-facial-recognition-liveness-test-banks-sensity-report