用生物信號(hào)檢測(cè)Deepfake，這個(gè)新方法會(huì)很快失效嗎？

讓 Deepfake 越來越逼真的一個(gè)核心技術(shù)是 GAN（Generative Adversarial Network），也就是生成對(duì)抗網(wǎng)絡(luò)。它的原理類似左右手互博 —— 生成器生成假視頻，鑒別器用以鑒別真?zhèn)?，以此不斷提高造假的質(zhì)量。

正因如此，檢測(cè) Deepfake 的方法很容易被超越。比如在 2018 年，就有研究通過人物的眨眼是否自然來判斷視頻的真?zhèn)?。但是很快，這個(gè)特征就被下一代的 Deepfake 納入訓(xùn)練內(nèi)容，制造出眨眼自然的人物。

類似的檢測(cè)思路還有人物的微表情：比如特朗普會(huì)如何撅起嘴，或者別的政客如何挑起眉毛。這與眼睛的動(dòng)態(tài)一樣，經(jīng)過模型的優(yōu)化后，不難被機(jī)器模仿。

眼動(dòng)和臉部微表情的檢測(cè)思路，主要是從已經(jīng)生成的內(nèi)容出發(fā)，試圖尋找哪里可能有破綻；那有沒有生成器無法捕捉和實(shí)現(xiàn)的特征？也就是，自然界中，是否存在某些難以模仿的信息？

由此思路出發(fā)，美國漢賓頓大學(xué)教授尹立軍和他的學(xué)生將生物信號(hào) PPG 引入 Deepfake 檢測(cè)技術(shù)。那么利用生物信號(hào)來檢測(cè) Deepfake，有什么特殊性？

新檢測(cè)方式：生物信號(hào)

尹立軍告訴 DeepTech，PPG 信號(hào)已經(jīng)應(yīng)用在遠(yuǎn)程醫(yī)療等領(lǐng)域，即通過視頻信號(hào)讀取出一個(gè)人的心率數(shù)據(jù)。PPG 叫做光體積變化描記法，其原理是，脈搏的壓縮和擴(kuò)張，會(huì)帶來血紅蛋白與氧氣有規(guī)律的結(jié)合，由此會(huì)帶來全身血管的明暗變化。

這一細(xì)微的變化，遠(yuǎn)超出人眼的捕捉能力，但是卻可以通過分析視頻像素獲得。將這一指標(biāo)運(yùn)用在 Deepfake 檢測(cè)中，就是去檢測(cè)視頻中人物心率的時(shí)空一致性。

“因?yàn)槟闶且粋€(gè)人，從你身上拿一部分，或者是從脖子上拿一塊，PPG 信號(hào)應(yīng)該是一致的?！?但是這對(duì)于目前 Deepfake 偽造出來的人物形象來說，就很困難。

就具體檢測(cè)方式而言，空間上，可選取人物臉部不同的區(qū)域，以分析其信號(hào)的一致性；時(shí)間上，可通過在一秒視頻中抓取至少 30 幀，看每一幀預(yù)測(cè)出來的心跳頻率是否一致?！叭绻钦嫒耍辽?5 秒鐘之內(nèi)的心率應(yīng)該是一致的?！?/span>

基于這一方法，研究人員在已有的數(shù)據(jù)集和包含了網(wǎng)上 “野生” 視頻的數(shù)據(jù)集上進(jìn)行測(cè)試，均實(shí)現(xiàn)了 90% 以上的辨別率。

在此基礎(chǔ)上，尹立軍和學(xué)生進(jìn)行第二項(xiàng)研究，可以將假視頻進(jìn)行溯源。即分析出 Deepfake 視頻的生成模型。

這是由于在 Deepfake 視頻中人物的心跳是假的，通過假心跳信息，能夠分析出殘差的特征。殘差是模型預(yù)估值與實(shí)際值之間的偏差。通過殘差信息，就能夠追溯到原始模型。

目前，這一方法能夠分辨出四種 Deepfake 的生成模型（Deepfakes、Face2Face、FaceSWap、NeuralTex）。

無獨(dú)有偶，另外一個(gè)華人科學(xué)家團(tuán)隊(duì)也開發(fā)出了采用 PPG 信號(hào)檢測(cè) Deepfake 的模型。日本九州大學(xué)的馬雷教授以及新加坡南洋理工大學(xué)的郭青等人開發(fā)出了 DeepRhythm。

DeepRhythm 采用雙時(shí)空 Attention 來檢測(cè)人臉的動(dòng)態(tài)變化和偽造類型。郭青告訴 DeepTech，這里面有兩個(gè)雙重的 Attention，即注意力機(jī)制。實(shí)現(xiàn)檢測(cè)需要將人的生物信號(hào)提取并且放大，這部分工作難點(diǎn)在于，視頻是在某些幀上進(jìn)行竄改的，而不同幀的竄改效果不一致。

他們想抓住那些做得不夠好的區(qū)域，這里采用到了第一個(gè)雙重的 Attention，一方面是人為指定某些重要區(qū)域，二是通過網(wǎng)絡(luò)自身學(xué)習(xí)得到一些區(qū)域。

另外一個(gè)雙重 Attention 則是針對(duì)視頻時(shí)間上的特征，一是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，讓模型抓取被篡改的視頻片段，二是考慮到某些視頻質(zhì)量受損，缺少一些幀，由此丟失連續(xù)信息，在這種情況下，他們引入了 Frame-level Temporal Attention，依靠某些關(guān)鍵幀來作為補(bǔ)充信息。

生物信號(hào)檢測(cè)會(huì)失效嗎？

既然 GAN 如此強(qiáng)大，是否有一天基于 PPG 生物信號(hào)的檢測(cè)也會(huì)失效呢？答案是肯定的。但是對(duì)于目前的偽造技術(shù)來說，想要模仿出這樣的生物信號(hào)并不容易。

這是由于，目前生成網(wǎng)絡(luò)的可控性還比較差。當(dāng)增加微觀的生物信號(hào)時(shí)，可能會(huì)導(dǎo)致視覺質(zhì)量的下降。也就是說，目前的技術(shù)，還不能對(duì)每個(gè)視覺屬性進(jìn)行獨(dú)立操作。

因此生物信號(hào)檢測(cè)是一個(gè)值得關(guān)注的方向。當(dāng)未來的偽造技術(shù)發(fā)展更好的時(shí)候，視頻的分辨率更高，人臉的細(xì)節(jié)特征就會(huì)更多地體現(xiàn)出來，這時(shí)候生物信號(hào)或許能發(fā)揮更大的作用。

尹立軍則向 DeepTech 表示，生物信號(hào)是內(nèi)在特征在臉部的顯現(xiàn)，無論需檢測(cè)的數(shù)據(jù)來自何處，這個(gè)內(nèi)在信號(hào)都存在，因此這個(gè)信號(hào)更可靠。這一檢測(cè)方式也就相對(duì)更有前景。