融合傳統特征與神經網絡的深度偽造檢測算法
信息技術與網絡安全
楊雨鑫1，周 欣1，2，熊淑華1，何小海1，卿粼波1
(1.四川大學 電子信息學院，四川 成都610065；2.中國信息安全測評中心，北京100085)
摘要： 人臉深度偽造檢測技術對于打擊虛假圖像/視頻泛濫具有至關重要的意義。提出了一種融合傳統特征與神經網絡的檢測算法，算法結合了傳統特征具有可解釋性與神經網絡高準確率的優點，利用圖像灰度共生矩陣以及XceptionNet組成雙特征提取模塊，然后在全卷積網絡中充分考慮雙流融合特征信息，最終根據網絡多損失實現圖像真偽分類判決。在FaceForensics++數據集上進行了訓練和測試，實驗結果表明，相比現有深度學習算法，檢測準確率有明顯提升。而且由于引入的紋理特征具有一定的可解釋性，表現出良好的鑒別性能。
中圖分類號： TP181
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.006
引用格式： 楊雨鑫，周欣，熊淑華，等. 融合傳統特征與神經網絡的深度偽造檢測算法[J].信息技術與網絡安全，2021，40(2)：33-38，44.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.02.006
引用格式： 楊雨鑫，周欣，熊淑華，等. 融合傳統特征與神經網絡的深度偽造檢測算法[J].信息技術與網絡安全，2021，40(2)：33-38，44.
Research on deepfakes detection combining traditional features and neural network
Yang Yuxin1，Zhou Xin1，2，Xiong Shuhua1，He Xiaohai1，Qing Linbo1
(1.College of Electronics and Information Engineering，Sichuan University，Chengdu 610065，China； 2.China Information Technology Security Evaluation Center，Beijing 100085，China)
Abstract： DeepFakes detection is significant to combat the spread of forgery video. Aiming at the task of deepfakes detection, a method combining traditional features and neural network is proposed. The method combines the interpretability of traditional features and high accuracy of the neural network. This paper used the gray level co-occurrence matrix and XceptionNet to form two feature extraction modules, then learned the dual-stream fusion feature information in the fully convolutional network. The image was distinguished according to multiple losses in the network finally. Our method was tested over benchmarks of the FaceForensics++ datasets. The experimental results show that compared with the state-of-the-art deep learning algorithms, the detection accuracy has been significantly improved. It shows promising discrimination performance due to the introduction of texture feature interpretability.
Key words : deepfakes；image forensics；feature fusion；gray level co-occurrence matrix(GLCM)；convolutional neural network(CNN)
0 引言
深度偽造是利用深度學習算法生成偽造人臉圖像/視頻技術的總稱。這種視覺合成技術根據實現方式的不同，具體細分為DeepFake、Face2Face[1]、FaceSwap[2]等。該技術可以將圖像中已有的面部表情和動作提取出來，合成另一張人臉替代原圖臉部區域，最終制造出人眼難以區分的虛假圖像/視頻。
2019年，SnapChat和ZAO等應用程序實現了用戶與電影明星換臉的功能，深度偽造技術快速進入公眾視野并引發關注。與此同時，普通人可以利用開源的深度偽造程序生成逼真的人臉圖像/視頻，使得眾多公眾人物陷入遭受深度偽造技術攻擊的風險之中。龍坤[3]等人從國家政治安全、經濟安全、社會安全、國民安全方面論述了深度偽造技術帶來的潛在危害，美國國防高級研究計劃署也在同年針對虛假圖像/視頻發起檢測項目。因此，針對深度偽造算法生成圖像的檢測工作變得越來越重要。
本文詳細內容請下載:http://www.viuna.cn/resource/share/2000003376
作者信息:
楊雨鑫1，周 欣1，2，熊淑華1，何小海1，卿粼波1
(1.四川大學 電子信息學院，四川 成都610065；2.中國信息安全測評中心，北京100085)
此內容為AET網站原創，未經授權禁止轉載。