10万视频所有面部图像均获授权,Facebook创建大规模Deepfake数据集

不久前,Facebook举办的Deepfake检验争霸赛(DFDC)完美收官。近日,Facebook发文详细介绍了其搭建的规模性Deepfake数据DFDC。

数据常常存有相关著作权、隐私保护层面的异议,而Facebook搭建的这一数据避开了这些方面的风险性,它包括的全部数据信息均得到图象使用者自己受权。

887.jpg

Deepfakes是最近出現的一种立即能用的视频换脸技术性。除开Deepfakes之外,现阶段还出現了很多根据GAN的变脸方式(并且还含有编码)。

这类技术性给大家的隐私保护安全性等产生了威协。为了更好地解决该类威协,Facebook建立了一个大中型换脸视频数据DFDC以适用Deepfakes检验实体模型的训炼,并机构了Deepfake检验争霸赛。

该数据的闪光点取决于,全部目标均愿意数据应用其图象或视頻,并容许在数据搭建全过程中对其数据信息开展改动。

DFDC数据是现阶段较大 的公布能用换脸视频数据,包括来源于3426名付钱知名演员的十万好几个视频短片。这种视頻根据多种多样Deepfake、GAN和non-learned方式转化成。

889.jpg

Deepfake数据的经营规模比照。无论从帧率還是视頻总数看来,DFDC数据都比别的数据大一个量级。

下边,大家看来DFDC数据的搭建全过程和方式。

源数据信息

许多 Deepfake或变脸数据信息集中化的精彩片段来源于新闻报道或简报室等非地理环境。并且,视頻中的角色很有可能根本就没受权数据应用她们的脸部图象或视頻。

根据此,Facebook沒有应用公布能用的视頻来搭建数据,只是先向一些本人得到录视频、将视頻用以搭建深度学习数据,及其应用深度学习实体模型解决她们的脸部图象的受权,从而获得了一组视頻。

为了更好地体现Deepfake视頻对非知名人物导致的潜在性损害,该数据信息集中化的视頻均在沒有技术专业布光或画妆的地理环境下视频录制。但是录制视频应用的是高像素监控摄像头。

该数据信息集中化的源数据信息涉及到:

3426名目标,每一个目标均值视频录制14.4个视頻,绝大多数视頻的屏幕分辨率为1081080;

48,190个视頻,每一个视頻的平均长度为68.8秒,总共长短38.四天;

原始记录超出25 TB。

下表展现了不一样Deepfake数据的量化分析比照状况:

891.jpg

从这当中我们可以看得出,DFDC数据的经营规模较大 ,牵涉到的目标总数数最多,且得到全部目标的受权。

数据创始人应用內部面部跟踪和两端对齐优化算法对源视頻开展预备处理,将任何人脸帧裁剪、两端对齐,并将尺寸再次调节为256x256清晰度。

数据建立全过程中采用的变脸方式

该数据应用多种多样方式转化成换脸视频,这种方式包含了数据建立时最时兴的一些变脸技术性。每个方式转化成的视頻总数并不均匀等,转化成数最多换脸视频的方式是Deepfake Autoencoder(DFAE)。

实际来讲,DFDC数据建立全过程中应用的变脸方式包含:

DFAE:Deepfake自编码器(DF-128、DF-256),数据建立全过程中应用实体模型的键入/輸出屏幕分辨率为128x128和256x256。

MM/NN face swap:应用根据自定帧的morphable-mask实体模型开展变脸。

NTH:在few-shot和one-shot学习环境下,转化成真实的讲话人头顶部[31]。

FSGAN:应用GAN开展变脸[20]。

StyleGAN:参照《》。

Refinement:对混和后的面部应用简易的动态模糊过滤器能够巨大地提高最后视頻中的认知品质,且基本上不用附加的成本费。

audio swapping:应用[22]中的TTS Skins voice conversion方式开展音频格式转换。

不一样方式转化成面部的品质参照下面的图:

893.jpg

数据组成

训练集:训练集包含119,154个十秒视频短片,涉及到486个不一样的目标。在其中十万个视頻包括Deepfakes內容,换句话说数据信息集中化83.9%的视頻为合成视频。这种Deepfakes视頻根据DFAE、MM/NN face swap、NTH和FSGAN方式转化成获得,且未应用一切数据增强。

验证集:验证集是DFDC比赛中用以测算排名榜部位的公共性检测集。该数据包括4000个十秒视頻,在其中过半数(2000个视頻)包括Deepfakes內容。验证集共涉及到214个不一样的目标,且与训练集并不重叠。除此之外,该数据应用的Deepfakes转化成方式对比以前多了一项——StyleGAN。该数据信息集中化大概79%的视频应用了数据增强技术性。

检测集:独享检测集包括一万个十秒视頻。与公共性检测集一样,在其中一半为Deepfakes视頻。可是,二者的差别取决于,独享检测集中化一半视頻来源于互联网,另一半来源于源数据信息。

阅读者能够在下列详细地址查询DFDC比赛应用的数据信息:

数据增强

Facebook精英团队应用多种多样数据增强技术性,如几何变换或影响等。关键的提高方式以下所显示:

影响:将各种各样物件(图象、样子、文字等)累加在视頻上;

提高:对视频应用几何变换、色调转换、帧数变更等。

数据增强实例参照下面的图:

898.jpg

WAIC 2020网络黑客马拉松比赛由全球人工智能技术交流会主办方举办,张江集团、优必选高新科技、软银集团集团旗下软银投资智能机器人、Watson Build创新中心、机器之心协同筹办,遭受新冠肺炎疫情的危害,赛事将于7月8日-11日期内以远程控制和小规模纳税人线下推广融合的方法举行,征募全世界顶尖开发人员同场比赛。