此外,对于一些难以获取大量数据的场景,研究人员也在想法设法采用半自动或自动的方法“增广”数据集,包括基于三维人脸模型合成人脸或者采用 GAN 这类方法生成数据,这里的 3D 人脸模型既可能是采用专用设备采集的,也可能是采用 3D MM 等方法自动重建的。值得注意的是,尽管 GAN 很火热,也能合成出一些视觉效果不错的人脸图像,但其合成的增广人脸数据是否能够用来增广特定人的数据并提高特征学习的效果,目前尚不得而知。此外,面向移动终端和嵌入式应用等实际应用需求,也有大量工作是进行模型压缩和计算加速的。
表情识别接下来简单说说表情识别。感觉表情识别一直不温不火,进步并不明显,这其中的核心障碍我认为还是来自数据收集的困难。从早期的 Posed Expression,到后来的自发表情(spontaneous expression)数据,大量真实自然表情数据的收集都非常不容易。不过,尽管表情数据集的规模相比人脸识别的数据规模小得多,深度学习还是快速渗透进来,并已经在 7 类基本表情识别和几十个面部动作单元(AU)的检测方面均取得了不小的进步。如何利用较小规模的标注表情数据集进行更加鲁棒的表情识别是非常值得关注的!EmotioNet 数据集2016 年出现了一个包含百万图像的数据集——EmotioNet 。在该数据集上,可以采用深度学习这类方法做更多表情强度的估计和动作单元强度的估计。不过,需要特别注意的是,尽管这个表情数据集规模非常大,但它并不是完全由手工标注,而是通过半自动的方式标注的,所以可能存在很多噪声。如何利用好这样的数据也是值得关注的。“Data is king!Math is Queen?”最后介绍一下工业界一年来的技术和应用进展情况。我想工业界已经越来越深刻的体会到了“Data is king!”这个著名论断在深度学习时代的正确性。甚至于有人开始怀疑:“Math is Queen”是否还正确。从学术界的观点来说,Math 的重要性是显然的,也是未来技术突破的基石,但工业界确实目前更多的在享受着大数据带来的红利。过去一两年,与人脸识别核心技术创新的乏善可陈相比,人脸识别的应用进展切实进入了“高铁”时代!我们知道,人脸识别有很多应用场景,不同场景的成熟度差异很大。1. 第一种场景,1:1 的人证合一验证系统。典型的应用是:刷身份证读取卡内照片,将其与现场采集的用户人脸去做比对,看是否身份证的合法持有人。这个任务在三四年前大多数人脸识别专家还认为几乎是不可能完成的任务,但就在最近一两年,通过上万甚至几十万人此类应用数据的训练,在被识别人配合的情况下,最好的系统已经可以在 0.01%的误识率时达到 95%以上的正确验证率。也就是说,一万个人来冒充某个人 A,只有一个可以冒充成功,而 A 本人在 95%的情况下可以被正确识别出来。如果允许误识率更高一些,比如到 0.1%,识别率甚至可以进一步提高到 99%以上(对配合用户)。这种场景还是 1:1 验证中最有挑战性的:因为身份证卡内照片只有 102*126 像素,而且被压缩成了 1K 字节存储在身份证内,而且其中人脸已经有多年的老化。2. 第二种场景,1:N 静态照片比对系统。典型应用场景是公安人员对不明身份嫌疑人照片进行公安大库照片比对,以确定其身份。这种应用甚至在几年前就已经基本成熟,当 N 为千万甚至数亿量级条件下,首选识别率可以做到 90%或更高,需要注意的是,区别于后面要提到的 1:N+1 场景,这类 1:N 场景不需要设置拒识率。这方面,我们的人脸识别技术在几年前就已经被合作伙伴上海银晨科技产业化,应用于护照人脸和多个省公安厅的大库比对中,并取得了相当多的实战成功案例。就在最近,学术界也出现了大规模人脸识别测试库 MegaFace,其中人脸数量达到了 100 万规模,最好的系统目前首选识别率能够做到 83.29%(注:2017 年 4 月结果),是我的一个博士李绍欣在腾讯优图完成的。MegaFace 主要是生活照或新闻照,所以难度要更大一些。3. 第三种场景是 1:N+1 动态人脸识别场景。区别于前面的 1:N 场景,这类场景是需要拒识非目标人的,所以是 N+1。这种场景实际上还可以细分为三类:目标人配合场景(比如无卡考勤或门禁),目标人不配合场景(比如黑名单卡口人脸布控),以及处于二者之间的、被识别人既不配合也不刻意回避的场景(比如 VIP 识别系统)。不妨分别称之为 A 场景,C 场景和 B 场景。4. 三类场景的技术成熟度差异
这三类场景的技术成熟度差别很大:在 N 等于 10000 人、误识率不高于 1%时,A 场景识别率可以做到 98%以上,B 场景可以做到 70%~90%,C 场景恐怕只能做到 80%以下,某些条件下甚至可能低的不忍直视。需要特别强调的是,这里误识率 1%看起来有点高,但在 N 等于 1 万人时,大概相当于 1:1 场景下的百万分之一的误识率,实际上已经非常有挑战了。