2020-06-14
7 月 4 日,微软官方发布消息,测试版的 SwiftKey(注:2016 年,SwiftKey 被微软收购)中加入了新功能 Puppets,这个新功能提供了熊猫、恐龙、猫头鹰等多个动物的 3D 形象,还能够透过 AI 技术即时反映用户的表情和头部动态。
儘管 3D 表情近几年开始席捲全球,但值得一提的是,人们关于创建 3D 动态形象的想法,早在十几年前就已经生根发芽了。
从好莱坞大片中得到的灵感2005 年左右,动作捕捉技术还远未达到成熟阶段,即便是在 2009 年上映的《阿凡达》,也需要演员提前在脸上标记特定的小点,穿上带有特製小球的衣服,帮助光学系统追蹤人脸和身体的动作变化,最终精準地捕捉到人物角色的表情和动作。
Faceshift 公司(注:Faceshift 是一家脸部追蹤技术公司,2015 年被苹果公司收购)的联合创始人之一 Mark Pauly 表示:
Mark Pauly 和其他研究者开始寻求新的方法──开始探索如何使用深度感应相机和演算法来取代传统的方法,使脸部表情追蹤变得更简单。而他们的最终目标是製作出可以即时模仿人类表情的动态数位形象。
由于人脸总是持续变化,因此,为了让机器可以準确辨识出脸部运动,必须让它辨识出在不同环境或状态下的人脸,比如变幻的光线、头部的旋转角度、人脸的肤色等。接下来就是不断地训练演算法来处理这些脸部数据资讯,然后建立大量的 3D 模型,形成模拟形象。
脸部追蹤技术从电影走向手机在 2013 年开始,苹果就陆续收购了 3D 感测器製造商 PrimeSense、图像辨识公司 Perceptio、扩增实境公司 Metaio 和脸部追蹤技术公司 Faceshift。从现在看来,这波疯狂收购的背后,很大一部分原因是苹果在为推出 iPhone X 做準备。
2017 年 9 月,苹果推出了 iPhone X,从外形上来看,除了经典 Home 键的消失,萤幕顶端还出现了一块「浏海」区域。
在这块神祕的黑色浏海之下,内建了麦克风、喇叭、前置镜头,以及包括环境光感测器、距离感应器、红外线镜头、泛光感应元件、点阵投影器在内的 5 种感应器。这 5 种感应器组成了原深感镜头系统(True Depth Camera System),它可以捕捉并分析用户的脸部 3D 结构特徵,类似 3D 建模一样,然后再透过苹果神经引擎(A11 Bionic Neural Engine)即时处理辨识数据。
基于原深感镜头和神经网路的支援,3D 版的 Emoji──Animoji 就这样应运而生了;用户可以在使用 iMessage 时开启 Animoji 录製一段不超过 10 秒的小影片,而 3D 动画形象会同步用户的表情,而且这个功能还支援录音。
虽然,Animoji 只是做为 iMessage 的一个功能出现,但从 3D 动画表情创新的层面上来说,Animoji 可以算得上是开山之作,它让好莱坞大片中的 3D 人脸追蹤技术走向了手机。
在苹果开始採用 3D 结构光技术来支持人脸辨识和 Animoji 之后,三星、华为、小米等手机厂商也在不断努力之后,实现了这个技术,并打造了属于自己的「Animoji」,甚至逐渐摆脱了对原深感镜头的依赖。
基于深度神经系统的 Puppets与苹果 Animoji 不同的是,微软 3D 动画表情 Puppets 的载体不在于系统内的短讯(iMessage),而是在于第三方软体 SwiftKey;这款个性化输入法基于先进流利的预言推理引擎,能够进行十分快速的输入操作──微软预计,SwiftKey 每周可以节约总计 2,000 万个小时的打字时间。
除此之外,Puppets 最大的不同在于,苹果 Animoji 以及其他许多 3D 动态表情都需要原深感镜头的支援,进而扫描人脸的 3D 结构图来建模,而 Puppets 仅用普通镜头也能塑造出即时 3D 动态表情。这是因为 Puppets 的运作原理基于一个由志愿者提供图片和影片集成的庞大资料库,微软透过这个数据库来训练自己的深度神经网路,进而辨识用户的表情,比如微笑和眨眼,直接进行模仿。
用户可以透过 Puppets 录製长达 30 秒的影片,影片会即时转化为 3D 动态形象,这些小影片还可以分享到社交媒体或其他平台上。
微软产品经理 Deepak Paramanand 表示:
从应用在 3D 电影中的人脸追蹤技术,到苹果开先河的 3D 动画表情 Animoji,再到微软的 Puppets,这些技术和产品或许有其不足之处,但至少可以清楚地看到它们在随着迭代而成长。
值得一提的是,目前推出的 Puppets 还只是测试版,而且仅限于 Android 手机;更多关于 Puppets 的动态,将会继续关注。
上一篇:不用中头奖也能发横财的7个生肖,个个都有好运,看看是不是你 下一篇:不用买机票也让你一秒到韩国!三间宛如置身首尔街头的台北新秀