日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

观点
2022
03/12
14:34
亚设网
分享

最近,拿 Maya 加一个换脸软件就能做到的实时面部捕捉在日推火了:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

不管怎么挤眉弄眼,褶子和肌肉的细微变化都跟得上。连续两个演示视频点赞分别突破 4k 和 3k,甚至被网友评价为“效果好得有点可怕”。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

怎么说呢…… 直接杵一个脸在摄像头前,就能实时替换脸部表情确实更方便。至少和满脸小点 + 机械装置比起来,不再那么密恐福利了……

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

开发者横原大和(Hirokazu Yokohara) 是日本的一位“全才”艺术家,3D 建模、场景、特效、甚至像这种沾边前沿科技的活儿都会做。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

比如我们之前介绍过的那位在电车上啾咪顺拐的萌妹,也是出自这位大神之手:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

接下来,我们先从他这次所用的技术开始了解。

又见 DeepFake

横山提到,他在几天前看到有人将 UE5 和 DeepFace Live 结合起来,直接合成了一个视频:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

于是他便也起了心思,打算用 Maya 试试看。并且他还实现了实时面部捕捉的效果。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

具体来说,技术方案是 Maya + 换脸软件 DeepFace Live。

其中 Maya 是有软件自带的面部绑定系统。而 DeepFace Live 听名字就知道,与曾经爆火的 DeepFake 有关。

这是一种利用机器学习中的深度学习实现的深度视频换脸的技术,基于这种技术诞生了无数的下载即用,甚至在线可玩的工具和软件。(肌肉金轮就是其成果之一)

DeepFace Live 就是其中一种。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

这是一个去年刚刚公开的开源工具,特点是可以在流媒体或直播视频中实时换脸,也就是说让用户通过网络摄像头应用面部过滤器,与大多数基于视频的流媒体和信息服务结合使用。

比如常见的 Skype,Zoom,Tik Tok,Twitch 上都可以使用:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

当然,DeepFaceLive 的人脸交换功能也可以应用于预先录制的视频。

开发者是来自俄罗斯的 Iperov,同时,他也是曾经应用最广泛的 DeepFaceLab 的开发者质之一。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

开发者也是老二刺猿了至于这位横原大神本身,我们开头介绍过,这是一位在各领域都造诣颇深的通才。

他来自东京的 khaki 工作室,主要负责为 CM,MV,动画,大型游戏等各种媒体或设备设计视觉特效(VFX)。不说工作室的名字,只说他们的作品,总有一款你熟悉的。比如阴阳师 2017 年的这个宣传 PV:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

2020 年的 VR 游戏设备 hexaRide 中的第一款合作游戏,《攻壳机动队》的 CG:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

还为世界第一的公主殿下做过 MV:

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

怎么说呢,老二刺猿了。

日本 CG 大神又整活:3D 建模软件拿来搞面部实时捕捉

参考链接:

[1]https://twitter.com/Yokohara_h

[2]https://www.dailydot.com/debug/deepfacelive-DeepFake-live-streaming/

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表 亚设网的观点和立场。

20.jpg

关于我们

微信扫一扫,加关注

Top