性间道【新智元导读】最近,浙大研究团队实现了对视频中的人像进行改变,调整参数可以扩大或者缩小。
这是美国女演员詹妮弗·劳伦斯(Jennifer Lawrence),左边是youtube上的一段原视频,右边则是「瘦脸」之后的她。
那么,除了自带美颜、滤镜功能之外,如何对视频中的人物肖像进行数字化修饰?
研究主要由浙江大学计算机辅助设计和图形学(CAD&CG)国家重点实验室人员完成,参与研究的还有英国巴斯大学。
正如作者所言,「研究的目标是根据现实世界中的自然面部变形,通过编辑肖像面部的整体形状,生成高质量的肖像视频重塑结果。」
其中,OpenCV的光流法负责运动映射,并由StructureFlow框架进行平滑处理。人脸对齐网络(FAN)负责特征点估计,而Ceres Solver用于解决优化问题。
与基线方法比较。给定一帧人像视频的框架(a),人像重塑方法会在鼻尖附近产生伪影(b),因为鼻子遮挡了侧面,而作者的方法(c)可以使用相同的整形参数产生令人满意的结果。
与仅使用MLS的方法(a)、只使用优化的方法(b)和作者的方法(c)相比较。
虽然,MLS方法仅确保了人脸边界的一致性和视频稳定性,网格优化在校正背景失真方面是有效的。
通过与不固定轮廓网格点的方法(a)和仅使用稀疏轮廓点映射的方法(b)和作者的方法(C)比较。
可以看出,作者提出的方法在性能方面取得了更好的效果,面部边界一致性和重塑一致性。
在第二阶段,作者首先重塑了重构的3D人脸,使用参数重塑模型人脸的权重变化。
结果表明,作者提出的方法可以稳健地生成连贯的重塑肖像视频,而基于图像的方法很容易导致明显的闪烁伪影。
这种系统的一个有用部署是实现实时变形,必要的计算资源克服了「实时」变形的挑战。
金小刚为教授、博导,他所在的CAD&CG(计算机辅助设计与图形学)实验室隶属于浙大计算机科学与技术学院。
根据官网页面显示,他在电影特效模拟、布料动画和虚拟试穿、昆虫群模拟、交通模拟和自动驾驶等具体表现,也有着浓厚的研究兴趣。
另外,他还对人群与群组动画、隐式曲面建模与应用、创造性的建模、Sketch-Based建模、纹理合成等有所研究。
其合著的《计算机真实感图形的算法基础》一书获2001年国家科技图书二等奖。
|