AI直播 :网红直播时的瘦脸、磨皮等美颜功能是如何实现的？

做者 | 阿里文娱算法专家彰三

出品 | AI科技大本营（ID:rgznai100）

布景跟着挪动设备的开展，美颜已成为多媒体内容生成链路中不成贫乏的一种根本才能，尤其是在来疯曲播秀场营业的场景下，主播的颜值就意味着消费力，间接影响主播及平台的收入AI曲播 。

美颜的目标就是要让人看起来更美，包罗皮肤细腻、白净、光滑，脸部各个器官及脸型能够停止详尽的调整，通过美妆调理能够到达快速上妆的效果AI曲播 。为达成上述人脸美颜效果的诉求，我们从手艺上次要通过如下四个关键步调来实现：

手艺实现1. 获取人脸关键点信息

美颜处置依赖于人脸关键点AI曲播 ，基于那些关键点，我们能够精准的晓得脸部各个器官的位置信息，从而停止美化处置：

起首AI曲播 ，我们基于AliFace实现人脸关键点根本信息的获取，次要包罗眉毛、眼睛、鼻子、嘴巴、脸部外轮廓那106个关键点；

其次AI曲播 ，基于检测出的106个关键点，我们需要对脸部关键点停止浓密化处置，插入额外的关键点，如额头区域和脸部外围限造区域，使其可以笼盖整个脸部区域；

最初，基于浓密化以后的人脸关键点，对其构建整张脸的三角网格，实现对整个脸部区域的三角剖分(Delaunay Triangulation)，三角剖分将人脸切分红多个无堆叠的三角区域，进而能够利用openGL或者D3D停止绘造衬着处置，从而实现对脸部器官的各类美化处置AI曲播 。根底人脸关键点、浓密后人脸关键点、三角网格图片别离见下图：

2. 皮肤美化处置

皮肤美化处置次要包罗磨皮和美白，磨皮需要把脸部皮肤区域处置得细腻、光滑，美白则需要将皮肤区域处置得白净、红润AI曲播 。详细的处置模块见下图：

其次要包罗如下几个关键步调：

1）图像光滑

磨皮次要是通过利用保边滤波器对脸部非器官区域停止光滑，到达脸部皮肤区域光滑的效果AI曲播 。一般来说常用的保边滤波器次要有双边滤波、导向滤波、外表模糊滤波、部分均值滤波等，考虑到性能和效果的平衡，一般都接纳双边滤波或者导向滤波。

双边滤波考虑了窗口区域内像素的欧式间隔和像素强度差别那两个维度，使得其在停止光滑时具有庇护边沿的特征AI曲播 。其长处是在GPU侧计算量小，资本消耗低，其缺点是无法去除色差较大的孤立点，如痘痘、黑痣等，且磨皮后的效果较为生硬。

而导向滤波则是按照窗口区域内纹理的复杂水平来停止光滑水平的调理，在平展区域趋近于均值滤波，在纹理复杂的区域则趋近于原图，窗口区域内纹理的复杂水平跟均值和方差强相关，既可以很好地处置平展区域的各类噪点，又能较完好的保留好轮廓区域的信息，且在GPU侧的计算其实不复杂，所以连系我们的营业需求，我们接纳了引导滤波做为磨皮处置的保边滤波器AI曲播 。导向滤波(Guide Filter)的算法如下图所示：

在磨皮那种场景下，导向滤波的引导图即为原图自己，而且其均值滤波的中间成果可用于后续的锐化处置以提拔性能AI曲播 。

2）人脸ROI（Region of interest）处置

为领会决磨皮效果的精度和量量AI曲播 ，我们标定了一小我脸美颜的遮罩图片，该图片的rgb三个通道别离对应脸部器官（眼睛、眉毛、鼻子、嘴等）区域的Mask1，法令纹区域和眼袋区域的遮罩Mask2，脸部高、低光区域的遮罩Mask3，高、低光遮罩的Mask3如下图所示

通过人脸关键点信息连系该遮罩图片，操纵三角剖分的办法实时生成与当前人脸所对应的脸部遮罩Mask，对颠末光滑后的图像和原图停止交融处置AI曲播 。Mask1会庇护脸部各个器官不被光滑，包管了脸部磨皮区域的精准性，Mask2加强了法令纹区域和眼袋区域的磨皮水平，到达去除法令纹和眼袋的目标，Mask3则通过高、低光的处置使得磨皮后的五官更为立体。

之所以将上述三个遮罩mask合并成一张图片，是为了降低在GPU侧获取像素值的频次以到达提拔性能的目标AI曲播 。与此同时，在非脸部区域通过肤色检测实现对肤色区域磨皮，不是肤色的区域则回绝被光滑，从而实现对整图的磨皮处置。

3）纹理加强及肤色映射

磨皮后的图像在整体上被模糊化处置，使得整个图像不敷通彻透亮，所以需要再对其停止锐化处置AI曲播 。为提拔性能，我们连系导向滤波过程中的均值滤波成果和人脸ROI区域mask，接纳近似USM锐化的体例对图像停止加强，从而实现对纹理细节的凸显。

为实现肤色美白，我们通过接纳颜色查找表的体例来将肤色映射到抱负的颜色范畴AI曲播 。颜色查找表根本原理如下所示：

其素质上相当于一个离散函数，给定肆意的rgb颜色值，都能够在颜色查找表图片中找到对应的颜色值内插出响应的转换成果AI曲播 。美白颜色查找表的生成需要设想师按照肤色所处的大致颜色范畴，基于基准颜色查找表颠末一系列的色彩调整后生成一张新的颜色查找表的图片，如下图所示右边为基准颜色查找表，右边为调色后的肤色美白颜色查找表。

上述就是皮肤美化的几个重要步调AI曲播 ，颠末皮肤美化后的效果比照图如下：

3. 脸部器官美型处置

脸部美型处置次要包罗脸型调整和脸部器官调整，实现上述功用的核心步调是基于人脸关键点通过图像形变的形式来实现脸部各个器官的外形调整AI曲播 。我们所接纳的图像形变算法次要是部分扭曲算法和三角剖分，部分扭曲算法一般包罗部分缩放、部分平移、部分扭转等，如大眼功用即可通过部分缩放来实现。三角剖分的办法则是通过对三角网顶点停止平移，再将平移后的顶点更新到对应的纹理坐标，通过openGL或者D3D停止绘造衬着，从而实现整个联系关系三角网的变形。详细的脸部美型效果如下图所示：

4. 美妆处置

美妆效果的好坏强依赖于素材模板精准的标定命据和准确的人脸关键点数据AI曲播 ，详细的实现流程次要包罗如下几个步调：

1）妆容素材的办理及解析AI曲播 。连系各类妆容及贴纸素材，我们构建了一套完好的绘造机造，按照对妆容效果描述文件(Json)的解析，连系顶点绘造规则对各个类型的素材停止绘造处置及交融。

2）素材模板和当前人脸器官停止对齐AI曲播 。素材的描述文件中存有响应的标定信息，连系当前图像的人脸关键点，接纳三角剖分的体例实现对素材模板的变形，到达与当前人脸器官对齐的目标。

3）差别器官的定造化处置AI曲播 。因为差别器官的处置流程纷歧样，需要针对差别的器官接纳差别的处置体例。如美齿时需要连系牙齿区域的mask模板通过美齿颜色查找表实现牙齿区域颜色的调整；眉毛的处置则需先将当前图像的眉毛连系当前眉毛模板的素材停止眉毛区域的形变调整，同时将当前图像的眉毛部门停止削弱，再和对齐后的眉毛模板停止交融。

4）图像交融AI曲播 。因为素材模板和脸部器官的差别性，我们需要采纳差别的交融体例来实现图层的交融处置。如腮红我们能够间接基于素材的半通明通道停止交融，修容处置则需接纳高反差算法停止交融处置。

当然，上述美妆处置的流程也适用于人脸2D贴纸AI曲播 。

成果及落地性能方面，在iphone6p等中低端机型上，可实现720p 24fps 实时人脸美颜；效果方面，通过对皮肤的处置，可使人脸皮肤到达白净细腻的效果，同时主播可根据本身的爱好对脸部的肆意器官停止调整AI曲播 。目前人脸美颜功用已在来疯曲播(挪动端和PC端)、优来播挪动端及淘宝曲播PC端落地，来疯挪动端主播日均开播人数实现一倍增长。详细的人脸美颜效果如下图所示：

一些思虑1. 连系营业特征，成立"美"的尺度AI曲播 。什么是“美”，在人类的普世不雅里面是有个根底尺度的，但针对差别的汗青期间、地区、场景会有所不同，例如，东方人的审美妙点集中在：“三庭五眼”、“四高三低”、“中轴丰字规划”等，而在演出类的秀场场景下，则更会凸起：“大眼”、“瘦脸”、“尖下巴” 、“胶量感皮肤”等，因而，连系我们的营业场景，用数学的体例定义“秀场”类的“美学”尺度客不雅评价系统，一方面帮忙我们的用户更简单、快速的停止美化处置。另一方面，为我们后续的迭代优化、完美研发工做供给数据支持。

2. 妆容迁徙AI曲播 。目前的美妆都是基于多个素材来实现，其开发成底细对较高。而妆容迁徙可离开对美妆素材的强依赖，降低开发成本。用户只需拔取一张都雅的效果图即可实现美妆，那是我们后续勤奋的标的目的。

参考文献 【1】

【2】

【3】

【end】

原力方案

《原力方案【第二季】- 进修力挑战》正式起头！本日起至 3月21日AI曲播 ，万万流量撑持原创做者！更有专属【勋章】等你来挑战

想成为一个数据科学家却不晓得从何下手？那份道路图带你翻开数据科学大门AI曲播 ！

MySQL 狠甩 Oracle 稳居 Top1AI曲播 ，私有云最受重用，大数据人才匮乏！| 中国大数据应用年度陈述

不消掉一根头发AI曲播 ！用 Flutter + Dart 快速构建一款绝美挪动 App

一文领会 Spring Boot 办事监控AI曲播 ，安康查抄，线程信息，JVM堆信息，目标搜集，运行情况监控！

和黑客斗争的 6 天AI曲播 ！

用 3 个“鸽子”AI曲播 ，告诉你闪电收集是如何改动加密动静传递体例的！