(抖音小游戏入口)抖音真人团队互动游戏

「AR 中国年」的效果源自于抖音产物团队关于将来赛博朋克中国城场景的设想。但要实现如许的效果，需要整合 AI 算法、图形衬着、特效设想等大量研发资本。为此，抖音手艺团队专门研发了一套交融了深度进修、SLAM 与图形衬着手艺的 AR 特效链路，整体的链路如下图所示。

「AR 中国年」特效链路

系统起首通过对捕捉的视频数据基于深度进修模子停止阐发，获取实时的深度图、法向图与场景朋分 Mask 等语义与几何信息，同时通过 SLAM 手艺获取相机位姿等空间信息，并连系语义、几何与空间信息，对差别品种的道具停止放置与跟踪。通过 SLAM，还能够停止算法成果的多帧婚配，从而帮忙提拔语义几何阐发的准确性和持续性，包管后续道具挂载的不变性。在接下来的章节中，文章将会对部门关键算法环节展开分析。

道具挂载检测

「AR 中国年」的一大亮点是可以在场景中较为天然地贴合道具素材。在 AR 场景中为了使素材的呈现位置愈加贴合场景，需要设想一套端上的主动道具挂载算法。为了使得挂载成果愈加天然，算法还需要输出若干个契合透视的不规则四边形。

在算法设想之初，手艺团队考虑了一套基于三维外表检测（3D Surface Detection）、二维外形检测（2D Shape Detection）与单帧 VP 检测（Vanishing Point Detection)连系的计划，并研发了一套基于线段和角点检测连系的 VP 检测系统。但因为该计划涉及的算法模块和战略较为复杂，移植到挪动端并到达实时的性能具有较大的手艺难度，手艺团队便起头测验考试利用较为轻量的 “目的检测 + 回归” 的计划，试图 “蒸馏” 进修出实时的道具挂载检测模子。

在「AR 中国年」特效中，为了营造出新年的气氛，需要同时挂载十几个差别的素材，并且素材呈现的位置也并非往往呈现在平面上，例如 “灯笼” 就需要被挂载到屋檐或者天花板上。那就需要算法同时兼顾召回、透视以及场景分类。为此，手艺团队设想了先通过检测模块停止召回，再通过回归模块停止挑选的二阶段算法。在检测阶段，检测模块去尽可能多的召回挂载区域，那些区域往往集中在建筑物、墙壁和物体上。在召回足够多的候选区域后，回归模块负责处理透视以及分类问题。为了降低坐标回归难度，需要参加必然的规则先验，将挂载框视做左上、左下、右上、右下四个点构成的凸四边形停止回归，最末模子的成果将颠末排序、挑选、去重来保留高量量的挂载框。为了满足差别素材的特定要求，算法还会将挂载框停止分类来针对性的停止后处置，例如将比力长的区域停止切分来营造出比力工整的灯笼串效果。

值得一提的是，固然因为性能原因，手艺团队在算法计划上最末选择了 “目的检测 + 回归” 的计划，但基于 VP 检测的计划具备更实在的挂载效果，因而也被应用在了剪映弄法上，办事于基于办事端的编纂特效「国潮赛博 2022」。

基于 “检测 + 回归” 的道具挂载检测成果

法向估量

在完成道具挂载检测后，在实在情况中插入虚拟物体还需要准确理解世界的三维法向信息。在相机坐标系下间接利用 SLAM 输出三维朝向会存在空缺以及由三维点朝向标的目的禁绝确的问题， 所以还需要一个面向挪动端的轻量级法向估量处理计划。

为此，手艺团队通过用带有激光雷达的 iPhone 离线收罗了大量的情况数据（包罗室表里差别光照前提下的数据，以及衬着生成等体例获取的场景法向数据），训练了鲁棒的端上法向估量模子。此外，团队还进一步操纵了手机 IMU 的重力标的目的对法向的角度停止矫正，从而包管挂载物始末可以和重力标的目的吻合，更契合一般的建筑规律， 来躲避深度进修收集在法向预测不敷完全准确的情况。从下图的成果能够看到，在差别变更角度与光照情况前提下， 虚拟的贴图仍然能够很好的贴合图像法向，从而能撑持各类虚拟挂载的实在特征。

基于法向估量的贴图效果

视觉 SLAM

为了将道具可以持续跟踪在建筑上，手艺团队构建了一套大场景下的视觉 SLAM 系统，在大部门抖音用户手机上均能停止实时鲁棒地跟踪。该 SLAM 系统具备如下几个特征抖音实人团队互动游戏：

• 用户无感的快速初始化 。传统的视觉 SLAM 算法依赖严酷的初始化，需要用户停止充实的运动之后才气利用 AR 特效，那大大提拔了利用 AR 特效的门槛。为了让广阔抖音用户都能更容易地玩起 AR 特效，该计划基于轻量化的多层级初始化设想研发，交融了场景构造先验、多假设的滤波估量和小运动下的全局优化，实现了首帧立即的 AR 体验。

• 笼盖差别的挪动端机型。因为抖音用户笼盖面十分大，尤其是安卓用户机型浩瀚，对算法的鲁棒性提出了更高层面的要求。视觉 SLAM 系统以视觉为主，同时辅助操纵了系统的传感器信息来对位姿停止约束。因为差别手机的传感器量量良莠不齐，系统还连系离线标定和在线估量的战略，在离线标定通用参数的根底上又实时停止参数优化，低成当地笼盖更多的用户机型。

• 大场景实时跟踪。在大场景下，纯视觉的 SLAM 系统容易遭到远点和动态物体的干扰，尤其在长时间曲行的情况下相机的估量高度容易产生漂移。基于多帧几何阐发与语义先验，系统对视觉特征停止了分类处置，同时将实时全局信息压缩后持续在系统中停止优化，削减了长时间运动下的漂移。

• 网格与平面估量。基于 SLAM 系统输出的稀少点云，系统连系 2D 图像信息和 3D 平面估量信息，对点云停止单帧的实时网格化息。为领会决弱纹理和远景区域几何信息缺失的问题，系统还连系了上述的法向估量模子，包管了全区域的挂载可用性。

大场景轨迹跟踪和场景三维估量

以 SLAM 初始化为例，在用户现实利用道具拍摄时，会经常发作因为相机仅有纯扭转或静行不动无法初始化 SLAM 系统或 SLAM 初始化胜利但重建的网格量量仍无法满足特效需求的情况。为领会决那个问题，系统引入了深度估量模子，对静行的图像停止相对深度估量并重建出三角收集。待 SLAM 初始化胜利后，再对三角网格停止过渡交融。通过那种体例，在 SLAM 无法初始化的情况下也能够输出三角网格，并连系道具挂载检测与法向估量停止素材挂载，在后续利用过程中也能过渡到实在深度场景。

包体积优化

因为「AR 中国年」整个流程涉及到多个算法模块，招致整体的算法包体积偏大，进而会影响特效下发到挪动端的胜利率。为此，手艺团队还针对包体积停止了极致的性能优化。在深度模子训练流程中，遵照如下原则：起首通过 AutoML 算法，找到紧凑的模子构造抖音实人团队互动游戏；然后，再接纳剪枝和非构造量化相连系的压缩算法，在训练中将收集中的不重要权值剪枝为零值，使其到达必然的稀少比例，再将剩下非零的权值停止非构造量化；最初连系低比特构造化量化算法，在包管算法精度的前提下，极致压缩算法模子体积。基于上述计划，所有算法模块依赖的深度模子体积大小得到了有效控造，包管了最末特效下发的胜利率。

智能创做团队介绍

在抖音中，大量立异性的热门特效均出自于字节跳动 - 智能创做团队。智能创做团队是字节跳动音视频立异手艺和营业中台，笼盖了计算机视觉、图形学、语音、拍摄编纂、特效、客户端、办事端工程等手艺范畴，在部分内部实现了前沿算法 - 工程系统 - 产物全链路的闭环，旨在以多种形式向公司内部各营业线以及外部合做客户供给业界最前沿的内容理解、内容创做、互动体验与消费的才能和行业处理计划。

目前，智能创做团队已通过字节跳动旗下的火山引擎向企业开放手艺才能和办事。