新iPhone X前置摄像头深度和脸部跟踪网格API

Question

刚看过新的iPhone X公告，前置摄像头的感应和跟踪技术是否向开发者开放？一个Snapchat面罩被全世界展示在舞台上，不知道这是否是使用ARKit

Answer 1

是的，它对开发者开放。

如果你现在看ARKit docs page，你会发现它被分成世界跟踪和人脸跟踪部分（加上两个共同点）。世界追踪是在WWDC上宣布的 - 通过背景照相机在您周围世界的AR内容中“穿过”您的设备。

脸部追踪AR特定于iPhone X和TrueDepth相机。正如您在这些文档中看到的那样，它使用ARFaceTrackingConfiguration而不是其他配置类。它通过ARFaceAnchor对象为您提供实时信息。

在脸部锚文档中，它看起来像有两种方法来获取脸部信息。 geometry为您提供了可以显示的3D网格，或者用于将纹理映射到脸上 - 这大概是Snapchat演示用于在主题演示中制作摔跤蒙版的原因。 blendShapes会给你一些动画参数，比如下颚张开多远，左眼是多么眯眼（还有大约50种其他更微妙的东西）......他们谈论使用它来给木偶或头像设置动画，所以这就是可能Animoji是如何工作的。

苹果也发布了a sample code project showing how to do all of these，所以你可以看看代码，得到一个想法如何自己做。 （即使没有iPhone X也无法运行代码）。

Answer 2

下面是使用iPhone上的X的TrueDepth相机为例：https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences

和一个全新的会话：Face Tracking with ARKit #601

创建基于脸部的AR体验

使用iPhone X上的TrueDepth相机在用户的脸部之后放置和制作3D内容并与其面部表情匹配。

此示例应用程序提供了一个简单的界面，允许您使用TrueDepth前置摄像头在设备上选择四个增强现实（AR）可视化（请参阅iOS设备兼容性参考）。

• 单独的摄像头视图，没有任何AR内容。
• ARKit提供的人脸网格，可自动估算真实世界的定向照明环境。
• 虚拟3D内容似乎附加到（并被用户的真实脸部的部分遮挡）。
• 一个简单的机器人角色，其面部表情动画以匹配用户的面部表情。

==>检查题为“对用户的面部将3D内容”为你的第二个用例的部分。