编译/VR陀螺

2024 年，在 Brian Tong 的 YouTube 视频中首次出现了 Vision Pro 设备上的 FaceTime 通话，其展示出逼真的虚拟化身令人印象深刻。那么苹果是如何如此精准地捕捉到嘴巴等部位的表情呢？一项专利揭示了其中的奥秘。

本月早些时候，苹果的一项国际专利申请公布，该专利涉及电子设备用户面部和/或手部姿态配置的确定方法、系统和设备，例如识别头戴式设备（HMD）用户脸颊、下巴、嘴唇、舌头、手部等部位在三维空间中的位置。

其公开了多种用于区分用户面部变形、手部姿态配置以及用户头部、面部和/或手部表面或组织几何形状上各点三维位置的设备、系统和方法。

这些面部和/或手部姿态信息可用于在扩展现实（XR，如 VR 或 AR）环境中提供内容，例如虚拟内容。通过 XR 头戴设备利用一个或多个天线获取的射频信号，可以区分用户的面部变形、手部姿态配置及相关表情，并据此预测用户的面部配置，如脸颊、下巴、嘴唇、舌头等三维关键点，以及手部姿态配置。

专利主要聚焦于 Vision Pro 设备，其头戴式设备可包括头戴式显示器、抬头显示眼镜、具有透明镜片的 AR 眼镜、矫正视力眼镜等。设备的一个或多个天线可位于或集成在头戴设备的某个部位，如 XR 头戴设备的底部。用户头部、面部或手部的特征，如面部表情或手部姿态，可与一个或多个天线进行介电式和非接触式交互，从而使用户面部或手部姿态的变化体现在天线的自谐振频率和/或性能上。XR 头戴设备可测量这些自谐振频率和/或性能的值，所获得的数据可用于配置个性化形象、解读用户面部/手部，甚至用于唯一标识用户。个性化形象可包括用户的照片写实形象、抽象形象（如用户的动画形象）、各种类型的虚拟化身等。

此外，为减少用户手部、面部覆盖物（如胡须、口罩等）及环境所带来的干扰，一些实施方案中的一个或多个天线采用了具有方向性辐射模式的设计，该模式基于从天线发出的射频波强度的角依赖性。部分实施方案采用了缝隙天线，其在某些场景下具有低剖面和结构简单的优势。还有些实施方案采用了可折叠的缝隙天线，为放置次级天线提供了位置。例如，有的在 XR 头戴设备中心放置了垂直极化的 U 形缝隙天线，在侧面放置了水平极化的天线。部分实施方案中，一个或多个天线利用散射参数来描述线性电气网络在各种稳态激励下的电气行为。有些实施方案还采用了机器学习模型和基于规则的模型，以及运动传感器输入等额外机制，以考虑头部/手部的方向（如胸部前倾等）对相关干扰的影响。

以下以图 3A 为例，该图展示了头戴设备如何利用天线获取的射频信号来预测用户的面部配置。图 3A 是头戴设备（#300）的底部视图，其底部（#301）装有天线（#302a 和 302b）。

这些天线可通过低剖面的 3D 打印底座（楔形结构 #312）略微朝向用户面部进行安装。采用上述正交定位的交叉极化天线系统有助于降低环境噪声，提高信号分辨率，从而更好地捕捉嘴巴和手部的多种运动细节，例如嘴巴闭合、露齿微笑，或手指和关节的运动等。

面部和/或手部姿态表情虽不一定需要高帧率，但高分辨率扫描有助于区分不同的嘴部或手部姿态。而说话时的嘴部运动虽迅速，但只需较低分辨率即可捕捉到嘴部运动的整体轮廓。对此，可在特定频率范围内采样 31 个点，从而在 8.5 FPS 下获得 124 个值。

来源：patentlyapple