今天,美国专利商标局正式授予苹果公司一项专利,该专利涉及未来的混合现实头显系统,该系统可以消除影响用户对虚拟现实或混合现实环境的享受和耐力水平(即容忍度)的适应融合不匹配问题。
此外,本月早些时候据The Information报道,苹果的混合现实头显需要连接到另一个设备使用,如iPhone。在今天的授权专利中,苹果描述了他们的混合现实头显可以与MacBook、iMac、iPad或游戏控制器连接,以利用更高端的处理器和GPU。
据苹果公司称,传统的VR和MR系统可能会出现适应性辐照失配问题,导致眼睛疲劳、头疼和恶心等症状出现。当VR或MR系统生成的场景内容与大脑根据用户两只眼睛产生的立体会聚所预期的深度不一致时,就会出现适应性会聚失配。
例如,在一个立体系统中,显示给用户的图像可能会欺骗用户的眼睛,使其在较远的距离上聚焦,而实际的图像是显示在较近的距离上。换句话说,眼睛可能试图聚焦在与投影图像的焦点深度不同的图像平面或焦点深度上,从而导致眼睛疲劳和/或增加精神压力。
适应-辐照不匹配问题是不可取的,因为这可能会分散用户的注意力,或以其他方式减弱他们对虚拟现实或混合现实环境的享受和耐力水平(即容忍度)。这就是苹果公司的专利所要消除的问题。
苹果的授权专利涵盖了混合现实(MR)视网膜投影仪系统的各种实施方案,旨在解决头戴式AR、MR和VR系统中的融合-适应冲突。
专利描述了MR头显(例如,头显、护目镜或眼镜)的实施方案,它可能包括或实现MR系统的不同技术和组件。在一些实施方案中,MR头显可以包括一个反射式全息组合器,以将光引擎的多个(例如三个)投影仪的光引导到与用户的眼睛相对应的眼盒中,同时还传输来自用户环境的光,从而提供一个增强或混合的现实视图。
全息组合器可以记录一系列点对点的全息图;每个投影仪与多个全息图互动,将光投射到眼盒中的多个位置(称为眼盒点)。全息图的排列方式可以使相邻的眼盒点被不同的投影仪所照亮。
在一些实施方案中,在给定时间内只有一个投影仪处于活动状态;当激活时,投影仪将来自相应光源(例如RGB激光)的光投射到其所有的眼盒点上。然而,在一些实施方案中,一个以上的投影仪,或所有的投影仪,可以在同一时间激活。
在一些实施方案中,MR头显可以包括根据各种注视点追踪技术中的任何一种实现的注视追踪组件,例如,可以向控制器提供注视点追踪输入,以便由光引擎投射的光束可以根据主体眼睛的当前位置进行调整。例如,不同的光源和投影仪可以被激活,根据受试者眼睛的当前位置将光线投射到不同的眼框点上。
图源:patentlyapple
苹果公司的专利图5说明了一个混合现实(MR)系统,该系统使用反射式全息组合器将光从多个投影仪导入主体的眼睛,同时也将光从环境传输到主体的眼睛。总的来说,图5说明了视网膜投影仪MR系统的结构、组件和操作。
图源:patentlyapple
苹果公司的专利图6说明了一种MR头显,它包括一个反射式全息组合器,将光从光引擎导入受试者的眼睛,同时也将光从环境中传输到受试者的眼睛。
上述图6所示的控制器#504可以控制光引擎#508的操作。控制器可以集成在控制盒#502中,或者至少部分由通过有线或无线(如蓝牙)连接到控制盒的设备(如个人电脑、笔记本电脑、智能手机、平板设备或游戏控制器等)来实现。
控制器可以包括各种类型的处理器、CPU、图像信号处理器(ISP)、图形处理单元(GPU)、编码/解码器(编解码器)、存储器和/或其他组件中的一个或多个。
例如,控制器可以生成虚拟内容供光引擎投射。注视点追踪组件可以根据各种注视点追踪技术来实现,并可以向控制器提供注视点追踪输入,以便根据受试者眼睛的当前位置来调整光引擎的投影。
图源:patentlyapple
苹果公司的专利图8说明了一个MR系统,它包括一个带有投影仪的头显和一个包含光源的独立控制盒。
欲了解更多细节,请查阅苹果公司的授权专利11,122,256。该专利所列的发明人包括相机设计工程师Richard Tsai,Sr.、光学工程师Paul Gelsinger和高级区域经理Gregory Thomas。