XR 中注视追踪技术:现状、应用与发展趋势

什么是注视追踪技术?这项技术是一种用于获取人眼注视的位置和注意力的专业性技术,在部分领域、比如 XR 领域都有落地应用。这篇文章里,作者就尝试对 XR 技术领域中的注视追踪技术的现状、应用与发展做了解读,一起来看。

此外,文章还探讨了该技术在视觉效果改进、用户交互体验等领域应用,并详细说明了目前主流 HMD 产品中使用的不同注视追踪方案。最后,文章提出了目前该技术面临的挑战和未来发展趋势。

引言:注视追踪技术是一项专业性工具,用于获取人眼注视的位置和注意力。它基于神经生理学和心理学原理,通过观察眼球运动来揭示个体对不同事物的关注程度以及信息获取与加工过程。

本文将介绍注视追踪技术的定义、实现方法以及在视觉效果改进、用户交互体验等领域的广泛应用。同时,我们还将探讨目前主流 HMD 产品中采用的不同方案,并分析该技术面临的挑战和未来发展趋势。

随着科学研究和市场需求的不断变化,注视追踪技术有望持续创新并推动扩增现实(XR)技术领域向前发展。

注视追踪技术是一种用于获取人眼注视的位置和注意力的专业性技术。它基于神经生理学和心理学的原理,通过观察并分析眼球运动来揭示个体对不同事物的关注程度以及信息获取与加工过程。

这种方法使用外置设备(例如红外摄像头或光仪)来捕捉被测试者眼睛移动的轨迹,并计算出准确且精细的注视点坐标。这些外部传感器可安装在监测系统、移动设备或虚拟现实头显中。其优势包括高度精准、广泛适应性以及非侵入式特点,因此适合用于研究实验室环境和市场调查等领域。

此方法借助内置于智能手机、平板电脑或虚拟现实设备等产品之中已有的相机和其他相关硬件来检测用户目光所集中之处。通过利用图像处理或计算机视觉技术 [ 1 ] ,内置传感器能够追踪眼球运动并获取注视点数据。此方法的优势在于使用便捷且与现有设备无需额外配件,适合进行用户体验研究、市场调查及个人生活习惯分析等实际应用。

通过上述介绍我们可知道,注视追踪技术是一种专业性工具,可以帮助我们了解人类对事物的注意力集中程度和思维加工过程。其实现方法包括外部传感器和内置传感器两种方式,各自具有特点和适应领域不同,并可广泛应用于实验室环境和市场调查。

注视追踪技术在游戏开发、虚拟现实和增强现实等领域有着广泛的应用。 [ 2 ] 通过准确地捕捉用户眼球的注视点,可以使系统对用户焦点所在的区域进行更精细和高保真度的渲染。这种技术为电影特效、计算机动画和游戏体验带来了巨大突破,能够让用户更加沉浸于虚拟世界中,并提供出色的观看体验。

在人机交互方面,注视追踪技术也起到了重要作用【3】。通过监测用户眼睛移动轨迹,可以预测他们感兴趣或关注的元素,并将相关信息及时展示给他们。这能够显著降低用户寻找目标物品或信息而产生的头部或手臂运动量,从而减少运动疲劳并提高工作效率。此外,在需要精确操作时(如 CAD 设计、医学手术等),注视追踪技术也能够提供更准确的目标选择和交互指令,从而改善用户操作精度。

通过上面的例子我们可以知道,注视追踪技术在视觉效果改进和用户交互体验等方面具有广泛的应用。它可以实现对用户关注区域的精准渲染,提升游戏、虚拟现实及增强现实的真实感和逼真度。同时,通过监测眼球运动轨迹,该技术还能够降低用户运动疲劳,并大幅提高操作精确性,在工作效率和用户体验方面带来显著改善。

OculusRiftS(如图四)和 OculusQuest 系列使用了基于外部传感器的光学窥探方法,通过红外摄像头来捕捉用户眼球运动轨迹并提供高精度的注视点数据。这种方案可以实现较大范围且准确地跟踪眼睛移动,为虚拟现实体验增添真实感。

HTCVive(如图六)和 VivePro(如图七)系列采用了基站式光学定位系统,通过安装在房间角落或其他适当位置上的红外标签进行定位。此方案可以提供更广泛而稳定的跟踪范围,并能够以较快速度跟随用户眼球移动。

PlayStationVR(如图八)利用内置传感器与可见光信号处理算法相结合,记录和分析被测试者的眼球运动情况。该方法具有较低成本、无需额外硬件支持等优势,并在游戏市场取得了一定成功。

ValveIndex(如图九)采用了外部红外摄像头和基于反射技术的传感器,以获得更高精度和跟踪速率。这种方案在准确性、延迟和用户体验方面提供了最佳的结果,并被认为是目前注视追踪技术中最先进的解决方案之一。

运动跟踪范围和角度覆盖程度:不同产品可能有所差异,在设计或游戏应用中,对于眼睛运动范围和观察角度是否能够完全捕捉十分关键。

绝对定位与相对定位能力:某些解决方案可以根据用户位置进行绝对定位(例如基站式系统),而其他解决方法仅支持相对位置变化监测(例如内置传感器)。具体需求取决于应用场景。

成本考量:硬件设备成本也是选择注视追踪技术时需要考虑的一个重要因素。不同方案的成本和可行性会根据产品型号、制造成本以及特定市场需求而有所差异。

目前主流 HMD 产品中使用了各种不同类型的注视追踪技术,包括基于外部传感器的光学窥探方法、基站式光学定位系统以及内置传感器结合可见光信号处理算法等。每种方案都具有优势和适用领域,并可以通过运动跟踪范围、跟随速率、绝对 / 相对定位能力以及成本等因素进行评估比较,以满足特定需求或应用场景。

当前的注视追踪技术在高动态环境和快速移动中仍然面临一定的挑战。由于用户眼球运动非常快速且多样化,系统需要能够提供高精度和实时性数据以满足交互体验或研究需求。

要使注视追踪技术真正实用并在各种现场应用中可靠地工作,关键在于其稳定性和准确性。包括设备校准、误差纠正以及光线干扰等因素都需要得到有效处理,从而确保持久的稳定使用,并减少可能导致不正确结果或误导诊断的错误读数。

对于长时间使用或移动设备而言,注视追踪设备必须具有良好舒适感以避免对用户产生疲劳感并限制他们活动自如。因此,在未来发展过程中,注重设备的舒适度和轻便程度已成为一个关键挑战。

随着新一代硬件和材料技术的不断进步【4】,注视追踪技术将会变得更小巧、轻盈,并且能够提供更高性能。这将使其在移动设备等体积限制较大或对于外部传感器存在困难的应用领域中得到广泛应用。

注视追踪技术有潜力推动各种新兴应用场景。其中,基于视线追踪使用注释增强现实 ( AR ) 是一个具有巨大发展潜力的领域。通过精确地跟踪用户目光,可以将虚拟信息与真实世界相结合,为用户提供个性化而沉浸式的增强现实体验。【5】

在未来发展过程中,注视追踪技术需要面对并解决因头部或手臂运动引起眼球运动干扰的问题。通过研究和改进算法,技术可以更好地解决这一挑战,提高使用体验,并提供更准确可靠的注视点数据。

注视追踪技术面临着高精度与实时性需求、技术稳定性和可靠性保证以及设备舒适度和轻便程度等挑战。然而,随着内置传感器技术的不断发展,注释追踪将变得更小、更轻盈并具有更强大功能。此外,在增强现实领域应用中探索基于视线跟踪的新机遇将成为未来发展趋势之一,并通过改进运动干扰问题以提高使用体验。

注视追踪技术在头戴式显示器(HMD)中扮演着至关重要的角色。通过准确地捕捉用户眼球运动和注视点位置,该技术能够提高虚拟现实(VR)、增强现实(AR)和混合现实(MR)等体验。【6】它可以为虚拟场景提供更真实、沉浸式的效果,并显著改善交互性与操作精确性。无论是在游戏、娱乐、培训还是医疗等领域,注视追踪技术都可以大幅增强用户的参与感和使用体验。

在未来,我们预计注视追踪技术将持续创新并推动扩展风格 ( R ) 领域向前发展。随着科学研究及市场需求不断变化,我们可以预见以下趋势:

更先进而高度精准的算法:通过应用人工智能 ( AI ) 和机器学习 ( ML ) ,可使注视追踪技术变得更加智能化,从而实现更准确、准实时的注视点捕捉和分析。

硬件创新:随着尺寸缩小和性能提升的需求不断增长,预计将会出现更小巧、更轻盈且功能强大的传感器设备。这些硬件创新将进一步改善用户体验,并促使 XR 技术走入日常生活。

多模式交互:以眼球为主导的注视追踪技术可能与手势识别、声音控制等多种交互方式相结合,从而形成全方位且个性化的用户体验【7】。

可见,上述发展趋势将推动注视追踪技术在 HMD 中不断取得突破,并引领 XR 技术领域向前发展。通过持续创新、算法优化和硬件进步,我们有理由相信未来注视追踪技术将成为真正普及并满足广泛应用需求的核心技术之一。

[ 2 ] 朱博 . 视线追踪技术及其在驾驶员与乘客监测系统中的应用研究 [ D ] . 东北大学 ,2013.

[ 3 ] 刘静 . 浅析三维动画特效在动画电影中的应用研究 [ D ] . 东北师范大学 ,2013.

[ 5 ] 周明 . 技术创新对手机产业发展和手机企业市场绩效的影响研究 [ D ] . 湖南大学 ,2016.