一文看懂XR技术扩展现实人类交互的终极形式

一文看懂XR技术扩展现实人类交互的终极形式

大家好,我是零日情报。

本文首发于公众号零日情报机构,微信ID:lingriqingbaoju。

对于未来技术的安全研究,零日可能会迟到,但永远不会缺席。 今天我们就来聊聊最近热议的XR技术。

然而,这个XR不是那个XR。 我们要谈的不是苹果iPhone XR的安全问题,而是扩展现实(XR – Extended Reality),一种据说属于未来的新技术。

VR/AR/MR/XR 有什么区别?

作为科技安全圈的老司机,你一定有过VR或者AR的经历。 许多爱好者甚至花重金购买VR/AR设备。 但新型 MR 和 XR 是什么? 别急,我们先简单说一下VR/AR/MR/XR之间的区别。

混合现实心肺复苏_混合现实XR_混合现实相机是什么意思

第一张图片。 乍一看,扩展现实(XR)是VR/AR/MR的集合,因此有人将扩展现实(XR)的定义为“计算机图形和可穿戴设备生成的所有真实和虚拟环境”来指代XR 。 “X”被理解为一个变量。

也就是说,现在有AR/VR/MR,未来可能还会有BR(Baffle Reality)、CR(Cinematic Reality)、DR(Deceive Reality)等“R”技术。 。 (当然,这只是零日的随口评论,能否实现还得看技术专家的意见。)

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

言归正传,扩展现实XR是涵盖三种技术的总称,与VR/AR/MR有所不同:

首先,VR也被称为虚拟现实(Virtual Reality)。 说白了,就是虚假的现实。 具体来说,是指利用计算机模拟三维空间,通过感官模拟出一种沉浸感和临场感,就像把人带入一个虚拟的模拟世界一样。

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR

但就纯粹的图像内容而言,与观看普通的3D电影没有什么区别; 因此,虚拟现实VR内容与传统3D图像的区别在于人与图像内容的交互感。

(这和《盗梦空间》类似,徜徉在90°折叠的城市里,可以欺骗眼睛、五种感官和大脑,整个过程高能科幻,但一切都是假的!)

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR

至于AR增强现实(Augmented Reality),则是现实世界的Pro版。 简单来说,就是在现实空间中植入虚假内容,将虚拟信息(物体、图片、视频、声音等)映射到现实环境中。

显然,VR带你经历一次精神上的时空旅行,而AR则再现了现实中高楼大厦的海市蜃楼。

混合现实相机是什么意思_混合现实心肺复苏_混合现实XR

最后,MR,即混合现实(MediatedReality),可以直接视为VR/AR的结合,因为它指的是现实与虚拟世界融合而产生的新的视觉环境。

举个简单的例子,当你下班回家,戴上MR设备看一部暴力美剧时,施瓦辛格就会跳出传统屏幕,吹着胡子,盯着你面前。 无论你搬到哪里,他都只会对你行动。 。

“R”技术现在能做什么?

在几种XR技术中,可以说AR拥有最大的公众基础。 至于它能做什么? 仅 AR 应用程序就可以让您大开眼界。

(1)增强现实游戏

现实与现实的融合,娱乐至死,催生了AR游戏的极致体验,也促成了AR游戏在全球的流行。 从技术上来说,脱胎于增强现实技术的AR游戏,在多动态标记、HDR反射、遮挡与碰撞、GPS技术的加入下,终于突破了现实与现实的界限。

混合现实心肺复苏_混合现实XR_混合现实相机是什么意思

AR游戏《哈利波特:巫师联盟》

2016年,任天堂与Niantic联合开发的《Pokémon Go》风靡各国,进一步加速了AR在游戏领域的发展。 哈利波特等经典IP已经开始将AR游戏化。

混合现实相机是什么意思_混合现实心肺复苏_混合现实XR

AR游戏“机器”

(2) AR相机

游戏之外,镜头下还有一个AR的世界。 2019年,字节跳动旗下AI实验室开发了一项名为Landmark的技术,利用3D视觉技术对室外场景进行检测和计算,以最快的时间呈现这种AR特效。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

上海东方明珠塔“天空之城”和重庆“朋克洪崖洞”地标AR效果

如今,这项技术已经在抖音App中得到应用。 拍摄城市地标时,可以体验这种AR特效。 除了自拍方向的一些AR相机研究之外,不得不说字节跳动将AR相机技术带到了世界。 进军新一代短视频创作领域。

(3) AR导航

传统导航已不再新鲜,AR导航正在计划取代它。 2019年,谷歌推出了谷歌地图AR导航。 视野正前方的AR场景带来了全新的“平视”导航体验,开启了扭转“低头”潮流的新风潮。

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR

ARCity 导航应用程序

除了谷歌地图AR之外,AR City、Moovit等“AR导航”也相继出现,甚至汽车也开始开发AR导航应用。 交通应用开发商 Moovit 还将 AR 引入其移动应用中,帮助用户直观地找到车站。 这使得用户更容易直观地找到站点和电台。

(3) AR军事

除了游戏、相机等娱乐休闲民用发展外,AR技术也逐渐渗透到军事领域。 早在2018年,美国陆军就一次性采购了10万副HoloLens AR眼镜,用于作战任务和士兵训练。

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR

此后,AR技术逐渐向军用市场发展,北美、欧洲、亚太、中东、非洲和南美六个AR军用市场迅速出现。 其中,仅北美AR军用市场就聚集了Google LLC、Applied Research Association Inc.等大量公司。

从游戏到工具,从民用到军事应用,“R”技术的作用远不止表面上看到的那样。 仔细研究还会发现,技术应用离不开扩展现实XR带来的焕发感官体验。

未来,XR可以模拟哪些感官体验?

谈到技术带来的感官检验,扩展现实XR和VR/AR/MR三大技术中最突出的是视觉,其次是听觉、触觉、嗅觉、味觉和“第六感”,总共六种经历。

(一)视觉体验

眼睛是最直观、最难欺骗的,而扩展现实XR带来的视觉体验也根据VR/AR/MR的差异在呈现上有所不同。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

首先,VR中看到的图像完全是虚拟的,看不到真实的环境,因此存在两个视角:体验者和旁观者。

从一个亲身经历过的人的角度来看,佩戴该设备让你成为这个世界上的勇敢者,就像这样。

混合现实相机是什么意思_混合现实XR_混合现实心肺复苏

但在围观的人眼里,你却是这个样子。

混合现实心肺复苏_混合现实XR_混合现实相机是什么意思

至于AR技术的视觉体验,就是看到虚拟内容出现在现实环境中,这有点类似于在现实环境中玩网络CS,比如这样。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

说到MR,视觉体验包括AR和VR。 虚拟内容可以映射到真实环境中,虚拟图像也可以使用设备进行处理。

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思

(2)听觉体验

音乐爱好者都知道,杜比音效、无损音质,XR技术下的聆听体验带来了3D版的沉浸式音频体验。 简单来说,声音从四面八方传来,你每分钟都站在舞台中央听着音乐。

混合现实相机是什么意思_混合现实XR_混合现实心肺复苏

你见过这个过山车吗? 除了视觉刺激之外,您听到的声音也经过处理,最大限度地模拟现实生活中的音频。

(3)触摸体验

所谓触摸,就是指接触所引起的反应。 XR技术的触摸体验是模拟人类接触的感觉。 比如,当你穿上装备,手上什么都没有的时候,感觉就像捏鸭子、撕桌子一样。

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思

(4)气味体验

在XR技术领域,模拟气味虽然比较新,但研发机构也不少。 原理解释起来并不复杂。 就是通过更换气味设备,根据你看到的、触摸到的反馈最接近的气味。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏

听起来气味体验没什么,但真正体验起来就不一样了。 你“看到”有人递给你一束鲜花,你伸手去接,确实感受到了花的重量,然后你闻到了花的香味。

(五)味觉体验

不要感到惊讶。 XR技术模拟味道的能力确实存在。 至于如何实现呢?

让我们从味觉开始。 我们都知道味觉来自舌头。 事实上,味觉体验也可以借助视觉、听觉、嗅觉甚至记忆来模拟。

说到吃饭时的味觉,最直观的味道呈现方式是舌头,但如果想要复制味觉体验,可以从眼睛、耳朵甚至记忆开始。

混合现实相机是什么意思_混合现实心肺复苏_混合现实XR

Aerobanquets RMX 用餐体验

聪明的研究人员正在研究气味、颜色、形状和其他因素来增强味觉体验。 詹姆斯·比尔德基金会最近推出的 Aerobanquets RMX 通过 XR 体验模拟味觉感知。

(6)第六感

别慌,零日所说的其实是对事故的正常感知,即意识的“第六感”。 然而,“第六感”体验的实现必须通过XR技术中的机器学习和人工智能来实现。

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR

解释有点复杂,但我可以举个例子。 例如,医生在进行手术之前,首先使用XR技术来模拟手术。 这时,机器学习和人工智能将提供咨询服务,以提高手术的成功率。

XR会遇到哪些安全问题?

其实不用谈零日,大家也都明白,技术既有优点也有缺点。 由于XR的核心是模拟人类的感官,因此最终的安全隐患或威胁是人类自己。

接下来零日将从安全角度谈谈XR在数据安全和漏洞攻击方面给人们带来的威胁:

(1) 数据威胁

与让我们陷入信息泄露漩涡的传统电子设备和应用相比,XR设备不仅收集常规数据,还收集大量详细的隐私数据,例如用户的声音、习惯、交互、外表、注意力等。 。 一旦这些更多的个人数据被利害关系方窃取,只需稍加分析就可以生成人的图像,从而进行精准攻击。

(2)隐藏漏洞

老粉丝都知道零日一直说漏洞无处不在,并不是危言耸听。 这个老问题在XR技术中也存在。 由于XR技术广泛应用于游戏、购物、建筑、医疗、教育等专业领域,黑客顺着“漏洞”首先破坏视觉图像,可能会显示错误数据或篡改图像。 ,威胁级别可能与当前的网络攻击相同。

零日反射

零日一直强调技术发展中安全第一。 尽管XR技术的普及还有很长的路要走,但这并不妨碍我们现在就开始夯实安全基础。 否则,就等到大楼建成后,再研究如何抵御攻击,成本和难度。 但现在是倍数了。

零日情报机构工作