导读：比来，元宇宙火了！

“元宇宙”是美国科幻小说家尼奥·斯蒂文森1992年在《雪崩》中提出的概念，书中设定现实天下中的人在收集天下中都有一个兼顾，这个由兼顾组成的天下就是“元宇宙”。现在，随着虚拟现实技术的成长，元宇宙逐步从科幻走入现实。

本文将先容虚拟现实的焦点概念、行业利用以及相关的开辟技术。

作者：王寒 张义红 王少笛

来历：华章科技

01 什么是虚拟现实

我们凡是所说的“虚拟现实”一词实在包括了多个技术分支，如AR/VR/MR等。

AR是Augmented Reality的缩写，凡是被称为增强现实。AR的界说很普遍，技术品种众多。今朝支流的AR是指经过装备识别和判定（二维、三维、GPS、体感、面部等识别物）将虚拟信息叠加在以识别物为基准的某个位置，并显现在装备屏幕上，从而实时交互虚拟信息。

VR是Virtual Reality的缩写，凡是被称为沉醉式虚拟现实。VR为用户供给了完全沉醉式的体验，利用户有一种置身于实在天下的感受，是一种高级的、理想化的虚拟现实系统。

除了我们凡是领会的AR和VR这两个名词之外，行业内实在还有MR和XR的说法。MR是Mixed Reality的缩写，即夹杂现实，指的是合并现实和虚拟天下而发生的新的可视化情况。在新的可视化情况里，物理和数字工具共存，并实时互动。

XR是Extended Reality的缩写，即扩大现实。现实上，XR是AR/VR/MR等各类形式的虚拟现实技术的总称。它分为多个条理，包括从经过有限传感器输入的虚拟天下到完全沉醉式的虚拟天下。

2014年，Facebook对Oculus的收买盘活了全部行业。2019年，Facebook推出的Oculus Quest让无数人眼前一亮，可谓“当前VR一体机产物中的俊彦”。2020年9月，Facebook公布Oculus Quest2，并公布在2021年周全停产Oculus Rift PCVR系列产物。

2015年，微软公布第一代HoloLens全息眼镜，在单一机身中融合了CPU、GPU和全息处置器，并在2019年推出更增强大的HoloLens 2。

在2017年的WWDC上，苹果推出了专门为打造增强现实体验而开辟的框架ARKit，以及面向AI的CoreML。同年，Google推出了和苹果ARKit功用类似的ARCore。

2019年9月，华为在旗舰手机Mate 30 Pro的公布会上重磅推出了自家的VR眼镜产物，为业界所看好。

可以预见，未来的虚拟现实产物将不再区分AR/VR/MR，而是一种融合性的产物。与此同时，虚拟现实的实时扫描、情况感知和衬着技术将需要借助野生智能技术，出格是计较机视觉和深度进修的帮助。

虚拟现实技术自诞生以来利用于多个范畴—从军事到航空航天，从教育到文娱游戏，从医疗到旅游，等等。从今朝来看，融合了5G/AI等技术的AR/VR装备有望取代智妙手机的计较模块。

02 虚拟现实的技术根本

虚拟现实是一种综合性技术，由三大类技术组成，别离是立体显现技术、3D建模技术和自然交互技术，如图1-1所示。

▲图1-1 虚拟现实的三大技术根本

本节将向大师简单先容以上3种技术的相关常识。

1. 立体显现技术

立体显现技术以人眼的立体视觉道理为根据。是以，研讨人眼的立体视觉机制、把握立体视觉的纪律，对设想立体显现系统是非常需要的。假如想在虚拟天下看到立体的结果，就需要晓得人眼立体视觉发生的道理，然后再用一定的技术经过显现装备复原立体结果。

1）HMD技术

HMD（头戴显现）技术的根基道理是让影象透过棱镜反射以后，进入人的双眼在视网膜上成像，营建出在超短间隔内看超大屏幕的结果，而且具有充足高的剖析度。

头戴显现器凡是具有两个显现器，而两个显现器由计较机别离驱意向两只眼睛供给分歧的图像，再经过人的大脑将两个图像融合以获得深度感知，从而发生立体的图像。

支流的沉醉式虚拟现实头戴装备，包括Oculus Rift、Oculus Quest、HTC Vive、Sony Playstation VR、3Glasses、Pico VR等，大多基于双显现屏技术。

那末，微软的黑科技产物HoloLens又是基于什么道理呢？

先来看看HoloLens，它相当于Google Glass的升级版，可以看做是Google Glass和Kinect的合体产物。它内置了自力的计较单元，经过处置从摄像头所捕捉的各类信息，借助自创的HPU（全息处置芯片），透过层叠的彩色镜片建立虚拟物体影象，再借助类似Kinect的体感技术，让用户从一定角度和虚拟物体停止交互。

依靠HPU和层叠的彩色镜片，HoloLens可以让用户感遭到这些全息图像间接投射到了现实场景中的物体上。当用户移动时，HoloLens借助普遍利用于机械人和无人驾驶汽车范畴的SLAM（同步定位与建图）技术来获得情况信息，并计较出玩家的位置，保证虚拟画面的稳定。

2）全息投影技术

全息投影技术可以分为投射全息投影和反射全息投影两种，是全息摄影技术的逆向展现。和传统立体显现技术操纵双眼视差的道理分歧，全息投影技术可以经过将光芒投射在空气大概特别的介质（如玻璃、全息膜）上显现3D影象。人们可以从任何角度旁观影象，获得与现实天下中完全不异的视觉结果。

今朝，我们看到的各类表演中所利用的全息投影技术都需要用到全息膜或玻璃等特别的介质，需要提早在舞台上做各类紧密的光学安插。这类表演的结果灿艳非常，但本钱高昂、操纵复杂，需要操纵职员停止专业练习。

3）光场成像技术

奥秘的Magic Leap采用了所谓的“光场成像”技术。从某种意义上来说，该技术可以算作“准全息投影”技术。其道理是用螺旋状振动的光纤构成图像，并间接让光芒从光纤弹射到人的视网膜上。

简单来说，就是用光纤向视网膜间接投射全部数字光场（Digital Lightfield），发生所谓的“电影级现实”（Cinematic Reality）。

2. 3D建模技术

为了打造完善的虚拟现实体验，我们需要从零起头构建虚拟天下，或将现实生活中的场景转化成虚拟天下的一部分。那末，这类虚拟天下若何构建呢？

今朝来说，3D建模首要经过3D软件、3D扫描和光场捕捉等方式来实现。

1）3D软件建模

简单来说，3D软件建模就是经过各类三维设想软件在虚拟的三维空间构建出具有三维数据的模子。这个模子又被称作3D模子，可以经过3D衬着技术以二维的平面图像显现出来，或是经过计较机模拟，或是经过3D打印装备构建。

除了游戏之外，3D软件建模还普遍利用在影视、动画、修建和产业产物的设想中。今朝在游戏、影视和动画范畴，最常用的3D设想软件包括3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等，而在修建和产业产物设想中，最常用的是AutoCAD、Rhino等。

纯真利用3D软件建模的题目在于，一方面高度依靠建模师小我的技术熟练度，另一方面临于现实天下的很多场景、物体和人物没法做到精准复原，很轻易进入“可骇谷”的瓶颈当中。

2）3D扫描建模

在构建虚拟现实天下时，除了利用常规的3D建模技术和实景拍摄技术之外，我们还可以利用3D扫描技术将实在情况、人物和物体停止快速建模，将实物的立体信息转化成计较机可以间接处置的数字模子。

3D扫描仪是操纵3D扫描技术将实在天下的物体或情况快速建立数字模子的工具。3D扫描仪有多品种型，凡是可以分为两大类：打仗式3D扫描仪和非打仗式3D扫描仪。

3）光场捕捉建模

光场捕捉建模技术最早利用于Ren Ng开办的Lytro，它经过在单个传感器前放置微透镜阵列实现多个视角下画面的收集，但这类计划会致使分辨率大大下降。

近几年，还有一种计划被Facebook Reality Labs、微软MR工作室、上海叠境、深圳普罗米修斯和微美全息等公司采用，即利用上百个相机的多相机阵列和深度相机组成内环抓拍系统，并对工具停止全方位拍摄，通太高速处置的AI算法和静态融合的系统实时分解工具的立体模子。

需要留意的是，利用3D扫描和光场捕捉建模技术所获得的3D模子与行动动画照旧需要利用支流的3D设想软件停止前期处置。利用3D扫描或光场捕捉技术可以大猛进步3D建模效力，削减前期工作量，并实现更加实在的结果。

3. 自然交互技术

随着VR/AR时代的到临，传统的交互方式已经远远不能满足人们的需求。是以，模仿人类本能的自然交互技术成为虚拟现实技术的重要根本。虚拟现实要实现完善的沉醉感，需要用到哪些自然交互技术呢？

1）动捕

为了实现和虚拟现实天下中场景和人物的自然交互，我们需要捕捉人体的根基行动，包括手势、脸色和身材活动等。

实现手势识别、脸色、动捕的支流技术分为两大类，一类是光学动捕，一类是非光学动捕。光学动捕技术包括自动光学动捕和被动光学动捕，而非光学动捕技术包括惯性动捕、机械动捕、电磁动捕和超声波动捕。

2）眼动追踪

眼动追踪的道理实在很简单，就是利用摄像头捕捉人眼或面部的图像，然后用算法实现人脸和人眼的检测、定位与跟踪，从而预算用户的视野变化。今朝，我们首要利用光谱成像和红外光谱成像两种图像处置方式，前一种需要捕捉虹膜和巩膜之间的表面，后一种则需要跟踪瞳孔的表面。

3）语音交互

在和现实天下交互的时辰，除了眼神、脸色和行动交互外，还有语音交互。一个完整的语音交互系统包括对语音的识别和对语义的了解两大部分，不外人们凡是用“语音识别”一词来概括。语音识别包括了特征提取、形式婚配和模子练习三方面的技术，触及的范畴包括信号处置、形式识别、声学、听觉心理学、野生智能等。

4）触觉交互

触觉交互技术又被称作所谓的“力反应”技术，在游戏行业和虚拟练习中一向有相关的利用。具体来说，它会经过向用户施加某种力、震动等，让用户发生加倍实在的沉醉感。触觉交互技术可实现在虚拟天下中缔造和控制虚拟的物体，比如远程操控机械或机械人，甚至模拟练习外科练习生停止手术。

5）嗅觉及其他感受交互技术

在虚拟现实的研讨中，对视觉和听觉交互的研讨一向占据支流职位，对其他感受交互技术的研讨则相对被轻忽。今朝，已经有一些研讨机构和创业团队在动手处理这些题目。

6）脑机接口

脑机接口（Brain Computer Interface，BCI）就是大脑和计较机间接停止交互，偶然辰又被称为认识–机械交互、神经直连。脑机接口是人大概动物的大脑和内部装备建立间接毗连的通道，分为单向脑机接口与双向脑机接口。

• 单向脑机接口只答应单向的信息通讯，比如只答应计较机接收大脑传来的号令，大概只答应计较机向大脑发送信号（比如重建影象）。
• 双向脑机接口则答应大脑和内部计较机装备实现双向的信息交换，比如Neurosky（神念科技）的Brainlink。它可以收集大脑发生的生物电信号，并经过esense算法获得利用者的精神状态参数（专注度、放松度）等，实现基于脑电波的人机交互，或是俗称的“意念控制”。

Neuralink公司属于侵入式技术的代表，其产物经过在大脑中植入微型电极和芯片，收集人脑1500个点发生的神经元信号。Neuralink公司利用了一种被称为“神经织网”的技术，该技术经过一种特制的“缝纫机”将只要头发丝1/10粗细的线植入大脑，这类线可以像人的神经一样高速传输各类数据。

虽然植入式技术的难度更大，但在信息的捕捉和传递方面加倍精准、牢靠，成长空间不成限量。依照马斯克的想法，脑机接口装备的短期方针是治疗一些常见的脑部疾病，终纵方针则是让人类和野生智能技术融合，实现人机交互。

关于作者：王寒，资深苹果平台开辟者、国内较早的iOS与VR/AR利用开辟者、腾讯课堂讲师、知乎专栏“灵猫学编程”作者、蛮牛游戏开辟专栏作者。著有《Cocos2D威望指南》《虚拟现实：引领未来的人机交互反动》《Unity AR/VR开辟：重新手到专家》等书。

张义红，香港理工大学博士，东华大学信息学院副院长、副研讨员，首要研讨偏向为增强现实、图像处置与形式识别。

王少笛，魔珐科技技术负责人、虚拟数字人摸索者、国内首批虚拟现实爱好者、知乎专栏“行动捕捉技术”作者。曾任职于赛隆空间科技，担任产物设想与开辟总负责人，首要面向市场支流装备（HTC VIVE、Oculus、Hololens等）开辟教育类相关利用。

本文摘编自《Unity AR/VR开辟：实战高手练习营》，经出书方授权公布。

延长阅读《Unity AR/VR开辟》

保举语：周全的Unity3D技术，让小白读者也能轻松上手AR/VR开辟。