虚拟现实技术知识点总结

#虚拟现实技术知识点总结| 来源: 网络整理| 查看: 265

一、概论

虚拟现实技术是指采用以计算机技术为核心的现代高新技术，生成逼真的视觉、听觉、触觉一体化的虚拟环境，参与者可以借助必要的装备，以自然的方式与虚拟环境中的物体进行交互，并相互影响，从而获得等同真实环境的感受和体验。

1.基本特征想象性沉浸感交互性 2.虚拟现实系统的分类桌面式VR系统沉浸式VR系统增强式VR系统：部分真实环境由虚拟环境取代，减少构成复杂真实环境的开销；分布式VR系统：基于网络的虚拟环境，多个用户同时参加一个虚拟现实环境 3.虚拟现实系统的组成三维的虚拟环境产生器及其计算部分由各种传感器构成的信号采集部分由各种外部设备构成的信息输出部分二、虚拟现实系统输入设备 1.跟踪定位设备

作用：能够实时地测量用户身体或其局部的位置和方向，并将其作为用户的输入信息传递给虚拟现实系统的主控计算机，从而根据用户当前的视点信息刷新虚拟场景的显示。

分类

常用：电磁跟踪器，光学跟踪器，超声波跟踪器其他：机械跟踪器、惯性跟踪器、GPS跟踪器

如何描述对象在三维空间中的位置和方向？？

六自由度：物体在三维空间运动时，具有6个自由度；其中，3个用于平移运动，3个用于旋转运动。 **平移自由度：**X，Y，Z坐标值**旋转自由度：**俯仰角，横滚角，航向角

性能指标

精度：指对象真实的三维位置与跟踪器测量出的三维位置之间的差值。抖动：指当被跟踪对象固定不变时，跟踪器输出结果的变化偏差：指跟踪器随时间推移而累积的误差延迟：动作与结果之间的时间差电磁跟踪器原理：利用磁场的强度来进行位置和方向跟踪

交流电发射器由3个互相垂直的线圈组成，当交流电在3个线圈中通过时，就产生互相垂直的3个磁场分量，在空间传播。

接收器也由3个互相垂直的线圈组成，当有磁场在线圈中变化时，就在线圈上产生一个感应电流，接收器感应电流强度与其距发射器的距离有关。

优点缺点其敏感性不依赖跟踪方位延迟较长不受视线阻挡的限制跟踪范围小体积小，价格便宜容易受环境中大的金属物体或其他磁场的影响，信号发生畸变，跟踪精度降低

在这里插入图片描述

超声波跟踪器

在这里插入图片描述

测量方法飞行时间法（TOF）：是基于三角测量的，周期性地激活各个发射器轮流发出高频的超声波，测量到达各个接受点的飞行时间，由此利用声音的速度得到发射点与接受点的之间的九个距离，再由三角运算得到被测物体的位置。相位相干法（PC）：各个发射器发出高频的超声波，测量到达各个接受点的相位差来得到点与点的距离，再由三角运算得到被测物体的位置（声波是正弦波，发射器与接受器的声波之间存在相位差，这个相位差也与距离有关）该测量方法是基于相对距离的，无法得知目标的绝对距离，每步的测量误差会随时间而积累，绝对距离必须在初始时候由其它设备校准。优点缺点不受环境磁场的影响更新率慢不产生电磁辐射超声波信号在空气中的传播衰减，影响跟踪器工作范围价格便宜发射器和接收器之间要求无阻挡背景噪声和其他超声源会破坏跟踪器的信号光学跟踪器标记方式从外向里看从里往外看

在这里插入图片描述

优点缺点在近距离内非常精确且不受磁场和声场的干扰要求光源与探测可视不受金属物质的干扰跟踪的角度范围有限较高的更新率和较低的延迟惯性跟踪器原理：利用牛顿运动定律确定方向和位置部件：陀螺仪：测量对象的方向变化速率加速度计：能够测量物体的加速力优点缺点不存在发射源，不怕遮挡快速积累误差由于重力场，容易产生噪声与校准错误，位置和方向会发生偏移机械跟踪器工作原理：通过机械连杆装置上的参考点与被测物体相接触的方法检测其位置变化

在这里插入图片描述

GPS跟踪器组成部分空间部分：GPS卫星系统地面控制部分：地面监控系统用户设备部分：GPS信号接收机（终端）优点缺点拥有全球范围的有效覆盖面积信号受建筑物影响较大，衰弱很大系统比较成熟定位精度相对较低定位服务比较完备 2.虚拟现实系统的交互接口手势接口：测量用户手指实时位置的设备实例：数据手套——数据手套设有弯曲传感器，一个节点对应一个传感器三维鼠标数据衣 3.快速建模设备 3D摄像机：通常采用两个摄像镜头，以一定间距和夹角记录影像的变化，模拟人的视觉生理现象 3D扫描仪

接触式扫描仪

非接触式扫描仪

激光式扫描仪

光学式扫描仪

三、虚拟现实系统输出设备 1.图形显示设备人类视觉系统的特性中央凹和聚焦区立体视觉视场与会聚角：一只眼睛的水平视场大约150°，垂直视场大约120°；双眼水平视场大约180°，垂直视场大约 120°

在这里插入图片描述

在视场中，当目光聚焦在固定点 F上时，视轴和固定点F的连线之间的夹角确定了会聚角，如右图所示。这个角度同时也依赖于左眼瞳孔和右眼瞳孔之间的距离，这个距离称为内瞳距（IPD）。

补充：视角

在这里插入图片描述

分辨率视觉暂留：人眼观看物体时，成像于视网膜上，并由视神经输入人脑，感觉到物体的像。但当物体移去时，视神经对物体的印象不会立即消失，而要延续0.1～0.4秒的时间， 2.头盔显示器组成显示器光学透镜（LEEP镜片，使用输出成像极其宽阔的透镜）三个自由度的空间跟踪定位器

在这里插入图片描述

工作原理通常由两个LCD或CRT显示器分别显示左右眼的图像，这两个图像由计算机分别驱动，两个图像间存在着微小的差别，人眼获取这种带有差异的信息后在脑海中产生立体感。 3.沉浸式立体投影系统（大屏幕三维立体投影显示系统）根据沉浸程度的不同，可以分为下面几种单通道立体投影系统

能够显示优质的高分辨率三维立体投影影像；是一种低成本、操作简便、占用空间较小、具有极好性能价格比的小型虚拟三维投影显示系统。

在这里插入图片描述

多通道环幕立体投影系统

具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率，以及更具冲击力和沉浸感的视觉效果。在这里插入图片描述

CAVE投影系统

该系统可提供一个同房间大小的四面（或六面）立方体投影显示空间，供多人参与，所有参与者均完全沉浸在一个被三维立体投影画面包围的高级虚拟仿真环境中，提供给使用者一种前所未有的带有震撼性的身临其境的沉浸感。

在这里插入图片描述

球面投影系统

视野非常广阔，覆盖了观察者的所有视野，从而令使用者完全置身于飞行场景中，给人身临其境的沉浸感。

在这里插入图片描述

4.立体眼镜有源立体眼镜无源立体眼镜（光的偏振）

在这里插入图片描述

5.声音定位

在这里插入图片描述

6.触觉反馈手指触觉反馈装置视觉式充气式振动式电刺激式神经肌肉刺激式四、虚拟现实的关键技术 1.立体高清显示技术

它使用户在虚拟世界里具有更强的沉浸感，立体高清显示技术的引入可以使各种模拟器的仿真更加逼真。

立体视觉的基础：两只眼睛存在视差立体显示的实现：对同一场景分别产生相应于左右眼的不同图像，让他们之间具有一定的视差借助相关技术，使左右双眼只能看到与之相应的图像立体显示技术从时间特点上分为：同时显示技术分时显示技术立体显示技术的设备分类立体眼镜被动立体眼镜（主要用于同时显示技术）彩色眼镜，基本原理：拍摄时，模拟人眼位置从左右两个视角拍摄出两个影像，以滤光片重叠投影到同一画面上。放映时，用户佩戴相应的补色眼镜进行观察。缺点：由于滤光镜限制了色度，造成用户色觉不平衡，产生解决疲劳偏振光眼镜

在这里插入图片描述

+ ##### 主动立体眼镜（主要用于分时显示技术） + ##### 液晶光阀眼镜（快门式3D眼镜） + 基本原理：显示屏分时显示左右眼对应图像，并通过同步信号发射器及同步信号接收器控制观看者所佩戴的液晶光阀眼镜。当显示屏显示左（右）眼图像时，左（右）眼镜片透光而右（左）眼镜片不透光，这样双眼只能看到相应的图像。

在这里插入图片描述

立体头盔裸眼立体光栅式自由立体显示体显示全息投影显示

基本原理

拍摄过程：利用干涉原理记录物体光波信息成像过程：利用衍射原理再现物体光波信息 2.三维建模技术几何建模

形状建模

人工几何建模利用现有的图形库建模利用建模软件建模自动几何建模（利用三维扫描设备对物体进行扫描建模）

外观建模

虚拟对象外表的真实感主要取决于它的表面反射和纹理用纹理映射技术处理对象的外表物理建模分形技术可以描述具有自相似特征的数据集通过简单的操作就可以完成复杂的不规则物体的建模计算量太大粒子系统就是将人们看到的物体运动和自然现象，用一系列运动的粒子来描述，再将这些粒子运动的轨迹映射到显示屏上，在显示屏上看到的就是物体运动和自然现象的模拟效果了。运动建模

对象位置

碰撞检测

层次包围盒法

在这里插入图片描述

+ 空间分解法

在这里插入图片描述

五、三维虚拟声音技术及交互技术立体声、立体环绕声、三维虚拟声音的差别立体声：有左右声道之分，但就整体效果而言，立体声音来自听者面前的某个平面立体环绕声：保留原信号的声源方向感，并伴随产生围绕感和扩展感的音箱效果，可使空间声源由线扩展到整个水平面三维虚拟声音：来自围绕听者双耳的一个球形的任何地方，即出现在头的上方，后方，前方等三维虚拟声音的主要特征全向三维定位特性是指在三维虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。使用户准确判断声源的精确位置三维实时跟踪特性是指在三维虚拟空间中实时跟踪虚拟声源位置变化或景像变化的能力。比如当头部转动时，虚拟声源的位置也随之变化

沉浸感与交互性

语音识别技术

当通过一个话筒将声音输入到系统中，系统把它转换成数据文件后，语音识别软件开始以输入的声音样本与事先储存好的声音样本进行对比工作。声音对比工作完成之后，系统输入一个它认为最“像”的声音样本序号，由此确定刚才的声音是什么意义，进而执行此命令。

完整的语音识别过程语音特征提取声学模型与模式匹配语言模型识别与语言处理语音合成技术实现方法拼接技术收集整理大量人们的语音，形成一个庞大的语音资料库根据人们输入的文字在资料库找到对应的进行拼接成一个完整的句子输出缺点：依托一个庞大的语音库耗时，效果逼真度差统计参数合成技术利用数学模型统计出一个语言的特色重建出声音的波形好处：不需要大量的资料库缺点：合成的声音不真实基于深度学习的语音合成 WaveNet使用卷积神经网络学习输入样本的特征，根据学习到的特征产生相应的语音缺点：速度太慢；需要文本前端的支持，前端分析出错，将直接影响合成效果。 Deep Voice 的做法是仿照传统参数合成的各个步骤，将每一阶段用一个神经网络模型来代替。那整个模型就是一个大的神经网络。人机交互技术概念：人机自然交互技术是指在计算机系统提供的虚拟环境中，人应该可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互的技术。手势识别输入设备基于数据手套的识别利用数据手套和空间位置跟踪定位设备来捕捉手势的空间运动轨迹和时序信息。基于视觉（图像）的识别系统通过摄像机连续拍摄手部的运动图像，然后采用图像处理技术提取出图像中的手部轮廓，进而分析出手势形态面部表情识别

步骤

人脸图像的检测与定位表情特征提取静态图像特征提取序列图像特征提取模块匹配表情识别在这里插入图片描述

眼动跟踪眼电图角膜反射接触镜等语音识别六、三维全景技术全景是一种使用相机环绕四周进行360度拍摄，将拍摄到的照片拼接成一个全方位、全角度的图像全景可分为两类虚拟全景现实全景三维全景：基于全景图像的真实场景虚拟现实技术，也称虚拟现实全景优势真实感强比平面图片能表达更多的图像信息沉浸感生成方便，制作周期短，成本低全景图的分类柱形全景

在这里插入图片描述