每个人脑子里都自带一个导航系统，这就是通常所谓“方向感”。生理学研究表明，这套导航系统位于人脑的海马体里。在古老的采集渔猎时代，人类经常需要离开居住地外出寻找食物，通常男性负责渔猎，女性负责采集，但无论如何分工，那些不擅长认路和记忆路线的人总是会被大自然无情淘汰。当然，由于农业社会并不需要人类具备敏锐的空间方位记忆能力，所以那些“路盲”“路痴”也就并没有被彻底淘汰，其结果就是人类——尤其是现代人——的自我导航能力，和大自然的很多动物——例如每年都要飞行几千公里进行迁徙的帝王斑蝶——比明显相形见绌。据史书记载，中国西汉时期汉匈战争中汉军就多次在草原、荒漠上迷路，导致几次战役失利。

然而我们是人，是善于总结经验教训、擅长寻找规律应用规律和发明工具的智人。我们发明了很多辅助导航和定位的工具，尤其是那些航海民族，他们需要在茫茫无际的大海上知道自己的方位，从而避开危险的海域并能到达自己预期的目的地。最早投入应用的那些导航辅助方法中，毫无疑问应该包含天上的星星，特别是北斗七星。

那么在VR的世界里，是如何进行方位定位的。

这里说的6dof追踪，也就是6自由度。

自由度（DoF）与刚体在空间内的运动相关，可以解释为“物体移动的不同基本方式”。

自由度总共有6个，可分成两种不同的类型：平移和旋转。

1. 旋转运动

刚体可以在3个自由度中平移：向前/向后，向上/向下，向左/向右。

 2.平移运动

刚体可以在3个自由度中平移：向前/向后，向上/向下，向左/向右。

因此，3种类型的平移自由度+3种类型的旋转自由度 = 6自由度！

在任意一个自由度中，物体可以沿两个“方向”自由运动。例如，电梯限制在1个自由度中（垂直平移），但电梯能够在这个自由度中上下运动。同样，摩天轮限制在1个自由度中，但这是旋转自由度，所以摩天轮能够朝相反的方向旋转。

我们可以继续举例子，比如说主题公园。碰碰车总共有3个自由度：它只能在3轴中的2条里平移（无法像电梯那样上下移动）；然后它只能以一种方式旋转（无法像飞机那样纵摇和垂摇）。 所以2个平移+1个旋转=3自由度。

无论有多复杂，刚体的任何可能性运动都可以通过6自由度的组合进行表达。例如在你用球拍击打网球的时候，球拍的复杂运动可以表示为平移和旋转的组合。

定位追踪是硬件与软件的组合，能够监测物体的绝对位置。这对VR而言非常重要，因为结合定位追踪，系统可以测量和报告真实意义上的6自由度。 由于虚拟现实是模拟（修改）现实，所以我们需要准确地追踪对象（如头部或手部）是如何在现实世界中移动，这样系统才能在VR世界中实现精确的映射。

惯性测量单元（IMU）是一种通过传感器组合（加速度计、陀螺仪和磁力计）来测量和报告速度、方向和重力的电子设备。IMU过去的主要应用之一是作为飞机火箭仪表设备，但现在它们已经应用于一系列电子设备，比如说智能手机。IMU的成本已经出现了大幅下降，遗憾的是，IMU在实际应用中只能准确地测量和报告方向值（旋转），无法处理平移，随着时间推移，如果没有外部校准，IMU很快会出现漂移的情况，但也有一定的算法，结合磁力计进行校准，保持一定的时间内的准确。所以现在也有一些全身追踪的方案，是用几个IMU，就做出不错的追踪效果的。

6个IMU就可以组合成下半身追踪。也可以用闲置的手机替代，目前的手机都具备这个IMU。

当然，上面说了，单靠IMU无法做到完美的6dof追踪，需要在3dof的基础上，补充平移运动的另外3dof，才能做到完全的6dof，才能让VR沉浸度够好。下面我们来说说各种补充的方法。

1.Outside-in和Inside-out 追踪

说不同的追踪方法之前，要先说下两种不同的追踪方法大类。

所谓的Outside-in 就是由外向内追踪。这种追踪方法的特点就是追踪平移移动的传感器在主要传感器在外部。使用放置在静止位置并朝向被跟踪对象（例如头戴式设备）的摄像机或其他传感器，该物体在摄像机相交的视觉范围定义的指定区域周围自由移动。

其中的代表产品就是当年VR元年的三大PCVR设备。其中除了PSVR的追踪是单摄像头，而且是可见光的光球追踪，效果非常差之外，另外两种系统至今依然是比Inside-out系统 精度高，并且因为是在这个摄像头基站的范围内是无死角的360度追踪，在某些游戏和企业应用，还是这两者占优。

所谓Inside-out就是从内向外追踪。它通过用于确定物体在空间中位置的相机或其他传感器的位置，将自己与由外向内跟踪区分开来。在由内而外的位置跟踪中，摄像头或传感器位于被跟踪的设备（例如HMD）上，而在由外而内，传感器放置在静止位置。

目前看来，随着VR一体机的兴盛，Inside-out是现在的主流方向，因为其追踪摄像头安置在头盔上，当使用的时候，无需繁琐的布置基站，而且定位的范围几乎是无限大的，这对于游戏玩家非常的友好。但也带来定位算法的问题，因为摄像头在头上，那么背后和其他地方有死角，而且处理芯片只有一体机孱弱的性能，这对厂家的追踪算法提出了很高要求。

2.Valve 灯塔(Lighthouse)基站 定位系统

上面说到惯性导航技术的问题在于累积误差。由于陀螺仪测量的是当前的加速度，所以无法纠正已经形成的误差。随着时间的推移，再微小的误差在有增无减的趋势下也会积累到无法忽略的程度。这一点对于短时间飞行的导弹来说不是致命问题，但轰炸机、潜艇、远洋货轮需要在长时间巡航后精确定位，否则船只会触礁，飞机会偏航，更不用说精细到亚毫米级别的VR环境。只有不断地重新校正才能解决问题。

这种重新校正的办法自古就有。

在茫茫大海上到了黑夜一片趋黑，或者在迷雾重重里，看不到星光。根本辩不清方向。在海岸或礁石处设立灯塔就可以为过往船只提醒。灯塔是在高处利用远射灯光提醒过往船只。作为一种路标起到提醒作用。

而Valve做的技术的这个技术就叫灯塔(Lighthouse)。一开始是和HTC一起做出的1.0量产版本。后来的2.0版本，就应该是V社自己生产的了（质量也开始下降）。

这里说下1.0版本基站的原理，2.0把2个马达变成一个，转速提高，并且取消闪烁提醒灯。

灯塔定位系统中有两个基站，每个基站上面有两个马达，其中一个马达往水平方向扫射，另外一个朝垂直方向扫射。

基站刷新的频率是60赫兹，基站a上面的马达1首先朝水平方向扫射，8.33毫秒之后，第二个马达朝垂直方向上扫射（第二个8.33毫秒），然后基站a关闭，接着基站b重复和基站a一样的工作……

这样只要在16ms中，有足够多的sensor点同时被垂直和水平方向上的光束扫到，这些sensor点相对于基站基准面的角度能够被计算出来，而被照射到的sensor点在投影平面上的坐标也能够获得。同时，静止时这些点在空间中的坐标是已有的，可以作为参考，这样就能够计算出，当前被照的点相对于基准点的旋转和平移，进一步的得出这些点的坐标，这其实也是一个PnP问题。

进一步的，再融合IMU上获得的姿态，就能够较准确的给出头盔或者手柄的姿态和位置

在上一步中计算出来的头盔/手柄的位置和姿态信息，通过RF传递到和PC相连的一个接收装置，该装置再通过USB接口，把数据上传到PC端的driver或者OpenVR runtime，最后上传到游戏引擎以及游戏应用中。

这种追踪技术能达到很高的精度，详情看下面文章。

Inside-out与Outside-in定位实测：原来它才是最强王者

上面可以看出基站定位超高的追踪效果，是消费级的第一。

3.Oculus 星座（Constellation）定位系统

不过，地球是圆的，而灯塔只能在一个固定范围使用，灯塔几十公里外就会沉入地平线，所以大部分海洋看不到灯塔。这也是Valve 灯塔(Lighthouse)基站 定位系统的缺点，无法之后进行廉价方便的扩展。

Oculus采用的是基于Camera的定位方案，被称为Constellation（星座）。

没错，观察星座在人类的导航的历史发挥了重要作用，日间用星盘定位太阳角度指示方向，夜晚用星座定位大致位置。发展到现在出现了人造卫星，在近太空进行导航。

而在Oculus头盔和手柄上都布满了红外sensor，以某个固定的模式在闪烁。如同星星在闪烁一般。

通过特制的camera以一个固定的频率(Oculus CV1是60fps)拍摄，得到一组图片。系统通过这些点在图片上的二维位置，以及已知的头盔或者手柄的三维模型，反推出点在三维空间中的位置。这个过程可以进一步的细分成以下的步骤，

　　首先，为了确保准确的定位到头盔和手柄上的LED，PC端的Oculus Camera软件/驱动程序通过HID接口发送某个命令点亮LED，该亮度足以被Camera捕捉到，同时这些LED以某个特殊的模式闪烁。这样能确保即使有遮挡的情况下，在不同的角度下，只要有足够多的LED被拍摄到，整个的tracking系统就能正常工作，不会被环境中的其他噪声信号所影响。

　　然后是记录下每一个被捕捉到的LED的位置和方向。

当然，为了做好定位，Oculus camera本身并不需要LED的颜色，只需记录每个点的明暗，所以 Oculus Camera固件中记录下的的图像为 752×480像素, 像素格式为 Y8灰阶，每一幅图看起来如下：

　拿到头盔上的LED在二维图片上的位置，又有头盔上Sensor的三维模型，有什么办法可以估算出这些点的三维位置?这本质上是一个Pnp解算的问题，有了n个3D点的模型(就像上面提到的LED点在头盔上的3D分布)， camera拍摄下来的n个2D点的集合，再加上camera本身的内部的参数，可以推算出这些点的位置坐标(X,Y,Z) 以及姿态(Yaw，Pitch，Roll)。

　　这个点的集合到底有多大?这是一个寻求最优解的问题，常见的做法是n>=3，也就是图片上只要拍到三个以上的LED，就能够解算出相关的姿态和位置。考虑到遮挡或者拍摄的照片不够清楚等因素，实践中看，至少要拍摄到4-5个点，整个头盔的姿态和位置才能被正确的算出，这也是为什么在Oculus的头盔上布满了很多LED点的一个重要原因。

　　算出来的数据有误差怎么解决?一个常见的办法是得到6DOF的数据之后，用该数据再做一次投影，产生新的2D图像，把该图像和我们开始用来计算的图像进行比较，得到一个误差函数，应用该函数来进行校准。不过这带来另外一个问题：点进行比较的时候，你怎么知道3d模型上的点，和拍摄到的二维图像上的点之间的匹配关系?如果做一一对应的全匹配计算的话，计算量太大。所以Oculus采用的办法是采用不同的闪烁模式，来快速匹配3d模型上的点和拍摄到的图像上的点。

　　进一步，在姿态估计的问题上面，通过光学(camera图片)得到的姿态会有误差，而这种误差主要来自于物体快速移动时捕获到的照片上的点识别的困难。为了减少这种误差，需要通过IMU信息来进行一步校准通过PnP解算得到的姿态，这就是所谓的Sensor数据融合。

　　从上面的描述可以看出来，基于camera的光学定位技术，安装配置比较简单，成本也比较低，但是图像处理技术较为复杂，物体移动较快时识别物体的位置有比较大的困难，同时容易受到自然光的干扰。

　　另外，基于Camera的定位精准度受到Camera本身分辨率的限制，比如Oculus Rift的Camera为720p，比较难以提供亚毫米级的精准定位。

　　最后，Camera自身能够捕捉到的照片的距离比较近，不能应用到很大的房间位置，一般都只能提供桌面级别的VR定位。

目前这套系统做的RIFT CV1设备由于外置摄像头追踪的原因，仍然是Beat Saber大佬打光剑榜单的首选机器，足以见得其追踪对超快速的手柄运动追踪优势。

上面说的，摄像头是在基站上面的，也不能移动，只能提供房间大小的，但如果把摄像头装到头盔上面呢，那不就是自由了？

4.微软 Windows MR 定位系统

由微软制定的MR标准（Microsoft Windows VR），由戴尔、宏碁、联想、惠普等OEM厂商生产设备，微软专心打造平台、生态、以及核心体验。

这就是“WindowsMR平台”。

这是首款看到的摄像头放到头盔上面进行6dof定位的头手6dof设备。

这种策略下，在当时，VR设备的价格到达了一个相对廉价的地步。

这种设备装了2个低分辨率的RGB彩色广角摄像头，进行Inside-out也就是从内向外追踪。

通过2个摄像头进行追踪自身头盔在环境下的位置，以及两只可见光手柄的位置，这样就可以得出相对于头盔的位置，得出头手6dof信息。

从目前看来，Inside-out是现在的主流方向，因为其追踪摄像头安置在头盔上，当使用的时候，无需繁琐的布置基站，而且定位的范围几乎是无限大的，这对于游戏玩家非常的友好。但也带来定位算法的问题，处理芯片只有一体机孱弱的性能，这对厂家的追踪算法提出了很高要求。而且因为摄像头在头上，那么背后和其他地方有死角问题，MR系列最大的败笔就是2颗RGB摄像头，死角很大。

而且是可见光手柄，上面的白光对于环境的区分度不够大，摄像头很多时候不确定是不是追踪到手柄，让MR系列的手柄体验十分糟糕，在之后的惠普G2升级到4个摄像头后，手柄追踪依然很拉跨。

既然微软不靠谱，那么谁能一锤定音呢，就得轮到收购了oculus的Facebook出手。

在2019年发布的OUCLUS QUEST1和RIFT S上搭载的Oculus Insight（洞察）系统就给我们指明了方向。

它采用了基于计算机视觉的SLAM技术，可提供准确度达毫米级的追踪效果。

它们是怎么做到的？

首先可以明显看到头盔上摄像头的增加，quest有4个，RS到了5个（头上有一个），摄像头的增加，带来追踪的可视角度的增加，让追踪的死角减少。

其次，算法才是更重要的，为此Facebook组建了一个由软件经理，机器感知架构师，工程经理的团队。

为了提高系统的追踪精度和速度，他们构建了全新的计算机视觉算法。做到了以下步骤，

一，他们同时在各种样本环境中录制了数千小时的视频，然后用来训练系统识别其环境中的特征。例如，通过定位和追踪沙发的角落或桌子的边缘，Oculus Insight可以实时地对一个人在房间内的确切位置进行三角测量（类似于人眼检测对象的方式）。

二，团队同时利用了非常精确的OptiTrack动捕阵列，一种用于好莱坞视觉特效制作的相同类型设备。通过对比OptiTrack和Oculus Insight的测量数据，工程人员能够微调系统的计算机视觉算法，从而实现毫米以内的追踪精度。

三，收购，

Insight所采用的技术中有很多诞生自实验室，而且Kozminski的团队中有许多工程师来自于苏黎世联邦理工学院和苏黎世大学联合组建的公司Zurich Eye，这家公司在2016年被Facebook收购，曾专注与研究基于计算机视觉的自动导航系统。

Linde在高效SLAM领域有足够多经验，他曾经是13th Lab的联合创始人之一，这家公司曾在2011年展示过当时世界首例用于移动AR游戏的SLAM技术，后来在2014年被Facebook收购。

四，暴力跑超算

通过收集到的数据，在超级计算机下，进行各种模拟，得出最优算法，并且压缩到移动处理器芯片都可以跑的程度。

其实在刚发布的时候，还是有一些问题，但在几个月后，收集到用户足够多的反馈信息后，都优化好了。

对于Quest来讲，在帮助它实现一体化的同时，Insight也为其提供了对大空间追踪的支持。

不过Facebook认为Insight追踪并不只是消费级VR的趋势，当Oculus Insight技术与AR结合，终将为未来的设备提供全新的体验，甚至为轻量化AR眼镜打下基础。

虽然目前一体机和PC VR都趋向于摄像头SLAM追踪模式，但由上面的Oculus Insight技术可知，如果不是有绝对的资本优势，无法做到很好的手柄追踪效果，甚至使用光学追踪反而效果极差。那么有没有不用摄像头参与的手柄追踪系统呢，答案就在下面。

目前在消费级产品中，只有PICO NEO2用了电磁追踪手柄。

其在手柄内置了一颗巨大的电磁线圈

通过产生不同方向的电磁信号，让头盔中的接收单元接收到后，进行多次运算，就可以知道手柄的位置。

其优点就是绝对不丢，在1米范围内，由于电磁线圈产生的电磁波是可以穿透人体的，所以不会出现遮挡丢失的情况。在我使用NEO2的时候就明显感受到这点，一种神奇的感觉，你无论是放着肩部还是下巴，背后都不丢。其次是因为没有两个定位环，手柄只是两个棒子，不会出现射击时手柄打架问题。

当然缺点还是有很多，最大的问题是成本问题。这项技术是PICO购买来的。采购自Northern Digital（简称NDI）是加拿大滑铁卢市（Waterloo）的3D测量设备制造商。

可以看到线圈类似，接收器也是，当然，NEO2并没有照搬，是加以改进的，达到毫米级别的追踪。但专利授权费和特殊采购的接收单元，还有线圈和18650锂电池，让每台NEO2的成本居高不下。

其次，由于电磁追踪的问题，手柄会出现发热的问题，那是因为线圈发电磁波，不是百分百传出去，会有损耗。最后，也是原理上解决不了的问题，电磁波没可见光那么精准。虽然不丢失追踪，但在原地不动的时候，会产生一个抖动的情况，虽然幅度很小，但还是会影响精准度。

上面说到一个好用，奇特，但成本高的技术，下面我们来说下一个反面。

超声波定位主要采用反射式测距法，通过多边定位等方法确定物体位置，系统由一个主测距器和若干接收器组成，主测距仪可放置在待测目标上，接收器固定于室内环境中。定位时，向接收器发射同频率的信号，接收器接收后又反射传输给主测距器，根据回波和发射波的时间差计算出距离，从而确定位置。

我们看到扫地机器人和现在汽车上的都有出现这种传感器。但它适合VR吗？

答案是不太适合。

超声波室内定位精度很高，达到了厘米级，结构简单，有一定穿透性，抗干扰能力强，但超声波受多径效应和非视距传播影响很大，且超声波频率受多普勒效应和温度影响。PICO之前第一代NEO就用了超声波，但在后续使用的时候发现超声波在接近一些物体时，比如墙面，超声波的回声干扰会影响整个定位的精度。发现这个挺难避免和解决，就舍弃了这个方案。

但还是有三家公司用了它，做出了消费级VR一体机。

为什么超声波有如此缺陷，还用呢。

成本，还是成本问题。

这个产品有高通的支持。开放方案的支持几乎为零。

高通有针对845机器的一套方案，所以NOLO SONIC选择使用超声波方案，并不全是成本原因，还有方案齐全。

而高通这套方案是来自于被TDK收购的Chirp Microsystems公司。

他们在2018年就推出超声波追踪方案，并且用在VIVE FOCUS上，进行扩展成6dof设备。

奇遇2pro就是VIVE FOCUS PLUS的换皮作品。

其次，这套追踪方法，基本不用占用移动芯片的性能，HTC说过，超声波方案只用到了一体机（高通835）性能的1%。而且功耗相对摄像头定位，非常低。

当然，这三的追踪表现有目共睹。

感谢呢看到最后，综合来看，目前inside out的红外线追踪是最佳方案，但做好需要雄厚的资本投入，才能做到最好。期待下一代oculus的追踪，手柄加摄像头，自己追踪自己。带来全新的体验。