未来两年的VR

我的第一次尝试VR，恰逢Oculus Rift开始众筹，媒体宣称“VR元年”的时候。那是在成都的一次综合性展会上。但说真的，我已经对展会上的其他展品毫无印象，唯一让我记忆犹新的是一个方便面摊位，那里我买了一份作为宣传赠品的汤达人。那碗方便面给我留下了深刻的记忆，尽管多年后的再尝试，却并没有当初那么美味。当然，展会上还有人展出了Oculus Rift，作为那个时代的高价新奇玩意，我自然兴冋满满地去试用了一番。但实际体验并不尽如人意，其模糊的画质和严重的纱窗效应让我颇为失望，再者，它只有三个自由度，仅能在原地转动头部，无法带来真正的VR体验。

第二次尝试VR是因为一个朋友购买了PS VR。相比初创企业，索尼的声名显然更加响亮，开发能力也更强。然而，那时候的晕动症问题还没有被充分理解，每当我尝试移动，我都会感到晕眩到无法忍受。这一痛苦的经历进一步加深了我对VR的负面印象。后来，我在Facebook总部的面试中又试用了一次VR，但问题依然存在。我一直觉得它只不过是一个依赖手机供应链的产品，各种组件基本上是直接使用，简单组装而已。也难怪后来有那么多的冒牌VR公司，例如著名的暴风影音。

我始终觉得，我们离VR设想的愿景还很遥远。因为晕动症的痛苦经验，我对VR的移动方式持深深的怀疑。实际上，我第一次对VR设计产生兴趣的是看到Beat Saber，因为它巧妙地避免了移动的问题。这让我想起智能手机初期一些创新的手游设计，如利用陀螺仪模拟驾驶方向盘，或利用多点触控的优势，通过手指滑动而不是现在流行的虚拟摇杆。Beat Saber充分利用了硬件的优势，创造了只有这种设备形态才能实现的优秀游戏设计。然而，从另一个角度来看，这也仅仅是应对目前问题的权宜之计。如果VR想要有所突破，就必须开发出更有效的移动方式。我之前看到有人正在研发全向跑步机，我深信，只有当全向跑步机普及，VR技术才能真正进入大众视野。

对AR的误判

在过去，我一直对AR抱有极大的期待，主要是因为AR能更有效地解决晕动症问题。你可以看到周围的环境，虚拟物体在真实环境上增加，使得大脑不会因为感官混乱而感到眩晕。我记得当年看到Hololens问世，我确信它在三年左右就能实现大规模应用。然而现实证明，我大大低估了光学设计的难度。我曾以为，SLAM是实现AR的最大挑战。实际上，随着AI技术的发展，SLAM的精确度远超我的预期。另外，由于自动驾驶的需求以及iPhone上激光雷达的应用，激光雷达的小型化和成本降低的速度比任何人想象的都要快。在短短几年时间内，激光雷达的价格从几十万降低到了几百。而小型化的低端激光雷达价格更是便宜。随着手机行业的发展，AR在手机上的表现越来越出色。那么，为什么AR仍然难以普及呢？

答案在于显示技术。相比于VR这种封闭环境，AR的光路设计难度更高。因为VR是封闭环境，环境光被遮蔽，一般来说，只要能达到100-200nit的亮度就足够了。此外，VR并不需要强调便携性，光路可以设计得更大，效率更高。然而，AR需要在开放环境中使用，亮度要求高达上千nit。如果想在户外使用，亮度可能需要增加一个数量级。在现有几种竞争的光学设计中，自由曲面提供了更好的颜色和更大的FOV，但体积过大，难以接受。在体积和显示效果之间权衡，大多数厂商都选择了光波导，尤其是衍射光波导。然而，其效率过低，光在传输过程中会损失能量，由于需要扩瞳，整个光路的效率仅有1/5000。这时，大多数显示设备都无法使用，所以现在，Hololens和Magic Leap只能使用Lcos和Mems快慢镜。然而，我们并非没有希望，未来可能成功的MicroLED能够有几百万nit的亮度，可能可以解决部分问题，但是其生产成本和均匀度问题仍然存在。现在已经有大量的厂商在攻克试图转移问题，相信在未来可以克服。

问题并非仅在于光机，因为红绿蓝三原色的频率不同，同一光路对不同频率的光的处理很难做到一致。如果我们为每种颜色单独设计一个通道，那么重量就变得无法接受。并且，由于生产工艺误差，三个镜片的装配不一致也会产生彩虹纹问题。另外，为了雕刻足够小的光栅，这些镜片需要非常精细的制造技术。目前，人类的大规模精密制造技术只有光刻和纳米压印，用于制造精密镜片仍有很大难度。只能说，从目前的技术水平来看，AR还有很长的路要走。

迎来转折点的VR

尽管增强现实（AR）技术面临许多难题，但在显示技术方面，虚拟现实（VR）技术的挑战相对较少。得益于分辨率和帧率的提升，晕眩感也在逐渐减轻。过去，使用VR需要连接一根线，但现在，随着WiFi 6的普及，一体机的数量也在逐渐增加，串流效果也在不断提升。然而，现在还有一个问题需要解决，那就是VR设备体积太大、重量过重。虽然现在的分辨率相比几年前有了质的飞跃，但还是不够清晰。而手柄追踪技术由于AI的发展，已经有了显著的进步。例如，Oculus Quest通过手柄中的惯性传感器、视觉定位和AI插值已经可以做到和传统的从外部向内部的光学追踪技术相近，但如果要实现全身追踪，那就更加困难。

这些问题正在逐一得到解决。不可否认的一点是，下一代VR头显设备，无论是苹果、Facebook还是Valve，都选择了MicroOLED作为显示技术。与传统显示面板将有机发光材料蒸镀到玻璃基板上的方法不同，MicroOLED将这些材料蒸镀到晶圆上。显然，这种制造方式的缺点是与芯片制造流程非常相似，尽管它不需要先进的制程，但芯片的成本与晶片的面积成正比，这就意味着大面积的MicroOLED不太可能实现。不过，优点也是显而易见，由于晶圆的电路可以更小，像素密度可以大大提高。在头显领域，我们通常用像素密度（ppd）来衡量分辨率。iPhone 4的视网膜屏幕的ppd约为60，而目前一些头显的ppd约为20。而现在市场上少数MicroOLED产品如Arpara的ppd大约在30，而高端的Varjo能达到70，已经达到人眼无法分辨的程度。

近期的一个重大突破是Pancake折叠光学技术的量产，这项技术的供应链来自于3M。在此之前的光学设计主要是基于菲涅耳透镜。相比于之前的凸透镜，菲涅耳透镜已经小了很多。然而，现在的头显设备重量仍达到了一斤，这让人难以接受。幸运的是，有了Pancake光学设计，光线在镜片间反复反射，从而减小了光路，例如Arpara，这种头显的体积可以做到传统头显的一半左右。对于研发能力更强的大公司来说，他们可能能让头显设备更小。

当然，这两项技术并非没有代价。更复杂的光路设计意味着更高的能量损耗。当前大多数MicroOLED是依赖颜色透镜实现颜色的，这意味着白光通过滤镜时，大约70%的光线会被过滤掉，所以其效率只有30%。再加上OLED的调光有其占空比，标称亮度很难达到，这将导致亮度损失一个数量级。光线在透镜间反射时，每次反射都会损失部分光线，所以这种光路的效率也只有10%。尽管我们人在一个封闭环境中，只需200nit左右的亮度就可以，但总的来说，MicroOLED需要的亮度在几万到几十万的量级，能生产出这样的屏幕是有难度的，但并非无法实现。

另一项至关重要的技术是眼部追踪。假设下一代头显每只眼睛的标准分辨率是4k * 4k，那么总的渲染分辨率就类似于8k。这样的分辨率是任何显卡都难以承受的。然而，我们可以记住DX12发布时的一个特性，即可变速率渲染（VRS）。如果我们将眼球追踪和VRS相结合，就可以将计算力集中在眼睛注视的地方。人类的视野可以达到近200度，但实际上清晰的视野只有40度左右。这样可以大大节省计算力。当然，如果我们有了眼球追踪和口部追踪，就可以重建表情，这对于VRChat等应用非常有帮助。

Quest2的成功预示了一个趋势，即一体式VR将取代有线的PCVR。一体式VR的最大优势就是没有线，使用方便。然而，由于VR对性能的要求极高，如果我们想要高性能的VR体验，我们仍然需要PC提供的高计算能力。这个矛盾，Wigig给我们提供了一个答案。Wigig并不是一个新技术，其载波为60GHz，波长大约5毫米，IEEE编号是802.11ad，但这个版本的带宽并不多，大约只有不到10Gb，和Wifi 6e的带宽差距并不大。然而，去年中，Wigig的最新标准802.11ay通过，同样的60GHz载波，但带宽增加到了40-50Gb。值得注意的是，最新版本的HDMI2.1的带宽也大概只有这么多。总的来说，这个标准的出台为无线PCVR提供了一种可能性。

从供应链角度看，苹果也未能解决光波导的问题，因此选择了通过VR加上see through方式来解决。这种方法有一定的问题，我们是通过摄像头看到外部世界，这带有一定的风险。稍微的延迟都可能导致我们感到头晕，甚至产生危险。此外，由于是摄像头重建的画面，我们容易失去对外部世界的距离感，这会导致虚拟物体的效果比真实物体的效果更好。然而，这些问题都是可以弥补的。这种AR虽然难以在户外使用，只能在特殊情况下使用，但相比之下，光波导的彩虹纹和小得令人难以理解的FOV，这种解决方案至少能在特定情况下为客户提供可用的解决方案。