![未来两年的VR](/_astro/DZ2ah14rbceXJCR.B_0bgGMj_Z1Dhswy.webp)
未来两年的VR
一些关于未来两年的VR/AR头显的乱七八糟的想法
![Avatar](/_astro/_avatar.B-jQIxXa_ZRo5Hk.webp)
我的第一次尝试VR,恰逢Oculus Rift开始众筹,媒体宣称“VR元年”的时候。那是在成都的一次综合性展会上。但说真的,我已经对展会上的其他展品毫无印象,唯一让我记忆犹新的是一个方便面摊位,那里我买了一份作为宣传赠品的汤达人。那碗方便面给我留下了深刻的记忆,尽管多年后的再尝试,却并没有当初那么美味。当然,展会上还有人展出了Oculus Rift,作为那个时代的高价新奇玩意,我自然兴冋满满地去试用了一番。但实际体验并不尽如人意,其模糊的画质和严重的纱窗效应让我颇为失望,再者,它只有三个自由度,仅能在原地转动头部,无法带来真正的VR体验。
第二次尝试VR是因为一个朋友购买了PS VR。相比初创企业,索尼的声名显然更加响亮,开发能力也更强。然而,那时候的晕动症问题还没有被充分理解,每当我尝试移动,我都会感到晕眩到无法忍受。这一痛苦的经历进一步加深了我对VR的负面印象。后来,我在Facebook总部的面试中又试用了一次VR,但问题依然存在。我一直觉得它只不过是一个依赖手机供应链的产品,各种组件基本上是直接使用,简单组装而已。也难怪后来有那么多的冒牌VR公司,例如著名的暴风影音。
我始终觉得,我们离VR设想的愿景还很遥远。因为晕动症的痛苦经验,我对VR的移动方式持深深的怀疑。实际上,我第一次对VR设计产生兴趣的是看到Beat Saber,因为它巧妙地避免了移动的问题。这让我想起智能手机初期一些创新的手游设计,如利用陀螺仪模拟驾驶方向盘,或利用多点触控的优势,通过手指滑动而不是现在流行的虚拟摇杆。Beat Saber充分利用了硬件的优势,创造了只有这种设备形态才能实现的优秀游戏设计。然而,从另一个角度来看,这也仅仅是应对目前问题的权宜之计。如果VR想要有所突破,就必须开发出更有效的移动方式。我之前看到有人正在研发全向跑步机,我深信,只有当全向跑步机普及,VR技术才能真正进入大众视野。
对AR的误判
在过去,我一直对AR抱有极大的期待,主要是因为AR能更有效地解决晕动症问题。你可以看到周围的环境,虚拟物体在真实环境上增加,使得大脑不会因为感官混乱而感到眩晕。我记得当年看到Hololens问世,我确信它在三年左右就能实现大规模应用。然而现实证明,我大大低估了光学设计的难度。我曾以为,SLAM是实现AR的最大挑战。实际上,随着AI技术的发展,SLAM的精确度远超我的预期。另外,由于自动驾驶的需求以及iPhone上激光雷达的应用,激光雷达的小型化和成本降低的速度比任何人想象的都要快。在短短几年时间内,激光雷达的价格从几十万降低到了几百。而小型化的低端激光雷达价格更是便宜。随着手机行业的发展,AR在手机上的表现越来越出色。那么,为什么AR仍然难以普及呢?
答案在于显示技术。相比于VR这种封闭环境,AR的光路设计难度更高。因为VR是封闭环境,环境光被遮蔽,一般来说,只要能达到100-200nit的亮度就足够了。此外,VR并不需要强调便携性,光路可以设计得更大,效率更高。然而,AR需要在开放环境中使用,亮度要求高达上千nit。如果想在户外使用,亮度可能需要增加一个数量级。在现有几种竞争的光学设计中,自由曲面提供了更好的颜色和更大的FOV,但体积过大,难以接受。在体积和显示效果之间权衡,大多数厂商都选择了光波导,尤其是衍射光波导。然而,其效率过低,光在传输过程中会损失能量,由于需要扩瞳,整个光路的效率仅有1/5000。这时,大多数显示设备都无法使用,所以现在,Hololens和Magic Leap只能使用Lcos和Mems快慢镜。然而,我们并非没有希望,未来可能成功的MicroLED能够有几百万nit的亮度,可能可以解决部分问题,但是其生产成本和均匀度问题仍然存在。现在已经有大量的厂商在攻克试图转移问题,相信在未来可以克服。
问题并非仅在于光机,因为红绿蓝三原色的频率不同,同一光路对不同频率的光的处理很难做到一致。如果我们为每种颜色单独设计一个通道,那么重量就变得无法接受。并且,由于生产工艺误差,三个镜片的装配不一致也会产生彩虹纹问题。另外,为了雕刻足够小的光栅,这些镜片需要非常精细的制造技术。目前,人类的大规模精密制造技术只有光刻和纳米压印,用于制造精密镜片仍有很大难度。只能说,从目前的技术水平来看,AR还有很长的路要走。
迎来转折点的VR
尽管增强现实(AR)技术面临许多难题,但在显示技术方面,虚拟现实(VR)技术的挑战相对较少。得益于分辨率和帧率的提升,晕眩感也在逐渐减轻。过去,使用VR需要连接一根线,但现在,随着WiFi 6的普及,一体机的数量也在逐渐增加,串流效果也在不断提升。然而,现在还有一个问题需要解决,那就是VR设备体积太大、重量过重。虽然现在的分辨率相比几年前有了质的飞跃,但还是不够清晰。而手柄追踪技术由于AI的发展,已经有了显著的进步。例如,Oculus Quest通过手柄中的惯性传感器、视觉定位和AI插值已经可以做到和传统的从外部向内部的光学追踪技术相近,但如果要实现全身追踪,那就更加困难。
这些问题正在逐一得到解决。不可否认的一点是,下一代VR头显设备,无论是苹果、Facebook还是Valve,都选择了MicroOLED作为显示技术。与传统显示面板将有机发光材料蒸镀到玻璃基板上的方法不同,MicroOLED将这些材料蒸镀到晶圆上。显然,这种制造方式的缺点是与芯片制造流程非常相似,尽管它不需要先进的制程,但芯片的成本与晶片的面积成正比,这就意味着大面积的MicroOLED不太可能实现。不过,优点也是显而易见,由于晶圆的电路可以更小,像素密度可以大大提高。在头显领域,我们通常用像素密度(ppd)来衡量分辨率。iPhone 4的视网膜屏幕的ppd约为60,而目前一些头显的ppd约为20。而现在市场上少数MicroOLED产品如Arpara的ppd大约在30,而高端的Varjo能达到70,已经达到人眼无法分辨的程度。
近期的一个重大突破是Pancake折叠光学技术的量产,这项技术的供应链来自于3M。在此之前的光学设计主要是基于菲涅耳透镜。相比于之前的凸透镜,菲涅耳透镜已经小了很多。然而,现在的头显设备重量仍达到了一斤,这让人难以接受。幸运的是,有了Pancake光学设计,光线在镜片间反复反射,从而减小了光路,例如Arpara,这种头显的体积可以做到传统头显的一半左右。对于研发能力更强的大公司来说,他们可能能让头显设备更小。
当然,这两项技术并非没有代价。更复杂的光路设计意味着更高的能量损耗。当前大多数MicroOLED是依赖颜色透镜实现颜色的,这意味着白光通过滤镜时,大约70%的光线会被过滤掉,所以其效率只有30%。再加上OLED的调光有其占空比,标称亮度很难达到,这将导致亮度损失一个数量级。光线在透镜间反射时,每次反射都会损失部分光线,所以这种光路的效率也只有10%。尽管我们人在一个封闭环境中,只需200nit左右的亮度就可以,但总的来说,MicroOLED需要的亮度在几万到几十万的量级,能生产出这样的屏幕是有难度的,但并非无法实现。
另一项至关重要的技术是眼部追踪。假设下一代头显每只眼睛的标准分辨率是4k * 4k,那么总的渲染分辨率就类似于8k。这样的分辨率是任何显卡都难以承受的。然而,我们可以记住DX12发布时的一个特性,即可变速率渲染(VRS)。如果我们将眼球追踪和VRS相结合,就可以将计算力集中在眼睛注视的地方。人类的视野可以达到近200度,但实际上清晰的视野只有40度左右。这样可以大大节省计算力。当然,如果我们有了眼球追踪和口部追踪,就可以重建表情,这对于VRChat等应用非常有帮助。
Quest2的成功预示了一个趋势,即一体式VR将取代有线的PCVR。一体式VR的最大优势就是没有线,使用方便。然而,由于VR对性能的要求极高,如果我们想要高性能的VR体验,我们仍然需要PC提供的高计算能力。这个矛盾,Wigig给我们提供了一个答案。Wigig并不是一个新技术,其载波为60GHz,波长大约5毫米,IEEE编号是802.11ad,但这个版本的带宽并不多,大约只有不到10Gb,和Wifi 6e的带宽差距并不大。然而,去年中,Wigig的最新标准802.11ay通过,同样的60GHz载波,但带宽增加到了40-50Gb。值得注意的是,最新版本的HDMI2.1的带宽也大概只有这么多。总的来说,这个标准的出台为无线PCVR提供了一种可能性。
从供应链角度看,苹果也未能解决光波导的问题,因此选择了通过VR加上see through方式来解决。这种方法有一定的问题,我们是通过摄像头看到外部世界,这带有一定的风险。稍微的延迟都可能导致我们感到头晕,甚至产生危险。此外,由于是摄像头重建的画面,我们容易失去对外部世界的距离感,这会导致虚拟物体的效果比真实物体的效果更好。然而,这些问题都是可以弥补的。这种AR虽然难以在户外使用,只能在特殊情况下使用,但相比之下,光波导的彩虹纹和小得令人难以理解的FOV,这种解决方案至少能在特定情况下为客户提供可用的解决方案。