[技术] VR入门系列 [复制链接]

littleowl

帖子: 5144
精华: 0
积分: 2593
金钱: 14492
荣誉: 2
人气: 5
评议: 0

发表于 2016-3-2 10:11:04 |显示全部楼层

虚拟现实简介

虚拟现实是一个有着巨大潜力的媒介。它开启了一种不可思议的交互和交流方式，可以让人在不同的场景瞬间转换，可以让你完全沉浸在其中，一切感觉起来都会非常真实。可是时至今日，由于造价和一些其它的原因使得虚拟现实仍不能服务于大众。反而，在过去的很多年里，随着科技的进步使得电视、网络和智能手机产生了革命性的影响。

虚拟现实（即VR）的核心技术有这几方面：3D显示、运动追踪、输入设备、应用框架和开发工具。然而，消费者VR设备才刚起步，目前有：Oculus Rift、三星的GearVR和谷歌纸盒。它们体验效果水平不同，当然也价格不同。

制作VR内容的软件也如雨后春笋一般出现。unity3D和虚幻引擎目前都比较流行用来制作PC和手机游戏，它们现在也成了制作原生VR内容的首选。同时，web端的VR也没有落后，WebGL和3D JavaScript（如：Three.js和Babylon.js）提供了一个开源并且基于浏览器的VR解决方案，它们可以支持PC和手机操作系统。

但是随着越来越多的开发者投身VR研究，越来越多的消费者对虚拟现实带来的全身心的虚拟世界和事物体验感兴趣，VR一定会掀起下一个计算机技术革命。

什么是虚拟现实？

虚拟现实的目标：让人们相信真实地处于一个虚拟世界中。要达到这个目标就得让人们的大脑（负责视觉和运动感知部分）欺骗他们。不同技术合在一起才可以创造这种幻觉，包括：
全立体显示：也称为3D显示或者头显（HMD）。这种显示方式结合的使用了多图像处理、反畸变技术和凸透镜片来让人眼看到深度信息，如此就形成了立体的图形。

运动追踪设备：陀螺仪、加速度计以及其它一些组件被用在虚拟现实技术中，这些可以感应我们的身体移动和头部转动，有了这些以后应用程序就可以实时更新需要绘制的图形。

输入设备：虚拟现实的输入设备不能简单的用鼠标键盘来输入，需要使用手柄、运动传感识别和手势识别等这些创新的输入设备。

部署终端：包括：计算机硬件、操作系统、支持虚拟现实软件运行的驱动和引擎以及构建这些的工具。

虚拟现实离开了以上四个任何一个条件都达不到完全沉浸的体验。接下我来简单介绍一下这几个方面。

全立体显示

让人眼感受到具有深度信息的持续的3D渲染是虚拟现实最重要的部分。为了达到这个效果，虚拟现实设备都需要借助一个立体显示设备（也称为3D显示或者头显）。

过去，消费者虚拟现实设备一直没法推广，其原因是没有价格低廉并且长时间佩带舒适的头显设备。这个局面被OculusVR团队戏剧性的改变了，他们在2012年推出的Oculus Rift这款产品在具有立体显示功能并且内置头动追踪设备，这款产品不仅轻巧而且售价只有几百美元。尽管Oculus Rift第一版（DK1）的分辨率还很低，但这也足以引起一场产业风暴。新版本的Oculus Rift（如图1-1所示的DK2），分辨率、移动追踪性能和显示效果都有所提升。

图1-1

那么，Oculus Rift具体都做了哪些呢？第一，为了产生深度信息，它给每个眼睛生成一张图片，这两张图片在视觉上有一点点偏移量，这样就可以模拟人眼的视差，所谓视差就是人脑处理在不同位置看到的物体而产生的深度信息。第二，产生更好的视觉效果，它将图片扭曲从而模拟人眼的球形表面，通过桶形畸变技术可以达到这个效果。

从软件的角度出发，Oculus Rift的任务就是将给眼睛生成的图片每分钟绘制60次（最好可以达到120次），这样就可以避免明显的延迟。如果画面出现延迟，VR的体验就会大打折扣，甚至会引起呕吐反应。具体如何做到没有延迟会在接下来的章节中介绍。

除了Oculus Rift还有其它的头显设备，我待会会介绍。这些头显设备有的运行在PC上，有的运行在移动设备上，有的只能在游戏主机上运行。它们价格不等，品质良莠不齐，不过作为消费者VR设备，我认为Oculus Rift应该是最好的。

运动追踪设备

第二种可以使人脑相信它真实处于虚拟世界的关键技术就是运动追踪技术，它可以通过追踪头部的运动状态实时更新渲染的场景。这与我们在真实世界中观看周围非常类似。

高速的惯性测量单元（IMU）是Oculus Rift的发明之一，它被用于快速的头动追踪。IMU结合了陀螺仪、加速度计（或者磁力计，类似现在手机中使用的重力感应装置），可以精确测量转动的变化。

头部运动追踪非常重要，有可能比立体显示还重要，因为我们的感觉系统对运动非常敏感，如果在头部移动时图形显示出现延迟，那么就会破坏沉浸感，甚至引起恶心反应。

虚拟现实的IMU设备必须快速追踪头部运动，同时相应软件也得跟上，只有当立体渲染和运动追踪很好的结合起来使图形刷新帧率足够高，才可以是虚拟现实体验达到一种真正意义上的沉浸感。

输入设备

在获得完全的沉浸感时，头显设备必须完全罩在眼睛前面，用户完全看不见外面。这样用户在做输入的时候就非常滑稽：他们必须使用“盲打”，因为他们根本看不见鼠标键盘。体验过Oculus Rift的人都应该了解，他们必须让旁边的人帮助他们找到WASD键才可以在虚拟场景里面行走。

大多数时候，让用户蒙着眼睛操作鼠标键盘非常不人性化，所以，人们就开始做一些研究，研究哪种输入方式才可以提供更好的沉浸体验：

游戏手柄：比如微软的Xbox One和索尼的PS4，它们的游戏手柄可以连接电脑用来控制游戏。

手部运动感应设备：这几年，出现了一些价格合适的运动感应设备，包括Leap Motion和NimbleVR。这些设备通过感应手部运动识别手势，不需要手直接接触设备，就像Xbox Kinect一样。

无线体感设备：例如Sixense的全身体感设备STEM和雷蛇的Hydra。这些设备和游戏手柄类似会有些按钮，但是它也具有运动感应功能，有点像魔法棒。

目前，仍没有一个很好的VR交互方式。因为，交互方式比较大的受应用程序和操作系统的限制。现在还不清楚哪种输入设备会成为“VR中的鼠标”，有可能会是或者类似上面讲的输入方式之一，也有可能不是。与此同时，对于虚拟现实的输入方式的研究非常火热，非常期待过几年在这方面会有更多的创新。

部署终端

运行平台
大多数的VR应用都可以在目前多数的PC和手机上运行，基本上一个不太旧的PC或者配置好点的笔记本电脑都可以正常运行Oculus Rift，如果手机的CPU和显卡不错的话也可以有很好的VR体验。对于大众来讲，现有的电脑或者手机再加上VR的眼睛就可以很方便的体验VR，但是对于那种想要体验极致效果的人来讲，估计这次圣诞节礼物清单上就得写上最好的PC、最强大的CPU和显卡了。

随着VR技术的成熟和普及，VR专业的电脑、手机和游戏主机也开始受到关注，这些专业的VR设备可以展现非常惊人的效果。

目前，用来开发VR应用的有：各个平台的本地SDK、游戏引擎和开发框架，甚至最新版本的浏览器。

本地SDK
对于不同的平台会有不同的驱动和链接库，Windows上会是Win32的dll链接库，安卓上会是Java的链接库等等。使用这些SDK可以非常方便的开发应用程序，比如你可以在图形或者游戏性等方面DIY定制。但是大多数开发者会用游戏引擎和开发框架来做VR的应用开发。

游戏引擎和开发框架

除非你是引擎开发者，否则谁也不会愿意直接用本地SDK来开发应用程序，大多数会用游戏引擎开发，比如unity3D（第三章会详细介绍）。unity3d作为中间件，它很好地处理了图形渲染、物理系统、游戏框架以及驱动调用等技术。所以，非常多的VR开发者会使用Unity3D作为他们应用程序的开发工具。

许多类似的中间件引擎都支持跨平台部署，你只需要编写一次代码，就可以发布在不同平台上，比如PC和手机。这些引擎还拥有一些非常好用的工具，比如等级编辑器和集成开发环境等。

浏览器
当HTML5技术可以实现在浏览器上运行的应用可以和原生应用性能基本一致时，浏览器的开发人员就开始大力支持VR的开发。不过，支持VR开发这个特性应该会比支持移动端开发这个特性要快很多。

浏览器支持VR开发会产生两方面影响：第一，这意味着我们可以运用HTML5、WebGL和JavaScript这些技术快速开发VR应用，并且这些应用的跨平台特性非常好。第二，也意味着现有的网站和网页都得提供一个类似超链接的东西，它们会切换到相应的VR页面。

VR视频
VR视频有它自己另外一套技术，与游戏不同。游戏的图像都是合成的，里面的三维模型、动画、背景等等都是人工建出来的，而VR视频则是拍摄的现实世界内容。VR视频的内容真实感更强，甚至有时候会非常惊人，比如视频中播放的是一个直升飞机飞跃大峡谷的场景，那么观看影片的人就会像真的坐在飞机上一样体验飞行的刺激。当然，VR视频唯一比较局限的就是不能和场景进行交互。

VR视频拍摄需要多个摄像头（至少两个，如果需要拍摄全景视频，就是360度都可以观看的视频，就需要更多的摄像头）。这个领域的先锋--加州的JauntVR公司，正在尝试着用一组摄像头拍摄第一个全景的VR电影。

拍摄VR视频目前还处于比较初级的阶段，不过值得庆幸的是有许多公司和研究机构都在致力于发展这项技术。许多VR视频的播放器正在研发之中，它们可以运行在PC或者移动设备上，有的还准备支持跨平台运行。目前开发者面临的一个最大的问题就是没有一个统一的数据格式标准，如果要做视频内容的开发，就得锁定一个硬件供应商，然后使用针对性的技术和软件来制作。

VR应用方向

面向消费者的虚拟现实才发展了几年，就出现了大量应用程序，虚拟现实抓住了人们对未来的渴望。开发者甚至想要把整个现实世界都做成虚拟现实，这些都是可以理解的。

但是，现在仍然没有一个“杀手级”的虚拟现实应用，有许多领域都有可能出现杀手级应用，包括：

游戏：一谈到虚拟现实，第一就会想到游戏。VR游戏具有深度沉浸、高产值、强粘性的潜力，这些都是开发者、主机制造商和外设制造商所期待的。目前大多数有技术的、独立的大厂都是以游戏作为VR应用的切入点。

社交：结合VR的沉浸感可以使得用户形成的虚拟世界非常吸引人，如同High Fidelity公司（由制作《Second Life》的Philip Rosedale创建的）和AltSpace VR公司，就开始在VR社交领域起航了。

教育：近几年，3D可视化给教育行业提供了强大的交互展示工具，然而，VR可以使教育更人性更真实。

办公：一些研究者和小公司正在研究如何用VR替换现在办公电脑地位，想象一下，一个360度环绕的虚拟办公室，里面有你的个人信息、工作资料以及通信录等等。

旅游：360度全景立体场景非常吸引人们，VR可以提供了一个简单方便的旅游方式，你不必真正到那里就可以体验那里美好的风光。

建筑：建筑设计单位和房地产公司已经使用了虚拟现实技术，它们提供了视频和可交互的场景，视频可以很好的展示成果，可交互的场景可以方便查看建筑模型，通过3D的CAD模型还可以在设计阶段展示非常复杂的设计。

直播：VR视频将会在演出、新闻和现场直播方面大放异彩，音乐家Paul McCartney和摇滚明星Jack White都已经使用过VR技术进行了他们演出的现场直播。

网站：火狐浏览器最先支持VR技术，谷歌浏览器也紧跟其后。除了研究VR技术之外，火狐也在设计使用虚拟现实浏览海量信息的用户交互方式。

企业应用：VR在企业应用方面的潜力也非常大，包括：军事仿真和军事训练，医疗诊断培训，工业制造和设计。

上面几点只是简单的罗列了一下，我们现在还不能断言虚拟现实在哪方面会非常成功，也不能预测聪明的人会想出哪些非常创新的点子。不过，通过过去几十年的科技发展来看，人们总会低估一个新技术所带来的改变。

附件: 你需要登录才可以下载或查看附件。没有帐号？注册 