Unite 2017 Shanghai大会中平塔工作室联合创始人CCO米粒分享《在游戏引擎的VR环境中探索视听语言》主题演讲。介绍了传统影视的视听语言有图像、声音和剪辑，以及VR中如何表现好这三个要素。 以下为VR陀螺整理的演讲实录：（略有删减） 《拾梦老人VR》米粒： 大家好，今天题目是在游戏引擎的VR环境中探索视听语言，分享的是在影视作品中的经验。 传统、VR影视三要素：图像、声音和剪辑 首先要跟大家讲讲传统影视的视听语言三个要素，这三个要素是图像、声音和剪辑。这三个要素组成了我们很终在大屏幕看到的影视作品。 图像是视听语言很基础的要素，图像视听语言里面有几个要素。 形状，形状是视觉第一层信息，我们看到所有的东西，大脑识别出来第一层信息是这个物体的形状。 颜色，在形状和颜色的基础上，这个物体进行运动之后，这个运动是在一定构图内，这样组成了我们在大屏幕上，不管是大屏幕还是VR我们看到的影像。 声音。视听语言肯定就是听觉方面，听觉占了我们现代人所有观看影视作品中非常大一部分，我们经常会说影视作品特别是在有了音乐、声音之后，它的质量会提升70%，这是毫不夸张的，而且声音可以加强情绪的感染力。 在电影发展过程中，逐渐积累出一个非常大的知识体系就是剪辑，剪辑是声音和图像的加成，很重要它是在控制时间，只有图像和声音是没有时间概念的。 刚才讲到都是在传统影视作品中视听语言几个要素，VR里面产生了非常大的变化。 首先VR里面和传统的影视非常大的区别，VR是一个完全虚拟的数字世界，而我们传统的影视作品是一个平面的，是一个二维图像连续播放的产生效果。在VR影视作品中，观众是戴着VR眼镜在虚拟世界中进行探索的，情节是通过探索展开的，这也是很多VR作品在创作的时候，想要达到的目标。 在传统影视作品里，事情的发展是线性的，按照导演和剪辑师通过主观拼接单向展现给观众，这也是他们非常大的区别。 VR世界里面，观众有非常自由活动的空间，可以在空间里面走来走去，这也是我们常常说的真正虚拟现实，并不是360度视频模拟的全景2D图像，更多还是观众真正能够在虚拟数字世界里面，从更多角度观看同一个物体。 现在我们就进入拾梦老人在VR作品中进行视听语言的探索。 我们对刚才几类传统影视和VR影视的异同之中我们选择了三个方向。 第一我们要充分利用虚拟数字世界，让观众在虚拟数字世界中自由移动探索剧情的发展，因为我们的剧本原因和故事的特性，我们选择线性的方法，而不是像很多VR影视团队想要尝试多线叙事。线性的叙事结构，更容易让观众获取到我们想表达的含义。 VR交互动画的两大困境：观看成本与眩晕感 根据我们刚才说说的视听语言三个方向，第一方面是图像，图像方面我们有哪些探索呢？ 我们在开始创造VR作品之前，我们面临非常大的问题，就是观看成本。这个成本除了花了将近一万块钱买了一台强悍主机之外，还包括VR头显设备，这些其实都是一些纯硬件方面的支出。对于我们来说还有很重要的一项支出是人注意力和心理支出。 这个要解决很大的问题就是眩晕感，戴过VR眼镜都知道会产生不适感，这个东西对影视作品来说是非常大的敌人。如果说在播放的过程中，有任何观众把头盔头显从头上取下来的话，我们有非常小的几率让它再戴上去。 我们第一个做的非常小心和经过深思熟虑的决定，我们决定使用固定的镜头，而不是让观众被动的接受位移。因为这样的话，就会产生眩晕的感觉。当然也有些摄像机的运动可以避免这个。我们尽量要让观众在一个固定点观看这个故事。 还有一个非常大的不一样。影视制作我们有一个步骤是分镜，我们需要先用二维的方式，然后把整部影片先画一遍，通过剪辑将故事串起来。在故事版和分镜阶段的时候，我们的叙事非常流畅，一旦进入VR，发现我们曾经在VR里面感觉非常流畅的叙事，感觉是在快放，所有事情都变得节奏很赶，这个更像是我们看电影里面的表现，和人在真实世界里面生活中的表演节奏不一样，我们对时间的感知更弱一些。真的当我们在VR虚拟世界里面的时候，我们对时间的变化，非常的敏感。因为我们已经认为我们是在一个真实的世界里面，我们当时做的一个非常大的调整，我们在很多表演节奏点上增加的时长，带来的结果，当然是我们整个片子的时间变长了。 VR影视引导方法：声音、视觉与色彩 接下来一个非常重要的，如何引导观众看我们希望他看的内容。VR经过过去两年的发展，一些基础视听语言大家都知道，如何运用视觉的引导。 第一点我们加强影片开始的时候，那段没有情节时候的时长； 第二个在这段时长过去之后，我们引导观众看我们希望他看的内容。引导很重要的就是要有人导。 在拾梦老人里面有一个片段，我们引入这个概念之后，我们就去实现这个概念。在漆黑环境当中出现了雪花，我们跟着雪花运动轨迹到了一个地方，到了这个地方周围亮起来，我们看到一个老头在桌子清理脏兮兮的足球。除了运动的物体之外，我们还要用灯光，光也是一个非常重要的引导视线，我们肯定会本能看灯光的位置，不看黑暗的位置，有灯光位置信息更多，也是一个非常好的引导工具。 另外一个就是声音，一般来说这三样东西我们是综合在同一个场景里面使用的，他们互相的叠加，效果叠加，可以保证我们很大可能性让观众看我们希望他看的内容。 还有一个方面是色彩，我们在传统上色彩是非常重要的一个用来表现情绪的点。相当于如果我们在一部电影里面，我们倾向于用更加纯度更高的色彩，表现一个更活泼、更正向的情绪，用纯度比较低的色彩来表现稍微负面的情绪，可能用略微发绿的色彩，去表现危机，用发蓝的表现悬疑等等。 这个东西在VR里面，我们是在尝试使用，但是我们用的比较谨慎。但是色彩为什么在VR里面我们用的非常少，因为我们的观众在VR环境里面已经相信自己是处于真实的世界。我们看真实世界的时候，我们不会感觉色彩那么厚处理的感觉。 还有一个我们在有些情况下，我们发现声音和运动的物体都没有办法引导观众。特别是当场景非常嘈杂，或者信息非常大的时候，我们就在想，如何在这种情况下进一步引导观众呢？ 在舞台剧和电影里面，我们经常用探照灯照亮观众希望看的位置，我们用这种思路，我们创作一种新的方式来引导观众，我们自己称它为Spotlight Scope，通过这种方式带约束观众的注意力。 我们在制作过程中，我们发现另外一个问题。在VR环境中，用非常全逆真方式去模仿声音，在真实世界中，我们很难用真实声音和图像跟观众产生情感连接。 为什么电影我们要用控制方法来创作，因为我们可以更精准控制观众的情绪。我们在表现一个人紧张的时候，我们相当于在夸张他心跳的声音，让观众能够听到心跳的声音，我们真实世界不可能产生这种感觉。你再紧张，我也不可能听见你心跳声，这是一种主观的处理。 很终我们发现在VR影视作品中，虽然有VR，但是还真能用影视创作手法才能在声音上获得更多跟观众交流的机会，我们还是引用了电影级别的声音制作和混音，这样我们可以很大限度控制声音的感染力。我们还是要把声音挂到真实物体上，这样才能跟观众情感产生关联，我们很终想到可替代的方案，通过数学跟运动物体夹角方式，将声源挂到不同角色身上。 之后我们又引入了配乐，因为影视作品配乐是非常重要的一环，音乐是我们人非常强大的烘托我们情感的。我经常打比方，音乐相当于是开香槟的一瞬间，它可以把你的情感迸发出来。很多的影视作品都是利用音乐的特性，让观众落泪或者欢笑。 VR影视剪辑 淡入淡出可解决80%的问题 当我们有了图像、声音之后，我们进入另外一个庞大的话题，就是剪辑。 因为在VR里面，我们遇到的问题就是没有镜头，没有了景别，另外是没有了镜头，我们很大的问题，我们情景如何展开。另外一个比较大的问题，多场景的转换。 我们经过一系列实验之后，发现很有效就是淡入淡出，这是一个非常直白和粗暴的方式解决这个问题。淡入淡出只能解决其中80%的情况。我们就思考我们到底如何解决这个问题。 我们利用了开发的工具，Spotlight Scope利用反向的使用，通过这种方式，我们实现了一种叠加的转场。 另外一个非常重要的，我们说要线性，这个过程设计当中，我们设计了无关紧要的情节，这些情节我们故意让观众获取不同的信息，我们希望他看到东西的时候，我们让所有有吸引他注意力的东西都会聚到一个点去，这个时候我们情节依然可以非常流畅推动，观众依然可以获取到我们想表达的情节。也就是所谓的殊途同归。 在传统影视里面，很重要的是在对白戏中，有一个原则叫“180度原则”。这个在传统拍摄时候，如果我们拍两个人对白戏的话，这两个人角色在世界中创造出一条虚拟的线，这条线是我们摄像机不能跨越的线，这让人理解产生歧异，视觉系统和大脑太发达了，人类获取到一点错误信息就会产生错误的理解。 这个东西我们如何解决呢？在拾梦老人里我们有一个解决的方案，以室内室外景为例，我们有一个初始摄像机的区域。如果第一场戏发生在室内，第二场戏发生在室外。第一场戏结束的时候，如果观众还在这条线的左侧，到下一个场景摄像机的初始位置依然在这个方向。 因为VR的世界非常大，特别在外部大环境里面，很有可能有观众走到角色另外一侧，这个时候系统会侦测到越轴的情况，下一个场景我们会有另外一个摄像机，让观众在那个位置，我们依然在同一方向观测主角的表演。这样会让观众尽量在一个较小夹角里面看到尽量多的内容，这可以避免有些情节发生在背后，而且我们不知道观众看的什么方向，所以我们没有办法控制这种转向。VR里面我们有相应的触发条件，让观众始终跟得上这个角色的表演。 所有的这些技术，虽然我们VR作为一个新媒体，我们所谓的技术实际上一点都不高深，更多是主观经验的内容，所谓工具技术都不是一个影视作品的核心，影视作品核心是通过这些技术与观众产生情感的连接。 VR作为一个新的讲故事媒介，它没有创造什么新故事，新故事在任何媒介中都在不停被创造。目前为止，我们并没有看到一个VR作品中创造出一个新的故事，而是创造一种新的讲故事方法。 但是所有东西都有变动，很可笑人类发展过程当中，所有革命性的东西都是在有约束的情况下诞生的。我们经常会说电影经典的作品，都是在审查机制的约束之下诞生的。如果没有任何约束的话，我们很难诞生革命性的作品，如果在约束的情况下，大师级作品才会产生。这是我们希望未来在所有VR内容创造的产品上所有努力的方向。 谢谢！