查看原文
其他

博采传媒李炼:虚拟制片的核心是所有环节的数据化及迭代,本土自研技术已走在全球前列

东西文娱 共同虚拟 2023-10-23

“从懵懂、兴奋、沮丧、迷茫、自我否定直到找到方向,所有的经历都在这30年里。”

这是日前举行的“新青年·新电影·新科技——博采虚拟制片电影科技论坛”上,博采传媒创始人兼CEO李炼的开场白。

作为2023青年电影周(浙江)的重要板块,论坛设包括三大项目「虚拟制片沉浸式互动体验」「虚拟制片电影创作制作全流程案例分享」与「虚拟制片电影新工业圆桌论坛」。在博采传媒成立30周年之际,以「虚拟制片电影创作制作全流程案例分享」为题,李炼系统回顾了博采虚拟制片的研发过程。

在接近一部电影90分钟的时长中,李炼从博采传媒研发虚拟制片系统起源切入,结合博采自制的首部全片虚拟拍摄科幻短片《诞辰》和众多实践案例探讨了博采自研的虚拟制片全流程。

在演讲中,李炼也预告博采投资建设的德清虚拟数字化摄影工场将于今年年底落地,目前在项目中应用的安吉虚拟制片基地将在未来并入。

博采传媒创始人兼CEO 李炼



下为李炼的核心观点

· 什么样的创作模式是最生物本能、损耗最小的?答案其实非常简单,就是让一切“所想即所见,所见即所得”。通过将GPU和引擎引入制作行业,实时虚拟制片方案开始逐步成型。

· 我们说电影是遗憾的艺术,是因为电影在创作过程当中是一个重资产,它的载体就决定了它很难去反复的修改。虚拟拍摄能够让电影的创作过程能够像小说一样,用一个极其低廉的成本去反复修正。

· 虚拟制作重新划分了前后期的界限,它把创作阶段截止时间放到了虚拟Previz预演结束节点。虚拟制片最底层的、根本的逻辑,它的后期前置是从预演开始的。虚拟制片的核心是所有环节的数据化以及迭代。

· 虚拟制片的核心是所有环节的数据化以及迭代。我们确实把一套中国本土自主知识产权研发的一个软硬件虚拟拍摄系统输出到了好莱坞这个世界公认的电影高地。

· 虚拟拍摄当然离不开最终成像的LED,它决定了我们最终画面是以什么样的标准呈现。我们在杭州和安吉的两个屏都是以像素对像素的这种方式去实时渲染,这个中间离不开我们超大的GPU算力。

· 按照传统模式来做《诞辰》会用41天时间才能完成,而虚拟制片模式总共时间是9天。这是一个非常好的证明,虚拟制片对于创作周期跟创作方式会有很大的改变。

下为李炼现场演讲部分节选。




   

虚拟制作让创作回到
最愉悦最爽的状态“所见即所得”

在2008年到2017年期间,我自己拍摄导演两部动画片。除了剧本以外,两部片子制作时间分别是用了24个月和13个月。2022年我拍了一部9分钟的短片,只用了4天的时间。

恰恰也是因为我自己的两个动画片的制作过程,带给我一个思考。我觉得大部分(电影人)在制作电影过程当中都会有一种感受,感觉整个过程是一个极其漫长和疲惫以及与各种各样的困难做斗争的一个过程。所以我们电影人通常把这个过程是理解成是“痛并快乐着”。

这两部电影结束之后,我有一个反思,我觉得以如此的方式去制作电影,是一个不可持续的状态。电影是否还有一种新的方法能够让它变得更高效,更有市场的价值,让它跟市场回报之间能够形成一个比较正向的关系。

所以这个阶段我们实际上花了大量的时间,去寻找一些新的解决方案,激发我们反向思考,不是解决现有的问题,而是抛开惯性,去思考什么样的创作模式是我们最想要的,或者说什么样的创作模式是最生物本能、损耗最小的。我们发现答案其实非常简单,那就是让一切“所想即所见,所见即所得”。

其实电影最早的发源就是“所见即所得”,只是在后期过程当中,因为电影是一个光影魔术,所以大家加入了很多魔幻浪漫的色彩,使得这部电影在创作过程当中就变得有更多的手段跟方法让电影变得更加超现实。恰恰也是因为这样的过程,慢慢的离我们“所见即所得”这件事情越来越遥远,更不用说所想即所见了。实际上我们从创作本身来讲,最愉悦最爽的一个方式应该就是所见即所得,那么能不能找到这样一种方式去做这样的尝试。

在2017年我的第二部动画电影结束之后,我就停下现有的创作,因为我想如果在没有找到一个让我觉得创作更轻松更愉快的方式之前去做,尤其像动画电影这种重工业的内容,是一个非常劳民伤财、并且对团队损耗非常大的事。

我当时记得我的好朋友,曾经在公开场合说过,他说他希望有一天看到李炼的团队,能够早晨看见阳光,看见太阳升起。我觉得那是一个对我来讲一个特别有触动的感觉,因为我们所有人在制作中,几乎都是通宵达旦日夜颠倒,这是这个行业的一个常态。所以能不能找到这样一种方法,几乎变成是我的自我使命。

在2013年我们第一部电影上映的时候,为了达到一个宣传质量,但实际上所有的渲染都没有办法短时间完成,当时阿里云的王坚博士找到我,他说我愿意帮你来做这件事情,提供给我6700台服务器来做渲染,我觉得放今天来讲,基本上我可以把它理解成那就是“两个理想主义者的任性”,但它是不可持续也不应该发生的事。

这时GPU已经开始进入我们的视野,随着科技的进步发展,GPU以及引擎的进入,我们突然觉得找到了未来的一种可能。所以2017年开始在引擎还没有真正进入影视行业时,我就停掉了所有我们原来的制作工业流程,转向了引擎开发,算是比较早开始将GPU和引擎引入制作行业。我们自己第一代的实时的制作系统是在那个阶段开始做研发,并逐步成型。

我一直认为“技术为用、艺术为法”,实际上电影本身就是一个长在技术上的艺术,所以每一次技术的突破都会带来这种创作方式的一个改变,是因为电影本身就离不开技术。所以我们就不应该忽略技术对于电影创作的影响,因此我们把技术这件事情在整个电影工业流程中放到一个非常重要的位置,尊重技术本身规律特点,通过尊重技术来寻找更好的解决方案。

从技术到艺术,就像是河的两岸,其实它需要有一些方法,那么作品《诞辰》其实就是起步构建这样一个桥梁,让大家去理解如何在一个新的工业架构中能够高效地完成。

这个9分钟的电影短片展示了我们虚拟制片的解决方案。全片是虚拟拍摄,在所有的画面当中没有一个画面是经过后期特效,它只有后期调色没有后期特效,用一个更短的流程,从剧本到完成是9天的时间,其中拍摄是4天的时间,所以是一个非常可控的成本。




  

虚拟制片的核心
是所有环节的数据化以及迭代

接下来我想讲一讲到底什么是虚拟制片?在这个阶段,其实大家对虚拟制片还是一个非常模糊的认识,或者我们会理解成有一个LED拍摄就是虚拟制片。

我们经常讲电影是一个遗憾的艺术,那么为什么电影是遗憾的艺术?是因为电影实际上它的创作过程当中是一个重资产,它的载体就决定了它很难去反复的修改。那么虚拟拍摄是否能够提供这样的一种空间,让我们电影创作过程能够像小说一样,用一个极其低廉的成本去反复修正,修正导演的想法,修正我们的制作方案?

一个非常重要的点就是我们讲虚拟制片跟以往的前后期的区分是完全不一样的,那就是我们重新划分了前后期的界限,它把创作阶段截止时间放到了虚拟Previz预演结束节点。所谓的后期前置,实际上就是把过往的预演原本是属于制作阶段的事情放到前期。

所以不能简单的把后期前置理解成仅仅是把原来后期特效的东西前置,虚拟制片有一个最底层的、根本的逻辑,它的后期前置是从预演开始。

接下来就是我们博采整个虚拟制片的工作流程,创作阶段从剧本开始到虚拟资产的拆分,这中间含角色、场景、道具以及概念设计,然后进入到虚拟资产的制作,然后到可迭代的Previz的视觉化,我们叫做剧本视觉化。

执行阶段是在剧本视觉化结束之后分成两条线:一条线路是经过Techviz进入虚实置景,然后进入到LED的虚拟拍摄;另一条路就是经过Techviz进入CG制作,然后通过解算渲染进入到后期,这是一个并行的流程,不是一个线性流程。


在我们看来,虚拟制片的核心是所有环节的数据化以及迭代。今天在虚拟制片体系中间,Previz和过往的预演有着本质的不同,这个本质的不同就在于今天虚拟制片的预演约等于实景拍摄,所以我们为了确保导演在预演过程中能顺利完成他的想法,我们开发了大量的工具去帮助导演在这个过程当中实现想法。

再举例来说,《诞辰》从预演到实拍几乎完全是数据继承和迭代下去,这中间没有太大的变化。这个阶段其实是让导演能够尝试不同的场景、比例关系以及走位调度,尝试不同的叙事结构去讲故事。我们把实拍的镜头跟各个品牌摄影机的cmos以及各大厂镜头的所有数据统统进行了虚拟化。

我相信大家之前做过预览都会有一个感受,预览其实更多是用来开会,它并不是真正用来指导制作,因为预览中间的很多东西是动画师做的,它其实跟你未来真正要拍摄的画面,中间的落差是挺大的。所以基本上我们把原本的预览当做一个Reference,而不能把它当做一个可执行的数据,这就是我们讲的虚拟拍摄中间的预览和传统的预览最本质的不同。

为了推动这个制片模式,我们从去年开始发起了一个新型的电影创投的探索,跟蓝星球一起合作推出蓝星球·博采幻象电影计划,用全新的制片方式去发掘新人、新故事,孵化项目。

这期间我们也请到了王红卫老师担任创投评委主席,请了鲍德熹老师来担任首席制作导师,请了霍廷霄老师担任首席美术指导。在入围的这些作品中,我们挑选出一些作品来,通过几位老师能够亲临现场,给大家做一些拍摄、制作的指导,来帮助大家去完成预演项目。


再回过来讲,为什么说在整个虚拟制片流程中间我们会特别关注预演,是因为我们觉得预演作为整个虚拟生态当中重要的一个环节,只有你把预演这个阶段能够完完全全做对做好,那么对于在未来的LED虚拟拍摄过程当中,才能大幅度地节约时间和减少这个过程中间不必要的浪费。

虚拟拍摄当然离不开最终成像的LED,它最终决定了我们最终画面是以什么样的标准呈现。

我们在杭州和安吉的两个屏都是以像素对像素的这种方式去实时渲染,这个中间离不开我们超大的GPU的算力,去支持我们完成整个项目的实时渲染,2.8亿像素实时渲染,每秒要达到差不多30帧到120帧这样的帧率。所以这个对渲染是一个特别高的要求,这也是目前全世界范围当中唯一做到像素点对点显示的影棚。



以《诞辰》为例
自主专利技术如何支撑虚拟拍摄

在博采的整个虚拟制片体系当中,我们其实是通过我们不一样的解决方案,去解决了全球业内公认的很多难题。所以目前来讲,确实在虚拟制片技术部分,在全球范围内就是遥遥领先。我们可以非常骄傲地讲,我们确实把一套中国本土自主知识产权研发的一个软硬件虚拟拍摄系统输出到了好莱坞这个世界公认的电影高地。

我们在《诞辰》拍摄过程当中有一个非常重要的逻辑就是虚拟等于真实。所谓虚拟的空间其实就是现实空间的投射,在现实当中的透视就是虚拟世界的透视,我们不能把它理解成,那是虚拟的,这是现实的,而虚拟就等于现实,这是我们的一个观点。

这个中间涉及很多技术上的要点。比如好莱坞的虚拟拍摄的规则,都会强调尽可能利用大光圈,不要用小光圈。但如果你用大光圈就拍不到刚刚我们说的效果,而能够使用小光圈就决定了我们在这一部分需要有一些特殊的技术支持,才能满足摄影师的小光圈的拍摄,包含离屏两米,就是你要小光圈,并且离屏两米,我觉得这是一个非常极致的挑战,因为基本上离屏越近,你会看到更少的像素和更大的灯珠。

这确实是基于我们的技术创造出来的一种全新的虚拟拍摄方式,这种方式完全得益于我们的专利技术。所以我们才能大幅度减少实景搭建的时间,现场拍摄的时候你只看见前面的实物而看不到后面的场景,利用借景透视的方式,这也是在电影过往历史上大家用的比较多的,利用1:1的借景实现了虚拟空间和实际物理空间的结合,所以从制作成本上来讲,这将大大减少置景的量以及转场的时间。

因为是点对点的拍摄,在整个拍摄过程当中,就像在一个穹顶里拍摄一样,无论你的机器怎么运动,都是一个完全自由的拍摄方式,我们就可以最大限度地去减少陈设,大量置景实际上都是在虚拟空间当中。

我们传统做特效是用后期做,所以后期往往很多东西是不能做实时的调节,所有东西都是离线的,你如果调整了就要经过后期渲染。在虚拟制片中,你后景的那些东西必须要实时可调整的,不然它跟物理置景之间很难形成匹配关系。通过后期前置,你的资产和整个解决方案不同于以往,我们后期解决方案也是一个完全不同的解决方案,它需要做一个实时可调的虚实联动。

虚实联动很重要的是光影的联动,同样是有一扇门,但这扇门因为有一个室内景和室外景,所以如何在这个过程当中满足实时交互,当它关上门的时候,光就必须变化。

这个光除了我们物理的灯光的变化以外,物理灯光你关上门它就没有了,但是我们虚拟场景上的灯光不是因为你关门就会没有,因为虚拟场景上的灯光并不是用物理的灯光打到屏上,而是虚拟场景中间的虚拟灯光照射,那么这个中间就需要有一个非常好的交互的解决方案,当你关上门之后,里面的灯也被掐断了,所以这样的话才能让我们在拍摄过程当中能够满足不同的光影之间的变化,而这个变化是不需要你花时间去解决的,因为这些在我们系统里都是工具。

《诞辰》的资产制作总周期是7天时间,预演结束之后再开始按顺序去调整资产,根据预演去安排拍摄的计划,按照拍摄计划去调整资产优化的顺序时间,所以我们可以很快构建一个新场景去做预演,然后根据新场景再做下一步的迭代、细化,确保它上屏拍摄。

所以在整个我们的并线流程当中,第一环节当然是我们的脚本拆分,这中间包含着场景的设计等等;第二个是做预演、动作捕捉,虚拟剪辑,这个基本就在同时完成;第三部分就根据剪辑开始做拍摄的时间表,以及Techviz技术预演,然后接下来就是数字资产上屏的测试,然后接下来就是拍摄,然后是剪辑到最后完成,所以整个工作流程是非常简单的。


我们完成《诞辰》之后,在好莱坞有很多制片人对《诞辰》抱着极大的兴趣,所以他们就重新按《诞辰》目前的呈现结果作为他们制作影片的时间评估,也就是说照传统模式来做这个项目会用41天时间才能完成,而我们虚拟制片模式总共时间是9天。这是一个非常好的证明,虚拟制片对于创作周期跟创作方式会有很大的改变。

当然,虚拟拍摄不是仅仅适合拍科幻,我们过往的案例中也有很写实场景的呈现。虚拟拍摄实际上是一个虚拟的环境,而不是一个背景。环境跟背景其实有非常大的差别,我们更愿意去把虚拟制片理解成一个虚拟的场景,一个environment,而不是一个简单的background,这是一个很本质的差别。



让复杂的事情变得更简单
虚拟制片完整体系推动新工业流程

我觉得其实虚拟拍摄特别重要的一点是突破场景的限制、提升场景的审美,时空可以无限的扩展,因为你可以锁定任何一个光影的时间去完成你想要的内容,永远都是那个最佳光效

比如说数字资产,很多时候我们没法去故宫拍摄,虚拟场景就能解决这个问题。现在疫情之后,其实很难进入机场拍摄,我们也能解决这个问题。

所有这些东西通过虚拟的方式,是可以让你的空间变得无限大,这是一方面。另一方面很重要的是,实景改动场景资产的成本巨大,但是如果用虚拟的方式去改变这个场景资产成本相对小且相对可控,类似太空舱的戏,失重漂浮的戏,也都是非常容易用虚拟的方式来实现。

在国内来讲,Techviz的人才是稀缺的。这个是需要非常丰富的拍摄经验,以及各种跨门类的解决方案,包含工业自动化以及虚拟制片,以及包含很多摄影相关的一些特效等等,才能完成Techviz的工作。

“悬崖翻车”其实是我们自己的Techviz的一个系统,这实际上是仿真系统,就是当你的前期虚拟拍摄完成之后,把那些数据给到我们的仿真系统,通过仿真系统可以解析成不同的机械装置之间的配合,所以这个部分是通过不同装置之间的配合来完成最终视觉的呈现。

它并不是一个简单的,用人工的方式去完成,这个机器怎么动,那个机器怎么配合,它实际上中间是用算法去寻找切合点。

这个叫MoboCon的系统是我们自己开发的。整个系统是关联的,所有的机械臂、摆台、Gymbal,还有这些转盘、Bolt、灯光等等一系列的东西,都在这个系统软件当中来进行控制。因为只有通过这样的方式,才能保证我们拍摄的时候是高效,并且可修正的。

我跟很多人讨论,大家都会觉得虚拟拍摄好是好,但是学习成本高。

最近和业内创作者的一些合作,让我非常有信心说虚拟拍摄没有那么难。这也是博采一直在努力的一件事情,我们要让一个复杂的事情变得更简单。虽然虚拟拍摄确实很难,但是虚拟拍摄难的事情应该是交给我们,所有的使用虚拟拍摄的导演、摄影应该是非常容易的。

我们有一个非常完整的工业化的体系,所以这是我们反复在强调虚拟制片不只是一个LED,它是一个非常完整的体系,包含我们自主知识产权的所有流程、所有软件。

通过这些软件来构成我们整个的虚拟拍摄的系统,让我们的导演和摄影师能够非常高效地使用虚拟拍摄的方式。所以虚拟拍摄不是说仅仅把原来后期的部分提到前面,它是一个全新的工业化的流程。

国内我们目前在安吉和杭州有两个基地,安吉的基地很快就会搬去德清,德清在今年年底会落成虚拟制片基地,我相信能够给大家提供更完整更舒服的工作状态。

我们一直希望电影拍摄能够变得朝九晚五,能够不要像以前那样每天没日没夜地去熬去做,电影的创作应该是一个幸福而不是痛苦的事情。那么新工业带给大家的可能性就是让大家在创作过程中变得更可控,希望在未来的基地当中能够跟大家一起来创造更新更好的电影作品。



Hello!
我们在为更加闭环、更加高效的服务模式做准备
欢迎加入限定白名单
与我们一起探索

数字人“竞技”百万身价虚拟人 柳夜熙  | 聆秋Rozy | 小K直播姬 | Ziva Dynamics | 小度 | 韩国的“虚拟人”Fable | 日本的“虚拟人” | Hikky|超次元 | “十五少女”| 爱化身 | 凌迪Style3D | 虚拟演员202 | 快手狐璃璃 | 数字员工 Jinn  ... ...


Rec Room 《堡垒之夜》 |《节奏光剑》《遗忘工程师》Syn City  | 《Pokémon GO》本土游戏UGC |《黑客帝国觉醒》体育游戏 | 主机游戏 | NFT游戏 | Gala Games | 《The Sandbox》| 《糖豆人》|《Play Together》 |  《职业时代》| 《Grimlord》| 《NFT ALL Stars》| 《方寸幻境》 | Gym Class | 《派对派》... ...


Cocos | Facebook | 软银 | 腾讯 | 百度 | 微软XGP| 迪士尼 | Epic与苹果 | 索尼元宇宙观 |  | LG U+ | Roblox | 索尼 | VTuber | 英伟达 | Unity | 育碧Scalar 腾讯云 |  派拉蒙 | Epic | Adobe | 集英社 | Discord |PICO |Vertigo Games | LayaBox ... ....


世悦星承次世文化|火山引擎| avatar动图宇宙 |Inworld AI | Synthesia | Burlingame Studio | Liv |Twitch | Brave Group | Hour One  | 粒界科技 | Wonder Interactive |Sequin AR | Motion Matching | NTT XR | 三丽鸥 | Dark Slope| Atoms Labs|Space Date ... ... 


聂辉华教授| 王国成教授 | 姜进章教授 | 臧志彭教授 | 稻见昌彦教授 | 华策影视集团总裁 傅斌星 | Layabox创始人谢成鸿 | 陈永东教授 | 博采传媒创始人 李炼 | 七创社董事长 许怡然 | 蔚领时代 郭建君 |OUTPUT 刘茵梦... ...


AR市场趋势观察 海外产业观察  | 日本市场 | 全球芯片 |  韩国NFT | 体育IP进军元宇宙  | VR虚拟试驾 | Authentic Artists |  五感交流 | 3D 虚拟社交| VR开发工具| 元宇宙“综艺” | AIGC工具 | 体育产业 | ... ...


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存