只需轻轻滑动手指就能环游世界,
操作精密的仪器,
甚至通过虚拟化身跨越空间进行交流。
曾几何时,这些场景还只存在于科幻电影中,
现在随着虚拟现实技术的迅速发展,
空间计算时代竟然已经来临。
6月28日,Vision Pro即将在国内发售,并且带来了visionOS的“首次重大更新”。visionOS 2可以使普通照片实现“空间化”,通过AI计算分析就可以把图库中的所有2D图像转化成空间3D实景尺寸的图像;整体的交互也有所升级,用户只需点击即可导航到主屏幕,翻转手掌便可以调出控制中心。目前已经有超过2000个专为Vision Pro创建的应用,Vision Pro的到来远不只是一场技术盛宴,而是实实在在地让空间计算影响着每个人的生活。
试想,你可以在安逸的沙发上选择最喜欢的视角,独自享受一场影院级观影;或者开启沉浸式应用《Encounter》,在现实环境中“偶遇”侏罗纪霸主的追击;利用空间计算能力,将身处的房间变成绚丽的异空间;visionOS 2甚至添加了旅程模式,让你在旅途中更好的享受大屏观看电影或工作体验。而在世界范围内,外科医生开始使用Vision Pro来进行手术的辅助显示,业内预测它会成为推动微创手术创新变革的重要工具……
当我们谈论虚拟现实,这项技术看似突兀地从21世纪的幕后走到了前台,实则根植于人类长久以来对于超越物理界限的探索。20世纪90年代初,涌现出一股名叫虚拟现实(Virtual Reality)技术的科技新潮。为了更大的拓展人与信息环境的处理边界,人们开始不断探索如何身临其境地进入各种想象环境。如果还是会对这有看待新技术的陌生感,那么换一种视角,这其实是为了更直接的传递信息,其索引一直贯穿着人类文明的历史长河。
旧石器时代的洞穴壁画,即是狩猎生活的真实写照,也是传递围猎技术的图式教学。源于庆典和祭祀的戏剧,从真实布景的引人入境到无实物表演的情感联想,无不展示了创造想象空间的魅力。敦煌飞天的壁画,教堂通天的雕塑彩绘,是人们自古对天空和宇宙的向往。而东方的屏风艺术,通过散点透视,创造了一种虚拟的空间意境美。
到了技术迸发的19世纪,照相术、电影机、电视相继问世,人们获得了对动态图像、信息、声音更加生动、丰富的体验。但这些仍是透过小屏幕来观看,于是为了更沉浸式的进入情境,全景电影(Sennorama西尼拉玛全景电影系统)的出现无疑极大地拓宽了观众的感官,仿佛可以直接进入画面当中。这是不是听着和如今的IMAX,游乐园中的4D项目,沉浸式展览一样。虽然当时的技术还未研发完全,未能发展出完善的产业线,但是,这一多放映机系统也为今天的影视/展览/娱乐行业奠定了基础,最直观的就是沉浸空间的投影融合系统。人类对空间、光学、视觉、体感、传感的探索发展至今,研发出了各类具有未来感的设备,头戴显示器、传感手套、投影空间的建设等。如今问世的Vision Pro,更是希望成为集成一切于一体的跨时代产物。
作为实践于科技与艺术的创作者,所有工作都是相互交叉的学科交流,是眼前一亮的新奇探索。
身为专注于科技艺术的策展人,我日常的工作甚至延伸到我的生活,都需要去关注相关技术产业的变化,与创作者一起紧跟“潮流”。当苹果在2月发布了象征进入空间计算新时代的Vison Pro,果粉、科技爱好者、以及开发类创作者也不乏期待,它为艺术形式和娱乐体验以及医学与教育等产业研发的可能性增添了一把火。尽管Vision Pro在消费者市场可能面临一些挑战,但它在商业应用领域的广泛适用性和前景仍旧让人期待。随着技术的不断进步和市场需求的逐渐明朗,Vision Pro未来的发展方向将更加注重解决具体的行业问题,而非仅仅满足日常消费者的需求。
近期,我也经常与行业内的创作者以及开发者讨论,沉浸式媒介究竟会从感受上给大众带来多大的改变?我们或许可以先定义什么是沉静式媒介。是只有当下高科技设备么?正如上文提到的壁画、全景式绘画、电影,这些对于当时的时代背景都是一种新的沉静式媒介。虽然这些主要是基于视觉的优化升级,但其核心都是对信息的生动传递。那么随着技术的发展以及人们想象力的放大,“反馈机制”或许是沉浸式技术的核心之一。身体的反馈是本能性的,当大脑接收到被所见所闻所感的信息,会做出相对的反应,这其实意味着大脑相信了这些信息,并且做出了判断和处理。当我们身体本能地、被引导地对眼前的情境做出了某些反馈,或者这些场景因为我们的干预及时地发生变化,给予反馈,也就可以证明当下的沉浸感。日本电气通信大学教授等人开发出的“第六指”装置虽说是一款机械假肢,但是通过习惯使用它,甚至会觉得它是属于身体一部分的,这样的肌肉和神经所带来的反馈,是否也可以称之为是一款沉静式媒介呢?而当VIsion Pro作为又一件沉浸式媒介出现,我会期待看见它是如何在及时反馈上做到与其他虚拟现实设备不同地方,尤其是当苹果用户已经被IOS系统长期驯化,在符号引导、界面设计、手势交互上有了一定基础,也更容易去接受和适应新设备。是否会出现超越过去只有视觉的沉浸体验呢?我们拭目以待。
为什么10年前就会选择VR领域开始创业?
我其实也算是踩在时代的步伐上,北大软院学习期间,比较早的接触到了VR技术,初识之下便被这项技术吸引。但当时VR还处在技术萌芽期,在校期间只是跟着授课老师做一些社会上的商业项目,简单探索。临近毕业,学校实验室有了两台OculusRift1代工程机,我和实验室的几个同学开始沉迷基于这套设备的demo开发。当做出一些玩的很开心的游戏demo时,抱着游戏开发者的分享心态,我们参加了线下游戏展会,期望和游戏同好进行交流。也恰巧在这个时期,VR技术也进入了期望膨胀期,我们很幸运的在展会被IDG看中,之后就是俗套的创业经历,我也顺势成为了国内比较早的一批VR行业的从业者。
你的第一个VR项目是什么还记得吗?
我们用VR做的第一个demo项目是一个场景漫游项目,就像现在很多初学者一样。资产来自于参与制作的一部国产年代剧《铁甲舰上的男人们》的特效模型。在这个demo里,我们还原了大海上漂泊的致远号战舰,体验者扮演一民船员,可以自由的在船长室、甲板等空间里穿梭。船长室,可以看到海战的地图,通过触碰可以让唱片机唱歌。初代工程机的搭建非常繁琐,开发也全是困难。和现在的开发者不一样,初代工程机的头盔和手柄都有线连接,我们需要用拇指操作手柄上的遥感来进行大范围位移。对于有限的图像处理能力,我们对影视级的模型资产做了大量的降精度处理,模型都是棱角,贴图全是像素。所有的要素导致体验时会有巨大的晕眩感。但即使这样,也丝毫没有冲淡那种初次畅游在自己搭建的环境中的喜悦。我感觉这个世界就是真实的,我迫不及待想对这个世界探索,看见什么本能的都想伸手去摸,哪怕我知道我并没有设计什么交互。哪怕遇到穿模的bug,也会来来回回反复尝试,乐此不疲。
基于VR技术还做了哪些有趣的尝试?
早期我们更多是对VR技术可能性的探索,尝试做过VR多人联机的游戏、直播、虚拟主播等。探索过程中,我们更加着重强化VR技术带来的体验感。例如,视觉欺骗带来的失重感,我们会利用简易的装置或拉力马达等外界设备,增强用户身体上的感受。这种探索经历,日后也成了我们公司的主要盈利的业务形式之一,同时也是VR行业至今为止形成的一个独特业务模式——解决方案。它包括软件应用本身,体验方案,外设方案,线下布局等内容。有意思的是,最初,我们希望通过这些技术推动生 产和娱乐方式的变革,没想到几年后,我们的产品却主要出现在三四线城市的商场游戏机中。公司创业中期,我们尝试和索尼中国合作,做过PSVR的线上主机游戏,全球发售。同时期还参与了阿里巴巴的buy+项目,体验在未来线上商城里,选购、试装奢侈品的购物体验项目,验证了VR技术在电商应用场景的可能性。
Vision Pro是否改变了你与其他创作者合作的方式?
我感觉改变还挺大。因为我做这个东⻄比较早,在我的工作模式过程中,一个类似制作人这样的身份是必不可缺的。它不同于游戏行业的职业制作人,需要更强的动手能力的支持,以及类似于戏剧导演的调度编排能力。具备技术能力,除了了解研发的全流程环节,还可以快速迭代验证想法。编排调度能力可以更好的组织3d内容。通常,我在项目里边大概就是制作人的⻆色。
你如何看待Vision Pro的应用场景?
我对VR技术持乐观态度,超出了我对他的最初预期。尽管还未成为跨时代的新设备,但其4k分辨率、12毫秒的反应延迟,以及双处理器硬件方案,都显示出了其卓越性能,这可能会引领未来设备的发展方向。它的使用体验也优于Hololens的新一代产品。Vision Pro提供的眼部追踪,手势操作等新的交互方式,让我在当下产生了很多有趣的点子想要去验证。随着数字孪生、AIGC、仿生机器人等技术的发展,我对可见未来有一种幻想。有一天通过对社会游戏化改造,人们可以通过VR技术选择模拟经营、模拟人生等类型的游戏,完成社会的生产、生活,工作就不再是一件烦人的事了。
使用Vision Pro的初次体验有何感受?
Vision Pro的品质确实很高,不过从大众现实需求来看,它的舒适度并没有特别突出。从我接触VR开始,行业对高清渲染的追求一直很热烈,但实际上这并未带来预期的突破。从艺术家和设计师的角度,大家都在寻找如何在有限的技术条件下尽可能地做一些好的作品,我觉得这个是VR、AR产业看到很有意思的状态,反观游戏产业上也有类似经验,最早任天堂只有16KB或8KB的硬盘才能写出来像超级马里奥这样的游戏。Vision Pro的出现好像解决了14年前大家在VR狂热时代对于性能的追求。
你的第一个VR项目是什么还记得作为艺术家,在你的创作和研究中,Vision Pro的出现带来了什么新的思考和想法么?
有一点很值得提,原本大家有很多混乱的名词定义,比如AR、VR、XR,包括早期微软因为HoloLens创造了MR(混合现实)等等。在Vision Pro出来以后,它抛出了“空间计算”这个定义,让大家不再去讨论AR、XR、MR这些东西了,现在变成了讨论VST(Video See Through)和 OST(Optical See Through)两种技术。当我们今天把OST和VST画到一个平等状态之后,你会发现光学透视这件事情之前好像没有看到任何艺术家在讨论,近期我就在关注这件事,而且这件事情我觉得很大的起因就是VP的出现,让人发现有一个大的宝藏好像没有很多人去挖掘过。
同时身为美院老师,从教学方面有带来什么新的改变么?
这跟以往可能像数字媒体艺术的这种创作领域是完全不一样的。因为今天其实不管像Team Lab式的沉浸空间,还是裸眼三维,这些都是渲染,但今天进入到VP之后,这件事情叫做开发了,开发就代表综合性,一般是需要一支团队来工作,但今天只需要一个艺术家可能就能做完这些事。在这种情况下面我暂时找到了一个解决方案,就是AI辅助编程,AI这个事情突然让一切都能够很顺畅的打通了。我在教学中引入了AI编程,它极大地改变了学生的学习路径。现在的学生几乎像拥有一个高级工程师一样,能直接将创意转化为现实。能够让学生直接跳到下一个时代,以开发为主的艺术家的状态,这个是我最近觉得很妙的一个事。
你觉得Vision Pro这一类设备的前景会是怎样的?
这个要分要几个方面来谈。首先今天VP出来了,它对于数字艺术家是一个完全利好的消息,它足以跟以往以材料为主的艺术家抗衡。在VP之前,数字艺术家跟偏物理、偏材质的艺术家抗衡的方法只能是把LED屏幕做得越来越来大,分辨率做得越来越高,现在VP出来后给了这批艺术家机会,可持续这件事在VP时代也会成为一个很值得放大的点,它可以节约掉很多材料方面的浪费。虽然现在VP开放的能力极少,但在今天开放能力这么少的情况下也出现了各种各样很有意思的小Demo,所以更不用说等到所有的能力全面开放以后,会有多少优秀的创作。
为什么会转向投身于XR方向的投资?
算是机缘巧合。2019年在美国体验了Quest 1,发现它很有趣,便开始深入研究这个领域。那年的XR投资不太被看好,但我觉得这个领域很有潜力。
为什么会坚持这么久?
有两个主要原因。第一,过去几年里我们的团队投资了很多全球顶尖的XR技术公司,这让我对行业的发展进程有了比较客观的预期。我知道这里面的技术有多么难但同时多么具有革命性,所以不会因为短期波动而改变对XR长期价值的坚信。第二,看到了这个行业的巨大潜力。我17年进入投资行业的时候已经很晚了,没赶上移动互联网的浪潮,XR被认为是下一代通用计算平台,加上AI发展的加持,共同带来新的应用生态革命,我认为这是属于我这一代投资人的机会。
经过测评200款Vision Pro原生应用,你有认为的好和差的应用么?
我觉得有三类体验是最好的。第一类是多媒体内容观看,比如赛事、影视和演唱会的观看,以及新的内容形态Immersive Video。这类应用让我感觉未来人们观看内容的体验和方式将被革命。其次是与Spatial Persona和Shareplay相关的体验,这可能会改变人未来社交、沟通的方式,人与人之间信息传递的效率可能是前所未有的。第三个就是通过System Environment这一个功能的展示,去某处、身临其境的场景可能都会被改变,不论是办公还是旅行。体验不太好的应用主要是因为缺乏在Vision Pro上使用的必要性。很多应用只是从手机和平板简单进行了移植,功能和交互逻辑并未与原有平台有本质区别,没有充分利用Vision Pro与手机、PC不同的功能特性,所以在Vision Pro上使用这些应用并没有带来令人惊艳的体验感。
从投资的角度,你会体验和使用什么产品?会从什么样的维度来衡量?
我觉得建立第一手的体验和反思对做出投资判断很重要,所以基本所有上架Vision Pro商店的应用,只要有精力,我会尽可能多的去使用,这也是为什么给自己定下了600款体验的挑战目标。一些还没正式上架的应用,也会应开发者邀请提前做测试给他们一些反馈。之所以体验这么多款,是因为亲身使用可以帮助我更深入地理解应用和硬件本身的功能和潜力。这也有助于与创始人交流时提供有价值的反馈和见解,而不是一味的被科普。其次,从投资的角度来看,我主要关注两个方面:一是这款应用能否在用户很疲劳时仍然吸引他们有足够的动力使用。考虑到当前设备的重量和舒适度,这是衡量应用吸引力的一个重要指标。二是这款应用能否显著提升用户体验,具体来说,就是新体验是否明显优于传统体验,并且让用户认为替换成本足够合理。
对未来的创作领域,你认为VisionPro会带来哪些新的可能性?
可能十年后回看这篇采访,人们会对我们现在提出了这个问题而感到惊讶,就像在1984年讨论电脑未来的前景如何一样。我认为不只是Vision Pro,从整个XR来看,应用内容生态可能比移动互联网还要大。因为电脑到手机是从大屏到小屏、便捷性、可移动性的变化,而XR是从2D到3D的变化,堪比从人类没有计算机到有计算机的变化。这种变化的价值甚至可能开启的是未来三十年乃至五十年的技术浪潮。虽然它的普及和发展可能不会一蹴而就,但从长远来看,它的技术意义和前景是非常巨大的。
第一次使用Vision Pro,与你的预期差别最大的体验是什么?
当我首次尝试Vision Pro时,我并没有感到失望,反而感到非常激动。作为一名果粉,我对苹果的新产品抱有很高的期待。尽管有报道说它很重,但实际佩戴后我发现并没有太大感觉。第一次使用我就持续性地戴了2个多小时,它的沉浸式视觉效果和杜比全景声非常惊艳,尤其是在清晰度方面做得很好。最惊艳我的地方在于,它提供了一种前所未有的一种视觉和操控体验,在三维空间中延续着熟悉的苹果设备的操作方式。
如今你最常在什么场景下使用它?探索出什么特别的使用场景吗?
我主要在两个场景中使用Vision Pro:一是早上进行正念训练,二是晚上观看电影或视频。通过Vision Pro,我能够在真实空间中体验到虚拟环境,这种沉浸感是传统屏幕所无法比拟的,也让我的观影过程变得更为专注。我也尝试将它变成我的私人健身教练,可以全方位近距离的观察教练的动作要领。
看到你用Vision Pro进行健身训练,有尝试过在户外、旅行中使用吗?
有一次我在外滩尝试利用Vision Pro拍摄了外滩的全景视频和照片,相比于iPhone拍摄的效果,Vision Pro在视野范围上更胜一筹,但在画质上略有逊色。但我对外出携带它有些担心,因为重量和电池续航是个问题;同时佩戴它行走时,可见的视野范围要小于人眼,也带来了一些隐患。
想象一下,未来如果VR成为日常,你觉得改变最大的地方会是什么?
如果Vision Pro要走向普及化,我认为它需要让形态更为“无感”,无论是重量还是设计的存在感上。我相信它会对于未来生活产生很大的改变,从我作为导演和制片人的工作方面,前期的勘景和人物选角都可能会在虚拟空间中实现,极大程度的提高了工作效率;从个人生活的方面,原本我是一个经常去电影院的人,自从我使用Vision Pro之后,已经几个月没去过电影院了。影院中4K屏幕的清晰度其实远不如Vision Pro,而且它允许你选择自己最舒适的位置和环境进行观影,同时也避免了周围人的干扰,这对我而言是非常理想的观影体验。
第一次体验Vision Pro,当时的感受如何?
第一次体验是在公司的体验活动上。使用Vision Pro当然首先是新奇,但同时又很熟悉。因为我全部的设备都是苹果系统,哪怕它采用的是一个很新的技术,我也能够在很短的时间内熟悉并熟练掌控它。只能说苹果的系统性设计真是牛啊!对用户进行长期训练下,使得其平稳进入前沿科技中。当时在尝试用眼睛追踪矫正定位时,我就开始想“真不错啊”,还能让我进行“眼保健操”。因为平时使用手机、电脑的话,每次只盯着一个点,眼神也会变得迟钝,如果之后能用眼睛的对焦去操控,我觉得至少对眼睛还挺好的,我挺喜欢这种体验的。
和以往体验的虚拟现实设备有什么不同吗?
回想我之前体验的那些VR/AR眼镜,其实说实话我都不太喜欢,因为我用他们看东西会觉得面前的都是一张张jpg或者png,就算是立方体好像也都是6张纸片拼成的空心体。这次用Vision Pro体验的几个模型,真的给我一个它是一个切实的“实体”。就像我在前几年的博物馆日,有体验Rokid眼镜在博物馆中的应用,当时的体验就相当于在实物层上面又叠加了一层图像信息去示意,让文物说话,我觉得对于一般想要了解知识的观众来说,的确是一个很好的方式。但仍然像一个悬浮的PPT,在体验完Vision Pro之后,我觉得它能呈现出的体积感能给这样的博物馆体验带来更多可能性。
你会考虑经常使用VR在生活中吗?
会想要在生活中使用。尤其对在外工作(且独居)的年轻人来说,和家人朋友线上沟通是不可避免的,但我们现在只能在手机屏幕这一小小的天地进行打字、语音、视频通话。如果带着Vision Pro,环绕音/人物画面就在眼前(且跟随着你),这种集成体验我想确实能弥补不在场感。
想象一下,未来如果VR成为日常,你觉得改变最大的地方会是什么?
会让我们变得更加智能。想象了一下,比如我们以后能待着它出门,假设买菜好了,我既能看到前面的环境,同时又可以将我这次要买的备忘录清单放在我的视觉左侧,然后把过去的地图路线放在右侧,也许还会有一个app帮我实施挑选水果。有了这样一个眼前的工作台面,仿佛我也成为了一台电脑,一些本来在脑子后台运转的人脑程序,在设备的辅助下来到了“台前”。所以我觉得像Vision Pro这类的VR设备会是一个很好的工具,能够帮助大家高效地活。
监制:carrie cao
编辑:子秋
撰文、访谈:杜歆晨
采访整理:李思佳、ChatGPT
新媒体设计:Aki
图片来源网络
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.