文:尉玮
舞者进行动作捕捉。
舞者进行动作捕捉。
AI舞蹈家的数据来自对舞者的动态捕捉。
在早前的香港浸会大学交响乐团周年音乐会上,潘明伦指挥乐团与AI合唱团及AI舞蹈家共同演绎作品。
潘明伦指挥时戴上感应器,让AI接收指令。
现场乐团与AI艺术家共同演出。
郭毅可(右)与潘明伦。科技融合艺术近年大行其道,Art Tech(艺术科技)成为创作新趋势,与文化融合更是城中热话。科技可以帮助东西方文化成功活化传统?融合之路是否令行如流?本系列将会探讨科技与艺术融合实践中的优点与困难。
早前,香港浸会大学交响乐团周年音乐会上,别开生面的人机合作表演惊艳了在场观众。人工智能合唱团用320道人声齐唱《东方之珠》;人工智能虚拟舞蹈家在现场乐团的伴奏下,跳起了拉威尔《达芙妮与克罗埃》中的芭蕾舞;整场演出,在人工智能媒体艺术家的视觉影像衬托下,如梦似幻,观众如同闯入了科幻小说中的世界。
这次表演,正是由浸大副校长(研究及拓展)郭毅可和协理副校长(跨学科研究)兼创意艺术学院创院院长潘明伦为首的跨学科研究团队,所主导的「香港人机共生艺术创造平台技术建设」五年研究计划(下称「计划」)阶段性成果展现。
科技带来无限可能,艺术与科技的融合共生推动创作进入新纪元。「我相信AI的科技也会走出很大的一步。」潘明伦说,「不过最特别的是,那一步是什么可能我们都还没有想到。」
将机器赋予人性
音乐会中让人印象深刻的,是以320道人声演唱《东方之珠》的人工智能虚拟合唱团。
如何训练AI唱合唱?郭毅可介绍道,AI通过完整的数据库来进行深度学习,先掌握人声的共性,再通过参数的调试来学习个体声音的特点。「例如学习我讲话的声音,就能模拟出我唱歌的声音,最有趣的是,它居然连走调都能学出来。」
但其中亦有局限,「比如去学Celine Dion,我能训练出它用Celine Dion的声音唱《东方之珠》,而且唱出来还有法国人的中国味道,但是Celine Dion唱歌的style它学不会。一听,好像是她的声音,但却不是她的味道。这个就是我们的挑战,下一步怎么把她的味道也学出来。又比如我们做了女高音Maria Callas唱《乘着歌声的翅膀》,就学得比较棒。这个里面还有好多挑战,好多可能。」
以8个人的声音为「种子」,最终变化出320道人声,成为气势磅礡的合唱。与真人合唱相比,AI合唱不需要排练,天然就能轻易达到整齐划一的效果,但没想到这也正是其软肋所在。
「在声学上,如果两个人把声音重叠的话,是不会有两个人的声音,听到的是一个人,所以我们要做300多人的合唱,很有难度。」潘明伦说,「真人合唱好听正是因为有偏差,同步又不同步。就像一群小鸟飞,好像去往一个方向,但是都有不同的速度,才有那么震撼的感觉。如果300个人的声音完全同步可能只会听到10个人的效果。」于是乎,反而是要AI学会不那么整齐,将偏差容纳进去,才能更加有「人味」。
以艺术家为主导
在二人看来,人机共生艺术创作研究计划的推进,是以郭毅可为代表的科学家们和以潘明伦为代表的艺术家们间紧密合作的成果,整个过程没有预设的议程,是有机的、灵感迸现的创作之旅。
「很多想法其实是聊出来的。」潘明伦笑道,「比如唱歌,我们最初想过是让机器来作曲,后来又幻想是否可能让张国荣来唱一首他没有唱过的歌?又或者郭教授演讲的声音很好听,那我想听他唱一首歌呢?很多可能。就把不同的可能性用科学方法去研究,再想怎么配合演出来表达,声音怎么呈现,如何和现场的乐队配合。」
郭毅可则认为,这其中最重要的原则是艺术家主导。例如让AI来作曲,能不能做到和有没有意义显然是两回事。在现今的技术发展下,机器完全可以作出合乎节拍可听的曲子,但那不一定符合音乐的基础规律。「可能对艺术家而言那只是噪音,没有表达,没有美,不好听。那就不是音乐。」艺术是人性的表达,是文化的抒发,不懂这一层意义,只是用计算机来随意创造,用郭毅可的话说,「不合适」。「所以什么能做,什么不能做,这要区分,而这中间的界限,只有艺术家能决定。」
在郭毅可看来,艺术与科技的结合古来有之,从吉他到电吉他,从摄影到电影到现在的沉浸式展示,新的技术不断被艺术采纳,形成新的表达形式,亦丰富了艺术的内容。然而技术只提供新的手段,并不能改变人思想的表达,对他而言,所谓技术凌驾于艺术之上,甚或是机器取代人,这实际是伪命题。浸大的研究计划中有最前沿的科技的运用,然而,艺术家的深刻参与,才是其与世界其他AI研究项目相比之特别之处。
「隔行如隔山,艺术家觉得我们科学很magic,其实我们觉得艺术很高深。」他笃定道,「没有艺术家参与的人工智能艺术研究一定不会有前途。」
表演能推动技术发展
郭毅可笑道,艺术与科技的融合不在嘴上,而在实践上。于是,研究计划所采取的策略是以演出来推动,设定艺术表达的目标,又反过来推动了技术的发展。
「我们是在交流中不断地设计、学习。比如,我们开头做了(AI)大合唱,放完大家觉得很好听。这时他(潘明伦)就有个问题:作为听众,你怎么知道这个真的是AI生成的哩,还是只是录了个音?因为太逼真了。于是我们就想,我们要变成交互。你指挥不只要指挥乐团,还要指挥我们人工智能合唱团。于是他戴上传感器,挥出动作,计算机来接收。原来音乐的生成也是可以人和机交互互动的。」郭毅可笑道,当时潘明伦在台上指挥,他在台下捏了一把汗——万一机器不听话那怎么办?
机器刚开始时的确是不听话的。潘明伦分享道,演出前三天的排练,机器仍然认不准他的指挥手势。AI很精准,一个向下的手势,偏了一点角度,它反而不收货。怎么办?要教机器学习「模糊」。「那天我也很沮丧,我说:你不能把我这个人变成机器呀!」潘明伦笑道。
不是把人变成机器,而是要机器变成人,这才是人机共生艺术的要义所在。
「我们和世界上所有做AI的不一样,我们不光追求形式和技术,更注重美感和意义,那只有一个办法,就是用表演来推动。什么叫美?观众喜欢就是美。」郭毅可说。
这比起写论文接受学界评估,是另外一种挑战,「我们这个是『活』在观众面前的,你做不出来就是做不出来,不能粉饰也没法说谎。」潘明伦说,「而在这个过程中,科研的进步其实是很大的,因为太多问题要解决,在其中又发现新的方式。」比如做《东方之珠》时,刚开始做出来的效果像幻灯片,后来进展到像DVD影像,再后来变成3D,又融入「东方之珠」的语义,沿用珠子的平面来设计,越做越漂亮。
「我们的整个研究是表演主导,不是写paper,而是通过一个个演出来进行。演出时我们共同商量一个目标,要足够地挑战,足够地美。只是技术上有挑战没劲,还要艺术上有挑战。把这两个结合起来来做这个计划。」郭毅可说,「所以这个计划5年,最终不是技术的计划,而是艺术修行式的计划,这个会推动技术的发展,很不一样。」