“艺术”艺术与科学总是在山顶重逢，那么在AI时代呢？

今天，很高兴为大家分享来自DeepTech深科技的艺术与科学总是在山顶重逢，那么在AI时代呢？，如果您对艺术与科学总是在山顶重逢，那么在AI时代呢？感兴趣，请往下看。

来源：DeepTech深科技

当科学遇到艺术，会产生怎样的火花？

福楼拜曾有一言：“艺术与科学总是在山顶重逢”。著名华裔物理学家、诺贝尔物理学奖获得者李政道也说过，“艺术与科学是一枚硬币的两面，它们源于人类活动最高尚的部分，都追求着深刻性、普遍性、永恒性。”

但是，前人对“科学艺术之关系”的形容，往往在哲学意义上，它可以同时出现在一个人的身上，正如擅长拉小提琴的爱因斯坦，或者精通建筑学、天文学的达芬奇。

然而，随着科学、科技的发展，尤其是一些“黑科技”在艺术领域中的应用，当代艺术创作者才真正的在作品层面上实现 “科艺融合”。

当 AI 赋能艺术创作，极大地拓宽了艺术的边界

比如用 AI（人工智能）进行绘画、电影创作，或者用语义驱动数字人表演，这正是之江实验室科艺融合研究中心（以下简称中心）正在研究的领域。2022 年 11 月，中心发布了一款 AI 绘画网站，简单的说，这是一款通过“语义驱动”，根据自然语言的含义，生成对应视觉内容的创作工具。

这款产品发布的意义在于，通过整合集成 VAE，GAN 和扩散模型等人工智能算法模型与框架，构建跨模态的智能计算模型，为语义驱动的视觉内容生成任务，探索并实现可应用落地的技术解决方案。从更大的视角看，基于 AI 的跨模态内容生成，将为文化数字化国家战略提供关键技术支撑，并将形成文化创意产业的新支柱---人工智能艺术创作新业态。

有人看到“人工智能”，不免担忧人的工作会被机器取代。其实这种担忧是多余的，AI 之于艺术，其角色是“赋能”而非“代替”。赋能的含义是指通过使用技术，把艺术创作者从重复性劳动中脱离出来，从而聚焦于附加值更高的艺术创意与创作等环节。

AI 艺术已经成为了艺术的一种新形态

以人工智能绘画为例，2018 年 10 月的佳士得拍卖会上，一幅名为《爱德蒙·贝拉米肖像》的画作以 43.25 万美元拍卖成功。这幅画不是出自哪位名家之手，而是 AI 生成。这次拍卖也标志着人工智能艺术正式登上拍卖舞台。

AI 作画，不是画出来的，而是算出来的。遵循艺术创作的规律，让计算机技术理解样本图像的色彩数理关系与分布规律，在某种意义下构建出“计算美学模型”，从而“算”出一副让大众认可的佳作。

那么，当 AI 技术应用于电影创作，它是如何起作用的呢？

早在 2018 年，伦敦科幻电影节举办了“48 小时电影挑战”，一部名为《Zone Out》的电影横空出世，这部电影采用“换脸”技术，使用神经网络生成对话和配音，整个制作过程是由一个叫“Benjamin”的 AI 完成的。

AI Benjamin 是如何做到的？首先研究人员找到了几十部电影剧本输入给 AI，AI 会把它们分解到字母级，学习哪些字母、单词、句子更可能组合到一起。这其中要用到 LSTM 算法，即对长得多的字母串进行采样，它更擅长预测整个段落并生成原始句子，而不是简单地从素材中剪切。随着学习时间增加，最该 AI 学会了模仿剧本机构，创作观众能理解的台词。

展开来说，AI 可以介入电影制作的各个环节。

从编写脚本开始，以剧本的形式，为AI提供大量数据，通过机器学习和算法分析，生成独特的剧本。此外，还可以让AI直接“研究”已经上映的电影，通过对故事情节的解读，提出建议，这会让剧本分析更加高效。AI 编辑剧本并非想象，目前已经成为现实。2020 年，Calamity AI 使用基于 GPT-3 构建的 AI 工具 Shortly Read 编写了一部三分半钟的短片剧本。

近期，ChatGPT 疯狂刷屏，各种使用 ChatGPT 进行辅助写作的攻略也是层出不穷。这款 OpenAI 推出的 AI 产品，已经可以根据用户要求编写出复杂的剧本。来自斯坦福大学计算机科学系的博士生 Eric Zelikman 做了一项测试，他不仅让 ChatGPT 写了一个儿童故事，而且另一款AI产品 DALLE-2 画了出来。

今天，通过不同 AI 工具的组合，已经可以涉足剧本写作、图片和视频生成——用 AI 制作电影已经走进现实应用。

ChatGPT 大火之后，其竞争对手 DeepMind 也推出了新产品——Dramatron。这款 AI 可以让使用者（哪怕零基础），成为编剧或者作家。你只需要给出提纲，Dramatron 可以自动生成角色、情节、场景和对话等元素。

现在，DeepMind 正式推出了试玩版。经过各路网友尝鲜，该 AI 编辑可以生成连贯性极强的剧本，不论是在逻辑上还是情节上，远超人类预期。

从技术角度看，AI 电影制作本质上还是语义驱动的内容生成任务。这包括语义驱动的视觉内容生成、听觉内容生成，以及视听联觉的内容生成等，在核心关键技术上，涉及 VAE、GAN、扩散模型等跨模态的智能计算模型。

随着 ChatGPT 和 DeepMind 爆火，人们惊呼：AI 制作电影的时代已经来了！

之江实验室科艺融合研究中心的核心定位就是“人工智能电影创作”，也是一个牵引性目标。中心对 DeepTech 介绍说，从创作的角度看，作品内容的“可控”生成是核心，即如何使得 AI 创作出来的内容，符合用户的创作意图和设计意图。

科艺融合中心在 AI+ 艺术领域做了许多开创性的探索。在关键技术上，包括语义驱动的绘画生成、语义驱动的三维场景生成、语义驱动的数字人表演等。在语义驱动的数字人表演方面，该中心针对“无声电影”智能创作的关键技术—语义和动作的关联计算模型，研制开发了手语数字人，可服务于全国 2 千多万的听障群体。此外，语义驱动的数字人表演与语义驱动的三维场景生成相集成，结合镜头规划，就可以用于影视短剧的智能化创作。

科艺融合不仅是国家战略，也是行业发展的趋势

今年 5 月，中共中央办公厅、国务院办公厅印发了《关于推进实施国家文化数字化战略的意见》，其中提到，“促进文化和科技深度融合，集成运用先进适用技术，增强文化的传播力、吸引力、感染力。”

在发达国家，科艺融合已经不是新鲜事，它是隶属于数字艺术（Digital Arts）的一个概念。即使用数字技术作为创意，或者更具体地说是使用数字媒体并与之互动的计算艺术。

那么它诞生的意义何在？在数字艺术界，对这个问题有强烈的共识：它极大地扩展了“创意领域”范围，为专业和非专业艺术家提供了机会。今天，相当多的图像、视频都是经过计算机处理、再加工、乃至再创作的，从理论上说，它们都应该属于“科艺融合”的范畴。

在之江实验室看来，科学与艺术融合发展未来将会在艺术领域形成一个新的“科艺派”，希望用科技支撑、赋能艺术创作，从而培育出一批创新成果。科艺融合研究中心就是在这样的构想下孕育而生的。“我们的研究更加聚焦于‘人工智能’。因此，中心把‘科艺’中‘科’明确界定义为 AI。由此，科艺融合中心对应的英文名称是 Research Center for Artificial Intelligence and Fine Arts。”之江实验室科艺融合研究中心主任耿卫东介绍道。

科艺融合领域的发展，需要“特殊人才”

在大众眼里，科学技术和艺术之间距离似乎过于遥远。懂艺术的人很难理解技术，懂技术的人往往对艺术知之甚少，这便是科艺融合领域发展的困难之一——缺少复合型人才。

在发达国家，电影类等艺术院校早在 5 年前就已经开设了编程课，国内相似专业暂时还没有相关课程。这是因为国内采取艺术类单独招生，在文化课方面，艺术生相对于理工科学生基础更薄弱，开设编程课将面临重大挑战。

另一方面，我们与发达国家在“科艺”融合设计的深层技术方面，仍然有不小的差距。在跨模态的智能计算大模型等核心关键技术方面，国内的头部企业还处于“跟跑”的阶段。在基于跨模态的智能计算大模型，构建科艺融合的应用技术生态和产业生态方面，与国外处于“并跑”的状态。

不过，问题仍有积极的一面。在国内，“艺术与科技”专业已经开设了 10 余年，也有数字媒体艺术、数字媒体技术等专业，这在某种程度上打下了培养复合型人才的基础。但是仅有这些还不够。

在科艺融合中心，它们有自己的一套培养复合型人才的方法。一方面致力于构建一个学习型团队，遴选可塑性强，艺术审美能力佳，工作热情高的研发人员加入中心，通过自学和相互之间的教程学习与交流，构建基本的跨学科知识体系和沟通能力；另外，通过项目实践（引擎研制、系统装备、创作工具等）和一系列的实验性和示范性作品创作，来实现“科艺”融会贯通的人才团队建设目标。

科技和艺术人士产生交汇，一定会遇到各种各样的困难，但中心要求艺术背景的人员，拥抱技术；科技背景的人员，具备艺术审美与基本的沟通能力。

那么，之江实验室科艺融合研究中心在人才招聘上，更看重什么？

相比于硬技能，中心更看重软实力。之江实验室科艺融合研究中心主任耿卫东介绍：“因为同时具备艺术素养和技术储备的人才少之又少，中心需要具有可塑性的人才，或者擅长艺术、或者擅长技术，来进行跨学科培养。这就要求科艺融合中心的独立研究员（PI）候选人，必须具备快速学习能力、‘跨学科’思考能力、灵活自由的探索力，同时对新领域、新知识保持好奇心和领悟力。”

关于之江实验室科艺融合研究中心

科艺融合研究中心隶属于之江实验室交叉创新研究院。中心的使命与愿景是：以艺术创作为牵引，推动人工智能技术进步，探索科学与艺术融合的新路径与新生态，并打造以智能化影视创作为核心的文化创意产业新支柱。中心的学术研究将聚焦在跨模态智能计算领域，在之江实验室人工智能领域首席科学家潘云鹤院士指导下开展科艺融合学术研究与产业应用。

中心定位是以人工智能电影创作为目标，围绕视觉内容生成、听觉内容生成、以及视听联觉的内容生成等生成类任务，探索语义知识、视觉知识、多重知识的联合表达与计算，以及演员的数字化和智能化等关键技术，研制智能化影视创作内核引擎与工业软件，加速人工智能创新技术赋能影视动画行业与创意媒体产业。

好了，关于艺术与科学总是在山顶重逢，那么在AI时代呢？就讲到这。