盖世汽车讯 据外媒报道，宾夕法尼亚大学（University of Pennsylvania，Penn）的工程师开发出人工智能（AI）音频编辑器SmartDJ，用户只需使用日常语言的简单指令即可修改沉浸式音频环境，其潜在应用领域包括虚拟现实、增强现实、游戏和声音设计。SmartDJ无需用户指定具体的编辑内容，即可响应诸如“让这里听起来像繁忙的办公室”之类的高级指令，然后规划并执行实现该效果所需的步骤。

图片来源：WAVES Lab

该系统解决了早期AI音频编辑工具的两大局限性：首先，大多数先前的系统更适用于僵化的、模板式的命令，需要用户识别要添加或删除的声音；其次，这些工具通常处理的是单声道或“单轨”音频，失去了沉浸式音频体验所必需的空间线索。

相比之下，SmartDJ能够理解高级指令，并且专为立体声音频设计，因此能够进行编辑，从而更好地保留或重塑场景的空间结构。

更重要的是，该系统具有可解释性：用户可以看到SmartDJ执行的每一步操作。例如，如果用户输入“让这里听起来像繁忙的办公室”，SmartDJ可能会生成类似“在右侧添加3dB的电话铃声”这样的指令。用户可以修改、删除或添加单个步骤，从而更好地控制最终结果。

计算机与信息科学系（CIS）助理教授Mingmin Zhao表示：“使用SmartDJ，用户可以用自然语言描述他们想要的结果，系统会自动找出实现的方法。这证明AI可以帮助人们使用简单的语言以直观的方式编辑音频。”

语言模型与扩散模型的结合