近日,第三届琶洲算法大赛颁奖暨生态赋能大会在广州琶洲举行。该赛事吸引了全球36个国家超6000支队伍报名参赛,历经近5个月的激烈角逐,最终趣丸科技凭借“唱鸭·天谱乐”AI音乐大模型项目夺得全球总冠军。
会上,中国工程院院士、中国人工智能学会理事长戴琼海表示,对于琶洲算法大赛上的高等级创新成果,将向学会建议开通“吴文俊人工智能科学技术奖”的直通车——“吴文俊人工智能科学技术奖”是由中国人工智能学会发起设立,被誉为“中国智能科技最高奖”,具备提名推荐国家科学技术奖的资格,代表人工智能领域的最高荣誉象征。
本届大赛以“算法领航,琶洲奋进”为主题,由广州市人民政府、中国人工智能学会主办,中国信息通信研究院、广州市海珠区人民政府、广州市科学技术局、广州市工业和信息化局、广州市政务服务和数据管理局、人工智能与数字经济广东省实验室(广州)等单位承办。
自研全球首个多模态音乐生成大模型
天谱乐大模型是由趣丸科技唱鸭团队自主研发的全球首个多模态音乐生成大模型,不仅支持文生音乐、音频生音乐,还首创图片/视频生音乐功能,多模态理解与生成能力比肩国际先进水平。
简单来说,用户只需要输入一句话、一张照片或一段视频,就可以在1-2分钟内生成一首兼具人声唱词,结构相对完整的歌曲。让用户不再受限于专业的乐理知识,复杂的音乐制作流程和昂贵的版权费用,就可以轻松通过音乐创作记录生活的切片,在创作中提升审美自觉和音乐生产能力,极大降低普通用户体验音乐创作乐趣的门槛。
依托技术创新,唱鸭·天谱乐团队进一步突破了AI在音乐理解和生成上的局限,让同步视听生成变成现实。该团队的核心研发成员均来自全球知名高校和顶尖科技公司,“与典型的大模型研发团队不同,我们团队大部分都是有很强的技术和音乐背景的复合型人才。所以我们更有能力去辨别一个好的音乐结构、好的音乐作品应该长什么样子,然后通过技术创造出更有音乐审美与应用价值的产品。”趣丸科技副总裁贾朔介绍到。
该团队通过自研多模态大模型、画面情绪理解模型与音乐大模型等领先技术,让模型不仅可以根据视频画面的明暗、色彩、情绪的细微变化逐帧识别和理解,也可以理解音乐的和弦、旋律、歌词、演唱风格等复杂特征,最终生成高契合度的视频配乐。
坚持从用户需求出发创造高价值产品
面对关于“如何判断生成的音乐是好音乐”的问题,唱鸭产品负责人天翼表示:“通过调研发现,用户的音乐素养和理解各不相同、评价各异,但是用户对音乐生成的过程和结果是否符合自身需求非常在意,因此,对用户来说,与自己有关的音乐才是好音乐。”
从模型的架构设计和训练、到商业层设计和应用层设计,正是源于满足用户真实需求的坚持,使天谱乐大模型赢得了众专家评委的一致认可,也不断驱动趣丸科技在创造好技术、好产品过程中获得高质量增长。
目前,天谱乐大模型已全面接入趣丸科技旗下唱鸭APP,面向所有用户开放。用户可登陆天谱乐官网(https://ai.singduck.cn/)或下载唱鸭APP限时免费体验。
除了解决普通用户的音乐创作需求,对于行业应用层面,天谱乐大模型能解决企业在音乐制作流程中的痛点。贾朔表示:“不少企业对音乐作品需求量大,AI音乐大模型能降低企业的音乐作品生产成本。尤其是企业在出海过程中更需要原创音乐,利用AI音乐大模型能帮助企业高效生产原创作品,从而保证作品版权的安全性。”
《2024中国音乐产业发展总报告》显示,2023年中国数字音乐产业规模达到893.45亿元,中国网络音乐用户规模达到7.26亿。高盛《Music In The Air》指出,到2030年,全球音乐市场(录制音乐、词曲版权和演出市场)的收入预计达到1637亿美元。AI技术的出现,为音乐产业发展带来新一轮增长机遇。
面向未来,趣丸科技将始终坚持从用户需求出发,持续加大AI技术的投入和创新,以确保自身在AI驱动的产业变革中保持领先地位。