不止5秒复刻火山引擎语音合成大模型全面升级

时间: 2024-04-18 14:46:58 |   作者: 发动机缸盖

  自2022年起,生成式AI的爆发助推语音技术快速升级。语音作为高频的交互形式,在多个领域的需求颇为强烈,尤其是在追求高自然度语音合成上,业界与学术界均投入诸多研发资源。

  火山引擎语音团队曾于2023年推出zero-shot(零样本学习)的极速版声音克隆。近期火山语音再一次升级,推出大模型版超自然语音合成和5s极速声音克隆升级版。致力于多个语音场景的深耕,为陪伴式AI交互、沉浸式听书、跨语种内容生产、企业客户服务等场景的企业级客户提供超自然的声音体验。

  火山引擎正式推出了基于大模型的精品音色语音合成技术。相较于传统小模型的语音合成,大模型语音合成能够支持依照上下文,洞悉文本中隐含的情绪、说话人角色等信息,进而给出情绪更有表现力、韵律更为自然的精准表达。

  火山引擎语音团队曾在2023年发布了 MegaTTS 声音克隆技术,此次升级后的超自然克隆,在多重维度均有显著提升:

  多语种表现力提升:在英文等外语的发音上更标准,讲话韵律上更接近当地人的表达。

  自2023年起,火山引擎与合作伙伴围绕语音合成技术的4个典型场景展开应用探索,通过小规模的部署测试与迭代,对新一代语音引擎在各行各业的广泛应用有了更多实践与经验积累:

  在陪伴式 AI 交互场景中,客户希望构建更为智能化的语音对话交互系统。用户都能够使用自然语言作为输入,系统会以多种模态输出的方式予以应答。在这个链路中,上一代的语音合成效果在口语化、情感变化等方面的表现还不够出色。基于大模型版本的语音合成,能够给大家提供超自然、媲美真人的语音播报效果,并允许用户自定义声音,实现更具个性化的呈现方式。火山引擎提供的语音能力已经在豆包等场景中落地应用。

  传统的 AI 听书一般是由单一音色进行播讲,其播报风格总体较为平淡,毫无变化,难以依据文本语义呈现出不同的情感演绎,长时间听书易使人感到枯燥乏味。相较而言,火山引擎依托大模型构建的音色矩阵,AI 主播不光能“哭”而且会“笑”,犹如专业配音演员那样表达“深刻的人类情感”,使用户得到满足“沉浸式阅读”的需求。此外,火山引擎也正在推进“大模型多角色演播方案”的构建,融合角色分明、声情并茂的音色矩阵,为用户更好的提供如同真人有声剧一般的高品质听书体验。

  升级后的大模型声音克隆,不但能够维持在本语言上的高度还原,还支持跨语种的配音。即使用户仅会说中文,也可借助跨语言克隆技术,完成地道的英语、日语、印尼语等语种表述。这种能力便于用户进行跨国交流,助力翻译视频、播客等内容,让创作者和企业能够用自己的声音触达到更多全球各地的受众。

  企业客户服务场景在客户服务场景中,火山引擎能轻松实现高度拟人化的 AI 声音,复刻的 AI 音色与人工客服本人一致,毫无违和感。机器人外呼时,坐席能听到客户对话,分析当前客户情绪以及经营潜力,并在适当时机无缝接入,达到智能化协呼效果。这不仅提高了客户体验,同时也降低了纯 AI 外呼的客诉率。

  语音合成技术的部署与应用,须有严密的语音认证授权和安全防护机制,来保障技术的安全运用。火山引擎已施行了一系列安全举措,包括数据收集、使用及存储等方面,确保用户本人在完全知晓并完成授权的状况下达成声音克隆,其音色只应用于授权范围内的应用场景,最大限度地降低语音合成技术被滥用的风险。

  目前,火山引擎语音大模型能力已经在豆包、剪映 、抖音、番茄小说等多款内部产品展开应用,并逐渐向企业开放用以拓展更多 AI 语音应用场景。

  火山引擎作为字节跳动旗下的云服务平台,将在 AI 及数据方向深度探索,在语音方面,将更多地采用大模型等先进的技术,达成更为优质的交互和互动,帮企业做好使用者真实的体验的创新工作,推动行业的智能化发展。

  导读:根据艾瑞咨询统计,以SRM和ERP背景的厂商为主,企企通以18 5%的市场占有率,稳居国内采购数字化平...

  4月11日,京东「驭见增长-2024京赢未来数智营销盛典」顺利举办,备受瞩目的第二届京赢未来数智营销大...

  春风如贵客,一到便繁华。随着4月的春风渐吹渐暖,世界也复苏了最开始的绿色。如果能将这充满生机的春意...

  近年来,随着经济社会的发展和我们正常的生活质量不断提升,医疗美容行业加快速度进行发展,但随之医美行业也面临着一...

  近年来,在健康、绿色、环保需求的一同推动下,天然健康的植物基饮品发展势头迅猛,成为餐饮行业新...

  2024年3月《中国儿童维生素A、维生素D临床应用专家共识(2024)》重磅发布。近年的调查的最终结果显示,我国儿童...

  每次一搜买车,第一个词条永远都是几月买最便宜最划算?但实际上,只要优惠力度够大,几月买都无所谓,...

  长沙诚益家科技有限公司创始人杨文娟女士,在母婴行业深耕二十载,2023年8月打造母婴行业线