过客岁，生成式东谈主工智能在音乐行业的欺诈正不断创造新体验清远钢绞线 矿用，但陈赞语音成域（SVS，SingingVoiceSynthesis）合座进展相对逐步。

为拓展这域，近日，SoulAppAI团队（SoulAILab）联祥瑞汽车揣测院东谈主工智能中心（AIC）、天津大学视听觉分解谋划团队和西北工业大学音频语音与言语处理揣测组(ASLP@NPU)，认真开源歌声成模子SoulX-Singer，这是个面向的确欺诈场景想象的质料样本歌声成模子，42000小时历练数据，遮掩多言语、多音及多种演唱格调，在幽静、可控与泛化智商面，均达到了面前开源SVS模子中的先水平。

DemoPage:

SoulX-Singer先容

SoulX-Singer结构简图

当年段时分，语音成与音乐生成域迎来了快速发展，大模子与生成式AI抓续刷新行业分解。关联词，与这高涨变成对比的是，行业内仍繁重个着实幽静可用、同期支柱样本（Zero-shot）生成的开源歌声成（SVS）模子，这很猛进程上制约了SVS本事在的确业务场景中的欺诈与落地。

SVS（SingingVoiceSynthesis，陈赞语音成）是种字据歌词和曲谱生成歌声的本事。比较于平凡语音成（TTS，Text-to-SpeechSynthesis），SVS需要对音、音律以及演唱格调等进行精采戒指，以达成当然且富余阐明力的歌声输出。与近期热点的MusicGeneration（自动生成整段音乐或伴奏）不同，SVS注于可由MIDI戒指的东谈主声生成，因此在诬捏歌手、歌词演绎以及多言语歌声创作等场景中展现出特价值。

在这么的布景下，SoulX-Singer认真开源。SoulX-Singer是个面向的确工业欺诈场景想象的样本歌声成模子，其中枢观念是在未见过歌手音的情况下，达成幽静、当然且度可控的歌声生成。为此，模子在合座架构、建轨范式以及戒指机制上进行了针对SVS场景的系统想象。

在模子架构上，SoulX-Singer遴荐基于FlowMatching的生成建轨范式，并将歌声成问题建模为种audioinfilling（音频补全）任务。针对歌声成中“歌词—旋律—发声”三者强耦的本性清远钢绞线 矿用，SoulX-Singer在建模阶段显式引入了note别的对都机制。

模子通过构建歌词、MIDI音符（note）与声学特征之间的精采对都研讨，钢绞线厂家使得每个音符的起止时分、音（pitch）以及抓续时长都简略被准确建模和立戒指。这想象使得模子不仅简略诚实曲谱信息，还不错在生成阶段机动诊治音符结构，从而得志音乐剪辑、重编曲等复杂需求。

大范围SVS历练数据，夯实样本智商基础

样本歌声成对历练数据的范围、万般与遮掩范围提议了要求。SoulX-Singer收货于过42000小时的质料歌声数据进行历练，遮掩多言语、多音及多种演唱格调。

在如斯大范围数据的支柱下，模子在面对未见过的歌手与复噪音乐条目时，依然简略保抓幽静、当然且质料的成阐明。在实质测试中，SoulX-Singer展现出了精良的鲁棒和致，为样本歌声成本事从“可演示”走向“可使用”提供了坚实基础。

MusicScore与Melody多种戒指式

在生成戒指智商面，SoulX-Singer同期支柱基于MusicScore（MIDI）和基于Melody的两种歌声成戒指式：

MusicScore（MIDI）运转生成支柱径直基于曲谱与歌词生成歌声，适用于音乐创作、歌词剪辑、歌曲重制等场景，具备音符别的时长与节拍戒指智商。

Melody运转生成支柱从已有歌曲旋律起程进行歌声成，可复刻参考音频中的演唱手段与抒发式，适用于翻唱、格调迁徙等欺诈场景。

这种双戒指范式为实质音乐制作历程提供了的机动，使SoulX-Singer简略遮掩从“从创作”到“基于已有歌曲再创作”的多种使用需求。

多言语支柱，面向的确欺诈场景

SoulX-Singer面前支柱平凡话、英语和粤语三种言语的歌声成，并在不同言语和音乐格调下均展现出幽静致的成质料。这多言语智商为其在内容创作、诬捏歌手、互动文娱等欺诈场景中的落地提供了渊博的空间。

客不雅阐明

在评测面，SoulX-Singer在GMO-SVSSoulX-Singer-Eval两个数据集上，对样本歌声成、歌词剪辑后的歌声成以及跨言语歌声成等多项任务进行了系统评测。

其中，GMO-SVS综了GTSinger、M4Singer和Opencpop等主流开源SVS数据集；而SoulX-Singer-Eval则门面向严格的样本场景构建，通过立音乐东谈主等渠谈收罗数据，确保测试歌手未出当今历练集合。

实际着力标明，SoulX-Singer在语义明晰度、歌手相似度、基频致以及合座成质料等多个维度上均显赫于此前的有关责任；在主不雅听感评测中，其阐明相通获得了彰着先势。

尽管此前歌声成域仍是泄闪现些秀的揣测责任，但受限于历练数据范围或戒指式单等身分，有关模子在的确使用场景中仍濒临诸多挑战。SoulX-Singer的发布提供了个着实鲁棒、机动可控且面向场景落地的样本歌声成照顾案，为歌声成本事在UGC音乐创作等向的实质欺诈探索带来了积酷爱。

SoulX-Singer也延续了SoulAI团队的开源责任。此前，SoulAI团队已不断开源了播客语音成模子SoulX-Podcast、及时数字东谈主生成模子SoulX-FlashTalk清远钢绞线 矿用，在语音、歌声、及时数字东谈主、等不同域提供了可落地的多模态生成案。