生成韶关15.2钢绞线规格及参数 ，早已不啻于视觉。

跟着生成式 AI 发展，联—音频生成正成为遑急商议向。与先、音频后期成的传统活水线比较，原生同步生成的视听内容跨模态致强，用户体验千里浸。

但问题在于，现存开源模子濒临复杂语义时力不从心。

遭遇多阶段动作的组式指示、波及东谈主与物体交互的复杂任务时，模子频频法准确建模场景中的时序逻辑和因果关系——不仅要求长程语义明智力，还须在理中防守与音频的时空致。

中枢矛盾在于：现存法依赖粗粒度全局文本镶嵌指扩散流程，法将多阶段动作与多话语东谈主对话瓦解为具巧合辰对都的指信息，和音频去噪轨迹因此各自演化，终跨模态失配。

为料理这问题，复旦 & 腾讯 Hunyuan团队提倡了Baton——个基于显式语义蓝图引的联—音频生成框架：

中枢念念路，是将语义理与内容生成显式解耦：先用可学习MLLM完成跨模态语义蓄意，生成和音频各自对应的 Planned Tokens 动作语义蓝图，再注入扩散模子指联生成。两条生成轨迹从脱手便分享同份事前对都的语义阶梯图，从根柢上避跨模态偏移。

在复杂场景基准 Sem100 上，Baton 比LTX-2在指示词效率准确率（P-Acc）上晋升32，多话语东谈主词罪状率（M-WER）晋升76，DeSync 晋升30。在复杂指示效率上，Baton 以至能失色Seedance 2.0和Wan 2.7。

论文已挂 arXiv，代码和名目主页同步绽开。

法简介

如下图所示，Baton 通过显式解耦语义理与内容生成两个阶段，构建了具备模态感知智力的语义蓝图（Blueprint）机制，统相助与音频的扩散去噪流程。

用户输入的文本指示先送入多模态大语言模子（MLLM）进行语义理，瞻望出分辨对应和音频模态的 planned tokens。这些 planned tokens 充任跨模态分享的语义蓝图，为后续生成提供明确的内容蓄意和时序指。

Planned tokens 跳动通过 cross-attention 注入扩散 Transformer（DiT）中。这里的 DiT 延续了 Ovi 的双分支架构，分辨崇拜与音频的生成与去噪。

值得防卫的是，planned tokens 与扩散模子中的 latents 分散在不同的时空网格上，存在位置对应不致的问题。为此，Baton 提倡了Relative Semantic RoPE（RS-RoPE）机制，通过统的相对位置编码空间，已毕 planned tokens 与 diffusion latents 之间的精准语义对都。

VA-Planner：跨模态语义理中枢

刻下联—音频生成模子仅依赖冻结 LLM 提真金不怕火的全局文本镶嵌来指生成流程：通盘这个词指示词被编码为个疲塌的全局向量，不会瓦解为模态特定的时序语义，也不会建模视觉事件与听觉印迹应如安在每个阶段协同对应。

与音频两个去噪分支只可各自赶快讲明注解这疲塌信号，在复杂场景下弗成避地出现语义偏离。

VA-Planner 的解法：用个可西宾的MLLM进行语义理，瞻望模态特定但互相对都的 planned tokens。每个 token 编码个局部语义高下文，描写发生了什么、发生在那处以及发生在何时。

与音频的 planned tokens 在同次自追思理流程中联生成，保证每个时辰点上的跨模态致。在参加扩散去噪流程之前，两条生成轨迹都被锚定到同份分享的语义阶梯图上，避两种模态演化为相互冲突的动态流程。

关于包含 N 个关节帧（FPS=6 采样）和 M 个音频块（每块对应 1 秒音频）的生成任务韶关15.2钢绞线规格及参数 ，Baton 构造结构化用户 Prompt  ：

其中包含视觉语义 token 占位符，每个关节帧对应个视觉 token，总 token 数。包含音频语义 token 占位符，每个音频块对应个音频 token，总音频 token 数。由于，对通盘音频块瞻望在蓄意上可承受。

MLLM 对履行自追思理，从占位符位置提真金不怕火荫藏情状，得到和音频荫藏暗示和。由于音频蓄意区域位于蓄意区域之后，还能跳动慈祥前边的，钢绞线厂家在理阶段当然成立隐式的跨模态依赖关系。

双语义对都塔

Planned tokens 的观念是编码具体的感知结构，而不是停留在 MLLM 以当然语言描写为中心的暗示空间中。为此，Baton 遐想了双语义对都塔（Dual Semantic Alignment Towers），将 planned tokens 映射到预西宾感知编码器的连气儿特征空间——聘请 SigLip2，音频聘请 WavTokenizer。

由于 MLLM 中的因果依赖是单向的（法拜访），蓄意法感知交频信息。双语义对都塔通过双向跨模态防卫力料理这问题。

每个对都塔均聘请可学习查询向量（learnable queries），从 Hv 和 Ha 中纯真提真金不怕火讨论的语义信息，生成 planned tokens。

关于塔，可学习查询

先对履行跨防卫力提真金不怕火特定语义，随后通过跨模态防卫力接收互补的音频信息，后经由语义 MLP（Sem-MLP）映射到观念感知编码器的特征维度：

对应地，音频塔生成：

由于和具有不同的时序参考系，在

与中引入基于时辰戳的 RoPE（timestamp-based RoPE），将两种模态映射到统的时辰轴上。借助双语义对都塔，与编码的不再是两个立的蓄意，而是份相互致、分享的时序语义蓝图。

值得防卫的是，Baton 在不同阶段聘请两种不同的 RoPE 遐想：

1、时辰戳 RoPE（Timestamp-based RoPE）。用于双语义对都塔中的 CMAttn，崇拜蓄意阶段的跨模态 token 对都。

2、相对语义 RoPE（Relative Semantic RoPE，RS-RoPE）。用于 DiT 中的 VCAttn 和 ACAttn，崇拜在扩散去噪阶段对都 planned tokens 与扩散潜变量。具体已毕细节和详备公式请阅读原论文。

三阶段西宾战略

1、VA-Planner 预西宾（VA-Planner Pretraining）。以 Qwen3 运行化 MLLM，西宾通盘这个词 VA-Planner（即

）。给定真的和音频数据，分辨从冻结的 SigLip2 和 WavTokenizer 的倒数二层提真金不怕火观念连气儿特征

和

。监督观念为 planned tokens 与真的感知特征之间的 L2 亏欠。与基于打破 token 的蓄意式比较，平直追思连气儿特征能保留丰富的语义结构信息。

2、DiT 适配（DiT Adaptation）。为使 DiT 梗概学习语义特征的分散韶关15.2钢绞线规格及参数 ，而不受 VA-Planner 瞻望缺欠骚扰，聘请 Ovi 运行化 DiT，并将真的特征

和（经过 Latent-MLP 投影后）平直输入到 VCAttn ( · ) 和 ACAttn ( · ) 中动作条目信息。聘请Flow Matching 亏欠西宾 DiT 速率场瞻望器

。

3、联微调（Joint Fine-tuning）。VA-Planner 与 DiT 辘集为竣工系统，VA-Planner 参数冻结，DiT 赓续西宾。此时 DiT 不再使用真的特征和动作条目，而是接管 VA-Planner 瞻望得到的和，西宾仍聘请 Flow Matching 亏欠。该阶段旨在弥二阶段使用的梦想编码器特征与内容蓄意器瞻望成果之间的差距，镌汰曝光偏差（exposure bias）问题，保证生成流程的鲁棒。

实验成果

Baton 与开源模子在Verse-Bench和Sem100两个测试集上进行对比。

Verse-Bench 为开源的音画致生成测试集；Sem100 为里面汇集的 100 条测试样例，text prompt 包含东谈主物与周围环境的屡次连气儿交互动作、多东谈主复杂交互、多个连气儿指定质的复杂组动作描写，语义复杂度远于现存开源测试集。

评估维度包括：质地（AQ、IQ、DD、ID），音频质地及音同步（PQ、CU、M-WER、Sync-C、Sync-D、DeSync），以及指示词效率准确率（P-Acc）。

与先法LTX-2比较，Baton 在 Verse-Bench 上取得越过成果（该集指示主要描写浅显单事件场景，不需要层语义理）。在 Sem100 上势则加光显：

P-Acc：比 LTX-2 晋升 32

M-WER：比 LTX-2 晋升 76

DeSync：比 LTX-2 晋升 30

M-WER 差距尤为显赫。多话语东谈主场景要求模子明确理哪个角在何时说了什么内容，这恰是 planned tokens 所提供的局部、时辰对都语义智力——而传统全局文本镶嵌法有拆解。

P-Acc 和 M-WER 的显赫差距跳动考据：在复杂指示场景中，显式语义蓄意是要的。

与闭源生意模子的对比相似有劲：尽管 Baton 在视觉质地和音频好意思感面仍过期于生意模子，但在指示词效率智力面进展出越过的能。在 Sem100 复杂指示效率上，Baton 的能越了Kling 3.0，并能失色Seedance 2.0和Wan 2.7。

生成成果展示

Video Prompt: On a vast barren beach under a pale overcast sky with haze obscuring the flat horizon, a young man with dark messy hair lies face down on the sand …

Audio Prompt: On a windswept open beach, continuous artillery explosions rumble and crash, growing progressively louder and closer …

Video Prompt: In a indoor martial arts gym with yellow padded bars along the wall, two bald men of Middle Eastern descent stand facing each other …

Audio Prompt: In a gym with faint ambient echo, a mature man [ Speaker A ] speaks in a steady, instructional tone: " Think about the idea of short distance power …"

Video Prompt: At dusk in a desolate clearing beside a rustic log cabin, a bearded white man squats before a small crackling campfire …

Audio Prompt: A quiet outdoor dusk atmosphere with faint wind rustling dry grass. A small campfire crackles and pops …

Video Prompt: In a dimly lit interior, a close-up shows hands using a knife and fork to slice through a medium-rare steak on a white square plate …

Audio Prompt: A knife sawing through steak with a soft, wet slicing sound against the plate. A fork scrapes briefly. Quiet, slow chewing follows …

Video Prompt: Inside an old car, a girl wearing a grey-white t-shirt first looks down, then smiles slightly while steering along a rural road …

Audio Prompt: A dramatic orchestral score with sweeping strings. The music is layered with the sounds of a vehicle engine starting and revving …

Video Prompt: On a sunny suburban backyard, a woman in a ribbed sweater and black skirt rallies a shuttlecock with a boy across a badminton net …

Audio Prompt: A fast-paced electronic dance music track plays throughout. A boy [ Speaker A ] shouts: " Oh no! Ten points! I ’ m scared! " A girl [ Speaker B ] : " We ’ re the winners! "

Video Prompt: On a residential street corner, a young Asian boy in bright blue shorts stands holding a brown Spalding basketball in one hand and a yellow-orange ball in the other …

Audio Prompt: A young boy [ Speaker A ] speaks: " This is two ball basketball drill. " Immediately after, the rhythmic sound of a basketball being dribbled begins …

Video Prompt: A young Caucasian man stands at an outdoor shooting range, holding a scoped AR-15 rifle, he fires several shots at a nearby pine tree, then reloads.

Audio Prompt: In a quiet, open outdoor environment, a sharp gunshot rings out, followed by a male voice [ Speaker A ] saying " Ah " . After a brief pause, a mechanical click is heard, as if a weapon is being reloaded.

Video Prompt: On a sunlit outdoor asphalt basketball court, a young man dribbles the ball between his legs, takes a jump shot; the ball arcs over the rim and drops through the net.

Audio Prompt: A young man [ Speaker A ] speaks: " Easy peasy, baby. " The sound of a ball being dribbled on a hard surface is heard, followed by a sharp impact as it hits a backboard.

论文地址：https://arxiv.org/pdf/2605.25195

名目主页：https://francis-rings.github.io/Baton/

键三连「点赞」「转发」「留心心」

接待在挑剔区留住你的想法！

—  完  —

咱们正在招聘名眼疾手快、慈祥 AI 的学术剪辑实习生  � �

感兴致的小伙伴接待慈祥 � �  了解细目

� � 点亮星标 � �

科技前沿进展逐日见天津市瑞通预应力钢绞线有限公司相关词条:玻璃棉毡     塑料挤出机     预应力钢绞线    铁皮保温    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述韶关15.2钢绞线规格及参数 ，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。