MulTTiPop：一个面向流行音乐的多轨转录数据集

论文信息

标题: MulTTiPop: A Multitrack Transcription Dataset for Pop Music

作者: Nathan Pruyne, Benjamin Stoler, William Chen, et al.

发布日期: 2026-07-09

PDF 链接: 下载 PDF

论文背景与研究动机

自动音乐转录（Automatic Music Transcription, AMT）旨在将音频信号转换为音符级别的符号表示，是音乐信息检索领域的核心难题。近年来，AMT 技术已从钢琴独奏转录扩展到多种乐器和音乐风格的转录任务。然而，现有的 AMT 模型在真实世界流行音乐的多轨转录上仍表现不佳：MT3 等模型仅在合成音频上训练，商业录音上的泛化能力不足；Sheet Sage 虽然能处理商业录音，却只输出旋律与和弦标签，无法生成完整的多轨总谱。造成这一局面的关键瓶颈在于——缺乏一个将商业流行音频与精确的、时间对齐的多轨 MIDI 标注配对的数据集。

已有的数据集各有局限：MAESTRO 聚焦独奏钢琴，MusicNet 仅限古典音乐；Slakh2100 虽有多轨 MIDI，却使用合成音频，其音色与真实录音（尤其人声）相去甚远；TheoryTab 提供了原始商业音频，但标注仅限于弱对齐的旋律与和弦；最接近的 RWC-Pop 虽然包含多轨 MIDI 与真实音频，但曲目为专门编制，风格单一，难以代表 AMT 系统面向的真实应用场景。为了填补这一空白，作者提出了 MulTTiPop——一个包含 572 个商业流行音乐片段、总计 3.5 小时音频的多轨转录数据集，专门用于 AMT 模型的评测。

核心方法与技术细节

MulTTiPop 的构建流程包含三大关键步骤：基于元数据的 MIDI 与音频匹配、基于节拍的音频–MIDI 时间对齐，以及人工锚点节拍筛选。

元数据匹配

数据集以 TheoryTab 中的 25,947 个音频片段为起点。TheoryTab 由 HookTheory 平台用户贡献，提供了 YouTube 视频 ID、开始与结束时间，以及用户创建的旋律与和弦标注。目标是从 Lakh MIDI 数据集的 LMD-matched 子集（31,305 首多轨 MIDI）中寻找对应的曲目。通过计算 song title 与 artist 字段的编辑距离（Levenshtein distance），只保留近乎完全一致的配对，共获得 1,164 个潜在匹配。

节拍驱动的音频–MIDI 对齐

尽管 MIDI 文件包含正确的音乐内容，但其速度常与音频存在细微差异，加之真实录音中速度常有弹性变化，直接叠加会造成严重错位。为此，作者采用节拍网格同步策略：对音频片段 $\mathbf{a}$ （时间范围 $[s, e]$ ）使用 madmom 的 RNN 节拍跟踪器提取节拍序列 $\mathbf{b_a}$ ；从 MIDI 文件的节拍网格导出节拍序列 $\mathbf{b_m}$ 。由于 MIDI 包含完整歌曲而音频仅为片段，通常 $M \gg N$ 。为避免半速或倍速检测错误，必要时在音频节拍间插入或删除节拍。

对齐的核心是定义一个锚点节拍 $k$ ，将音频首拍 $b_a^1$ 与 MIDI 的第 $k$ 拍 $b_m^k$ 对应。基于此，以 $[ (b_a^1, b_m^k), (b_a^2, b_m^{k+1}), \ldots, (b_a^N, b_m^{k+N-1}) ]$ 为控制点进行线性插值，对 MIDI 中所有音符进行时间拉伸，生成与音频严格对齐的多轨 MIDI。

候选锚点节拍生成与人工筛选

自动确定 $k$ 极不可靠，因此每首歌曲生成最多 4 个候选锚点，供人工选择。基础指标 综合了半音相似度（chroma cosine similarity）与起音包络的相关性（onset Pearson correlation），前者关注和声匹配且对音色变化稳健，后者捕捉节奏密度的一致性。此外，引入了三种增强策略：

旋律匹配（melody）：将 TheoryTab 的旋律标注与 LMD MIDI 各音轨逐一计算半音余弦相似度，得分最高的音轨权重设为 75%，基础指标权重 25%。
YouTube 时间戳（yt）：利用 YouTube 片段的起始时间 $s$ ，保留在原 MIDI 文件中与之相差不超过 10 秒的候选节拍，大幅缩减搜索空间。
混合策略（yt_melody）：上述两者的结合。

六位来自计算机科学、电子音乐等专业的学生作为标注员，通过定制 Jupyter 界面浏览钢琴卷帘、合成音频及叠合音频，选择与原始录音完全匹配的选项。标注中设置了隐藏质控样本，匹配率低于 70% 的标注员需返工。

创新点与主要贡献

MulTTiPop 的独特贡献在于首次为商业流行音乐的多轨自动转录提供了高质量、时间对齐的 MIDI 标注。与现有数据集相比，其创新体现在：

真实商业音频 + 精确多轨 MIDI：音频源自 YouTube 上的原版歌曲，MIDI 包含鼓、贝斯、键盘、人声等多种音轨，而非仅限合成音色或单旋律。
严格的纯评测定位：数据集专门用于评估，不鼓励用于训练，避免版权风险，并通过划分艺术家分层测试集，强调泛化能力。
制作流程的透明性：完整公开了自动化对齐与人工审核步骤，为后续构建类似数据集提供了可复现的方法论。
显著的多样性与代表性：涵盖 374 首歌曲、263 位艺术家和 101 个精细风格（远超 RWC-Pop 的 2 个风格），时间跨度从 1930 年代到 2000 年代，真实反映流行音乐转录的使用场景。

实验结果分析

作者在 MulTTiPop 上评测了两个高性能多轨转录模型：MT3 和 YourMT3+。评估分别在 “精确乐器”（MIDI 程序号严格匹配）和 “谐波–打击乐归并”（仅分有调与无调乐器）两个空间下进行，使用 50ms 容忍度的起音 F1 分数。

模型	精确乐器 F1	谐波–打击乐 F1
MT3	28.42%	36.83%
YourMT3+	25.29%	37.87%

结果揭示出几个重要现象：

性能远低于基准：在 MusicNet、GuitarSet 等数据集上表现较好的模型，在 MulTTiPop 上起音 F1 仅 28%～38%，说明商业流行音乐的多轨转录难度极高，现有模型仍有巨大提升空间。
模型间差异微小：尽管 YourMT3+ 在架构与训练数据上均优于 MT3，但在 MulTTiPop 上并未展现出显著优势，表明无论模型如何改进，在缺少真实流行音频训练的情况下，泛化瓶颈依然存在。
鸿沟来自数据域：两个模型均使用合成数据集 Slakh2100 训练多轨流行乐部分，YourMT3+ 额外添加了 MIR-ST500 的人声转录数据，但因其规模小且仅为歌唱标注，难以弥补真实多轨转录的缺失。定性分析显示，模型能大致把握和声走向与旋律线，但在织体密集处转录支离破碎：MT3 容易只跟踪一两个声部并频繁更换乐器号；YourMT3+ 虽然更连贯，却遗漏众多声部且乐器选择单一。

此外，数据集构建方法分析表明，旋律匹配将锚点识别成功率从 2.3% 提升至 31.7%，结合 YouTube 时间戳可进一步提升至 40.0%，但仍有 50.9% 的片段无法找到完美对齐，主要因为元数据错误或音频与 MIDI 的速度结构差异过大。

实践应用建议与未来方向

MulTTiPop 的发布为 AMT 研究者提供了贴近现实的评测平台，基于此可开展工作：

严格用于测试，探索域适应技术：数据集仅为评测设计，建议模型在合成数据或允许训练的数据上训练后，在 MulTTiPop 上测试，以诊断泛化误差。可尝试利用少量真实数据微调、风格迁移或数据增强来缩减合成与真实音频的鸿沟。
多任务与分层转录设计：鉴于模型在密集混合乐中转录混乱，可引入先验知识（如和弦识别、声源分离）作为辅助任务，或设计先分离再转录的级联框架。MulTTiPop 的多轨标注为这类中间表征提供了监督信号。
模型节奏与结构感知能力提升：模型产生的节奏时常被简化或错乱，可考虑在转录头中显式融入节拍追踪信息，或使用结构感知损失函数，增强时序一致性。
构建面向全球音乐的数据集：作者坦承数据集具有西方中心倾向，未来研究可延伸至非西方调式、节奏体系，扩展全球音乐的多轨转录评测。

实现层面，研究者可参考 MulTTiPop 提供的 YouTube 时间戳下载音频，并搭配公开的音频对齐工具（如基于 DTW 的同步方法）进行补充。由于数据量有限，评估时可采用多轮交叉验证或集成多种指标（如音符偏移、起音-停音联合 F1），获取更稳健的结论。

总结与展望

MulTTiPop 直击 AMT 领域长期缺位的评测短板——一个真正包含商业流行音乐的多轨时间对齐 MIDI 数据集。通过巧妙的元数据匹配、节拍对齐与人工审核流水线，数据集提供了 3.5 小时的高质量标注，歌曲多样性远超以往同类资源。在 MulTTiPop 上，现有最佳模型的起音 F1 仅约 38%，表明从合成音频到真实唱片的多轨转录之路仍然漫长。这一数据集的发布不仅为模型性能设立了清晰的基准，也为未来研究指明了方向：如何弥合训练与测试域之间的鸿沟，如何让转录系统像人类一样从复杂的混合音响中分离出相互交织的乐器线条。可以预见，MulTTiPop 将激发一系列针对真实世界流行音乐的 AMT 创新，推动该技术从实验室走向音乐制作、教育、数字化保存等广阔应用场景。