一个数据集价值 1 兆字节

A Dataset is Worth 1 MB

arXiv: 2602.23358v1

论文信息

标题: A Dataset is Worth 1 MB

作者: Elad Kimchi Shoshani, Leeyam Gabay, Yedid Hoshen

发布日期: 2026-02-26

arXiv ID: 2602.23358v1

PDF 链接: 下载 PDF

3 分钟速览

  • 研究问题：这篇论文要解决数据集分发中通信成本过高的问题，特别是在极低带宽（如深海通信仅数百 bps）场景下，大型数据集（如 1 GB）传输可能需要数天甚至数月。
  • 核心方法：提出 PLADA（Pseudo-Labels as Data），假设客户端预存大型无标签参考数据集（如 ImageNet），服务器仅传输挑选后的硬标签，而非图像像素，从而将任务知识压缩至 1 MB 以下。
  • 关键结果：使用 ImageNet-21K（1420 万张图像）作为参考集时，仅需保留 1% 的图像标签（Zstd 压缩后有效载荷 85–206 KB），学生模型即可在多个数据集上达到接近教师模型的准确率（表 1）。
  • 主要局限：要求每个客户端预存完整的参考数据集，且目前仅针对分类任务设计，未扩展到回归或生成任务；高保留率时客户端训练时间较长。
  • 适合读者：从事边缘计算、联邦学习、数据压缩、数据集蒸馏、以及带宽受限通信场景（如遥感、水下机器人）的机器学习工程师与研究人员。

论文背景和研究动机

在经典的中心化机器学习范式中，数据集服务器需要将同一份训练数据重复发送给大量异构客户端（如自动驾驶车辆、医疗设备等）。对于 ImageNet-21K 这样的数据集，单次传输量可达数十 GB，而某些应用场景（如深海声学链接约 5 kbps、土卫六探测器对地链路约 500–800 bps）的带宽极端受限，1 GB 数据传输可能耗时数天至数月，能源消耗也无法接受。 直接传输预训练模型权重看似可行，但客户端硬件架构和软件框架多样（PyTorch、JAX 等），强制使用同一模型并不可行。因此，需要一种方法，既能将训练信号压缩几个数量级，又能让客户端在本地自由训练定制模型。

现有的数据集蒸馏方法尝试合成少量高效图像，但在高分辨率数据上扩展困难，且合成过程计算和数值不稳定，最终产出的连续精度像素文件体积仍较大。本文从根本上转变思路：不压缩图像，而压缩标签。

核心方法和技术细节

前提假设与整体框架

论文假设所有远程客户端预装了相同的无标签参考数据集 Dr={x1,x2,…,xn}D_r = \{x_1, x_2, \dots, x_n\}（如 ImageNet-21K 或 ImageNet-1K）。服务器端持有目标任务训练数据的具体类别样本，目标是在极小通信代价下，让客户端训练出高准确率的分类器。

PLADA 的框架分为三个阶段（图 2）：

  1. 服务器端教师训练：在目标任务数据上训练教师模型 fgtf_{gt}。
  2. 伪标签生成与选择：用教师模型对参考集每张图像生成硬标签（取 logit 最大值的类别），然后通过剪枝机制仅保留少量高信心标签。
  3. 客户端学生训练：客户端接收压缩后的标签载荷，结合本地参考集图像，训练学生分类器 ff。

能量剪枝：选择高信息量标签

不挑选地对全部参考图像发送标签有两个问题：其一，大量参考图像语义上与目标任务无关，引入噪声标签，损害客户端训练质量；其二，发送全部标签（需 nlog⁡2kn \log_2 k 比特）对大规模参考集（n≈14.2Mn \approx 14.2\text{M}）仍是一笔不菲开销。

论文引入基于 Logit Energy 的剪枝机制。对每个参考图像 xx，教师模型输出 logit 向量 fgt(x)f_{gt}(x)，其能量定义为：

E(x;fgt)=−log⁡∑j=1kexp⁡(fgt(x)[j])E(x; f_{gt}) = -\log \sum_{j=1}^k \exp(f_{gt}(x)[j])

能量越低，表示教师对该图像的预测越集中（信心越高）。所有参考集图像按能量排序后，仅保留能量最低的 p%p\%（如 1% 或 5%）。这样极端的选择不仅将传输量降到几十分之一，还在多个实验中使得学生模型的准确率不降反升（表 1），因为低能量过滤相当于语义去噪，排除了模糊和误导性图像。

Safety-Net 过滤：避免类别崩塌

当保留比例极低（如 p=1%p=1\%）时，低能量剪枝可能仅保留 “最容易” 的少数类别，使尾部长尾类别样本被完全排除，学生模型缺乏对困难的类别的识别能力（类别崩塌）。为此，论文引入 Safety-Net 过滤机制：从总带宽预算中预留 ss 部分，强制为每个目标类别保留至少 KcK_c 张最低能量图像。配额 KcK_c 按原始类别样本量 NcN_c 的幂律调整：

Kc∝(Nc)αK_c \propto (N_c)^\alpha

通过设定负值 α\alpha（如 α=−0.2\alpha=-0.2），尾类可获得更大配额，即使在极低总保留率下仍能保证类别分布不过度失衡。

可变长编码与载荷压缩

剪枝后服务器需要发送两类信息：被保留图像的索引（剪枝掩码）及其对应的硬标签。论文采用两种压缩策略：

  1. 差分索引编码（Run-Length）：针对 p≪1p \ll 1 的稀疏情况，存储相邻保留索引的距离，而非完整位图，大幅降低掩码体积。
  2. 统计编码（Huffman/Zstd）：利用目标类别分布的不均匀性，采用可变长编码（高频类别用更短码字），并通过 Zstandard（Zstd，级别 19）进行最终压缩。

在 ImageNet-21K、p=1%p=1\% 的设置下，原始二进制格式需要约 0.81–1.96 MB，经 Huffman 压缩至 151–396 KB，Zstd 可进一步压缩至 85–206 KB（表 4）。

创新点和贡献

1. 范式反置：标签替代图像 与传统数据集蒸馏合成图像不同，PLADA 完全放弃像素传输，仅以硬标签的形式传递任务知识。这一方法建立在 “标签的信息密度远高于图像” 这一观察上，形式上类似极端化的标签蒸馏，并用通信协议实现。

2. 能量剪枝作为统一解决策略 将 OOD 检测能量分数引入数据选择和剪枝，以单指标同时实现 “提高训练效率” 与 “降低传输载荷” 两大目标，并且验证了低能量选择在多数自然图像基准上的语义集齐效应。

3. Safety-Net 的类别平衡保障 在极端压缩率下，通过引入类别级配额机制（幂律控制参数 α\alpha）避免类别消失，这在不增加总载荷的情况下有效提升了尾类数据集的最终准确率（如 RESISC45，1% 保留率下从 58.16% 提升至 75.65%，表 3）。

4. 跨领域适应性的意外发现 在医学图像等与参考集分布极远（far-OOD）的任务上，标准的低能量选择失效；论文报告了反直觉的现象：选择高能量（高不确定性）样本反而更有效，为后续 OOD 任务提供了可参考的自适应策略研究方向。

实验结果分析

精度-带宽 Pareto 前沿

PLADA 在 10 个多样化的自然图像分类数据集上验证，涵盖粗细粒度各类基准（Caltech-101、CIFAR-10、CUB-200、DTD、FGVC-Aircraft、Food-101、Oxford-Flowers、Oxford-Pets、Places365、RESISC45）。以 ImageNet-21K 为参考集，保持 p=1%p=1\% 时，学生模型大多能保持在教师模型准确率的 80% 以上，甚至在多个数据集上超过全参考集训练（100%）的准确率（表 1）。

与两类基线对比（表 2）：

  • 数据子采样（随机选图、K-Center 核心集，均为 JPEG 压缩 + Zstd）：在等同或更宽裕带宽下，PLADA 准确率大幅领先。例如在 CUB-200 上，100 张 JPEG 压缩图像（约 356 KB）仅取得随机子集 4.58% 的准确率，而 PLADA 用相近载荷（约 147 KB）获得 82.49%。
  • 数据集蒸馏（DD）：在几个可比较的基准上（CIFAR-10，CUB-200，Food-101，Oxford-Flowers），DD 使用数百张合成图像也未能超过 PLADA 在极端低带宽下的表现，并且 DD 的存储开销通常远大于几百 KB。

过滤带来的 “去噪” 增益

学生准确率在部分数据集上随保留率降低而上升。例如 FGVC-Aircraft 全参考集训练仅为 32.16%，1% 保留模型达到 53.62%（表 1）。这证实能量剪枝消除了大量语义噪声标签，使得学生模型的学习信号更集中在实际与目标类相关的少数参考样本上。

参考集规模效应

ImageNet-21K（14.2M 图像）在所有评测设置下一致优于 ImageNet-1K（1.2M 图像）。以 CUB-200 为例，ImageNet-1K 的 1% 保留率仅为 22.94%，而 ImageNet-21K 同等条件下达到 82.49%（表 1）。更大的参考池显著提高了找到目标语义近邻图像的概率，同时给能量选择提供了更丰富的低能量样本候选。

医学领域（far-OOD）的特殊行为

4 个医学数据集（BloodMNIST、DermaMNIST、RetinaMNIST、NCT-CRC-HE）作为分布极远的测试。标准低能量选择在此场景完全失效（如 BloodMNIST 1% 下仅为 18.24%），而选择最高能量样本却可达到 59.28%（表 5）。论文猜测高能量参考图像中高频纹理或非自然样式与医学影像的低级统计特征更契合，为 far-OOD 场景提供了一个启发式的应对方法。

Safety-Net 的有效性

在 RESISC45 这一类间规模极度不均衡的数据集上，默认 1% 低能量过滤导致学生准确率仅 58.16%，而 Safety-Net（α=−0.2\alpha=-0.2）在不增加总载荷的情况下将其提升至 75.65%（表 3）。这表明结构性类别保留对于极端压缩率下的稳定训练至关重要。

实践建议

对于系统工程师或机器学习团队，若面临带宽或存储受限的数据集分发场景，可以考虑采用论文的方法：

  • 预装参考集：选择覆盖面广、图像多样性高的公开无标签数据集（如 ImageNet-21K）作为客户端预存数据。若目标任务基本属于自然图像范畴，该参考集的语义覆盖足以支撑高准确率。
  • 低保留率先行实验：在带宽极端有限的链路（如卫星或水下物联网）上，优先尝试 p=1%p=1\%，即可将单任务载荷控制在数十至 200 KB，同时对大多数自然图像分类任务保留可观准确率（表 1 与表 4）。
  • 类别平衡保护：当目标任务存在类别严重不平衡时，不要仅依赖全局低能量剪枝，必须启用 Safety-Net 机制，并适当调低 α\alpha（如 −0.2-0.2）以保护尾类。
  • 针对远域任务切换策略：如果目标域与自然图像偏差极大（如医学影像），实践前需在开发集上分别测试低能量和高能量选择，并决定是否采用反向选择策略。
  • 压缩链优化：采用差分索引 + Zstd（级别 19）作为默认压缩组合。从论文数据看，这一组合在极低 pp 时能将原始载荷缩小近 10 倍（表 4 与附录 E）。

在这些方案部署前，还需评估客户端的存储预算（如 ImageNet-21K 约需数十 GB）、本地训练时间（低保留率下约 20 分钟/任务，见第 6 节）及其算力约束。