对比等变性：从无标签有限群作用中学习可识别的等变嵌入

论文信息

标题: Equivariance by Contrast: Identifiable Equivariant Embeddings from Unlabeled Finite Group Actions

作者: Tobias Schmidt, Steffen Schneider, Matthias Bethge

发布日期: 2025-10-24

arXiv ID: 2510.21706v1

PDF 链接: 下载 PDF

3 分钟速览

• 研究问题：如何仅从无标签的群作用观测对 $(\mathbf{y}, g \cdot \mathbf{y})$ 中，学习具有可识别等变结构的嵌入，同时无需依赖特定群的归纳偏置。
• 核心方法：提出 “对比等变性” 框架，联合学习一个隐空间和一个线性群表示，强制群作用在隐空间中对应为可逆线性变换。
• 关键结果：在包含非交换群和仿射积群的合成数据上，首次仅从群作用观测中实现了通用编码器式等变学习，并提供了可识别性的理论证明。
• 主要局限：目前仅在有限群和合成数据上验证，扩展到无限群和真实世界数据是未来工作；可能难以处理非常复杂或连续的变换。
• 适合读者：对等变表征学习、群论在机器学习中的应用、自监督学习以及计算机视觉中的几何深度学习感兴趣的研究者和工程师。

论文背景和研究动机

深度学习模型的核心优势之一，是从数据中自动学习有用的表征。当数据具有特定的对称性或变换结构时（例如图像中的旋转、平移），一个自然的诉求是学习到等变表征。一个等变表征意味着，如果你对输入数据施加某种变换（如旋转图像 90 度），其在隐空间中的对应表征也会以一种可预测的方式变化（如隐向量同样旋转某个角度或进行一个特定的矩阵乘法）。这使得模型能够真正 “理解” 变换的含义，而非简单地记忆数据。

然而，主流的等变学习方法通常严重依赖特定群的归纳偏置。例如，为了让模型处理旋转，研究者会精心设计旋转等变的卷积核（如群卷积网络）。这种方法虽然有效，但每遇到一种新的变换群，就需要进行特定的架构设计，缺乏通用性。这篇论文的研究动机正是源于此：能否设计一种通用方法，使其在给定数据变换样本对的情况下，自动推断并学习到相对于该变换群的等变表征，而无需任何先验知识？

论文将问题形式化如下：给定一个有限群 $G$ 作用于数据空间 $\mathcal{Y}$，我们只能观察到成对的数据 $(\mathbf{y}, g \cdot \mathbf{y})$，其中 $g$ 是 $G$ 中的一个随机采样元素，$\cdot$ 表示群作用。任务是学习一个编码器 $f: \mathcal{Y} \to \mathcal{Z}$，将数据映射到一个隐空间 $\mathcal{Z}$，并联合学习一个群表示 $\rho: G \to GL(\mathcal{Z})$，使得对于所有 $g \in G$，等变条件 $f(g \cdot \mathbf{y}) = \rho(g) f(\mathbf{y})$ 成立。

核心方法和技术细节

论文提出的核心方法是对比等变性（EbC），其巧妙地将对比学习的思想用于强制实现等变约束，而非传统地学习不变性。

对比学习框架的逆向思维 标准的对比学习（如 SimCLR）通常旨在学习对数据增强 不变 的表征。它通过最大化同一个数据点经不同数据增强后视图的相似度来达到这一目的。EbC 则反其道而行之：它要学习对变换 等变 的表征。这意味着它需要显式地建模从 $\mathbf{y}$ 到 $g \cdot \mathbf{y}$ 的变化与隐空间中表征变化之间的对应关系。

联合学习编码器与群表示 EbC 的核心是一个双组件架构：

1. 一个编码器网络 $f_\theta: \mathcal{Y} \to \mathcal{Z}$，负责将原始数据映射到隐空间。
2. 一个可学习的群表示 $\rho$，对于群 $G$ 中的每一个元素 $g$，都有一个对应的可逆矩阵 $\rho(g)$。这些矩阵保存在一个查找表或由一个小型网络生成。

EbC 损失函数 对于一对观测 $(\mathbf{y}, \mathbf{y}‘ = g \cdot \mathbf{y})$，EbC 将编码器的输出视为正样本对，但并非直接要求它们相似。损失函数的核心思想是，经过 “对齐” 后的表征应该彼此接近。具体来说，它计算编码器输出的两个隐向量 $\mathbf{z} = f_\theta(\mathbf{y})$ 和 $\mathbf{z}’ = f_\theta(\mathbf{y}‘)$，然后使用当前学习的群表示 $\rho(g)$ 来 “预测” 变换后的表征 $\hat{\mathbf{z}}’ = \rho(g) \mathbf{z}$。损失函数强制 $\hat{\mathbf{z}}‘$ 与真实的 $\mathbf{z}’$ 在余弦距离下尽可能一致。

形式上，对于一个包含 $g$ 的群表示矩阵和编码器的参数，论文定义了一个 InfoNCE 风格的损失，其目标是将 $(\mathbf{z}‘, \rho(g)\mathbf{z})$ 作为正对，而将一个批次中的其他变换对视为负例。这个设计精妙地融合了对比学习和等变约束：

$$\mathcal{L}_{\text{EbC}} = -\mathbb{E}_{(\mathbf{y}, g)} \log \frac{\exp(\text{sim}(f(\mathbf{y}'), \rho(g)f(\mathbf{y})) / \tau)}{\sum_{g' \neq g} \exp(\text{sim}(f(\mathbf{y}'), \rho(g')f(\mathbf{y})) / \tau)}$$

其中 $\text{sim}$ 是相似度度量（如余弦相似度），$\tau$ 是温度超参数。通过最小化这个损失，编码器与群表示被共同优化。编码器学习将数据映射到一个隐空间，使得数据变换可以被单个线性变换 $\rho(g)$ 准确描述；而群表示 $\rho(g)$ 则学习到一个忠实于数据内在变换结构的矩阵群。

可识别性理论 论文的另一个关键贡献是证明了该方法的可识别性。在一定的理想条件下（如：编码器是单射，群作用在数据上是忠实的等），EbC 所学习到的群表示 $\rho(g)$ 与真实的群表示在共轭意义下是等价的。这意味着模型确实学到了数据中真实的、抽象的变换结构，而非某个启发式或退化的解。这为方法的可靠性提供了坚实的理论根基（见论文第 4 节）。

创新点和贡献

1. 首个通用、无偏置的等变学习框架：EbC 是第一个被成功证明仅从群作用观测对中学习等变嵌入的通用编码器式方法。它摆脱了对群特定的归纳偏置（如群卷积）的依赖，为等变学习开辟了一条新的、更加灵活的道路。
2. 理论与实践的紧密结合：论文不仅提出了一个新颖的算法，还配套提供了可识别性的理论证明。这在等变自监督学习领域是一个重要的理论贡献，确保了学习结果的可解释性和可靠性。
3. 成功处理非平凡群：该工作在实验中成功验证于非交换群（如正交群 $O(n)$）和复杂的积群（如 $R_m \times \mathbb{Z}_n \times \mathbb{Z}_n$）。尤其是在积群上的成功，直接关联到计算机视觉中对仿射变换建模的实际需求，证明了该方法处理现实复杂对称性的潜力。
4. 重新定位对比学习的作用：论文巧妙地逆转了对比学习的常规用法，将其从不变性学习工具改造为等变性学习工具。这是一种概念上的创新，拓宽了对比学习范式的应用边界。

实验结果分析

论文在多个合成数据集上验证了 EbC 的有效性，其评估核心是衡量所学群表示在隐空间中的 “保真度”。

1. dSprites 积群实验：这是最主要的验证。基于 dSprites 数据集，构建了由离散旋转 ($R_m$)、x 轴循环平移 ($\mathbb{Z}_n$) 和 y 轴循环平移 ($\mathbb{Z}_n$) 组成的积群 $G:= (R_m \times \mathbb{Z}_n \times \mathbb{Z}_n)$。EbC 被训练来从此群生成的观测对中学习。

   • 定性结果：论文展示了隐空间中群作用能够被忠实地再现。例如，如果对输入图像施加一个特定的旋转和平移组合，EbC 嵌入空间中的对应表征也会精确执行由所学 $\rho(g)$ 定义的矩阵变换。
   • 定量结果：论文通过计算 “群作用误差”（即 $f(g \cdot \mathbf{y}) - \rho(g) f(\mathbf{y})$ 的范数）来量化等变性的精确度。实验显示该误差很小，表明学习了高保真度的等变嵌入（见论文图 4 及相关文字描述）。

2. 非交换群实验：论文进一步在正交群 $O(n)$ 和一般线性群 $GL(n)$ 的随机矩阵生成的合成数据上进行测试。EbC 同样能够准确地学习到群结构，并将其忠实地反映在隐空间的线性变换中。这验证了 EbC 在处理非交换群（即变换的先后顺序会影响结果）的复杂情况时的能力。

3. 消融与可视化：通过可视化群表示矩阵的结构，可以清晰地看到 EbC 学到的 $\rho(g)$ 与真实的群表示矩阵高度一致（在可识别性定理所允许的共轭关系内）。这直观地证明了 EbC 并非通过记忆数据点，而是通过抽取其底层抽象的代数结构来完成任务的。

局限与待解决问题

尽管 EbC 在理论和实验上都展现了巨大潜力，但其当前版本仍存在显著的局限性，作者也在论文中明确指出了这些作为未来工作的方向。

1. 有限群假设是根本性的限制：论文的核心理论和当前的算法实现都严格依赖于 $G$ 是一个有限群。虽然像 $R_m$ 和 $\mathbb{Z}_n$ 这样的离散化可以将许多现实中的变换（如旋转、平移）近似为有限群，但无法直接处理连续群，如 $SO(2)$（完整二维旋转）或 $SE(3)$（三维刚体运动）。如何将 EbC 的思想扩展到连续李群是一个重大的理论和工程挑战。

2. 仅限于合成及人工结构数据：论文中所有的实验验证（dSprites 积群、合成 $O(n)$ 和 $GL(n)$ 数据）都是在完全受控的、结构清晰的合成数据上进行的。该方法在处理带有噪声的、高维的真实世界数据（如自然图像、视频）时的表现是未知的。真实数据的复杂性和可能存在的近似而非严格的群结构，可能会对训练稳定性和可识别性造成影响。

3. 可扩展性问题：EbC 需要为群 $G$ 中的每一个离散元素 $g$ 学习一个表示矩阵 $\rho(g)$。对于基数庞大的有限群，这会带来显著的内存和计算开销。例如，对一个高分辨率图像的二维平移群进行精细离散化，会导致元素数量爆炸式增长，使得当前方法难以直接应用。如何高效地参数化或生成 $\rho(g)$ 是一个关键的效率瓶颈。

4. 复杂性验证的深度不足：虽然在 $O(n)$ 和 $GL(n)$ 上进行了实验，这些更多是作为原则性证明。对于更复杂、更有现实意义的非交换群（如置换群 $S_n$ 或更复杂的矩阵李群的有限子群），其表现和性能极限有待深入探究。