← 全部笔记GEOMETRY × MACHINE LEARNING
交叉研究 / 基础进阶
几何深度学习:让模型尊重问题的对称性
不变性、等变性和归纳偏置如何帮助构造科学机器学习模型。
f(g · x) = ρ(g) · f(x)
01从一个简单要求开始
一幅图像平移之后,识别目标的标签通常不应改变;但目标的位置预测应随之平移。这分别对应不变性与等变性。构造模型之前先问输出属于什么空间,再决定希望它如何随输入变换。忽略这个问题,容易把应该旋转的向量误当成不变的标量。
02等变性不是数据增强的同义词
数据增强用有限样本鼓励模型学习变换规律;等变结构则通过网络设计对某类变换施加约束。两者可以互补,但约束必须符合真实任务。若外场、边界或测量仪器破坏了某种对称性,过度强制该对称性也可能丢失有用信息。
03图数据为什么需要置换一致性
图的节点编号通常是任意的。若只是改变编号,图级预测应不变,节点级预测应按同样的置换重新排序。消息传递网络通过共享局部更新和对邻居的对称聚合实现这种结构。它是否能够区分所有重要图结构,则是另一个表达能力问题。
04在科学问题中如何验证
分子、粒子和连续介质任务常涉及旋转、平移与排列结构。一个模型在随机划分数据上的误差很低,不保证它能跨尺度、跨物相或跨分布泛化。应测试对称性误差、守恒量漂移、外推范围和不确定性,而不仅报告单个平均指标。
05可复现的小实验
选取二维点集,分别让模型预测面积和有向位移。对每个输入施加随机旋转,比较两个输出的正确变换规律。然后加入一个固定方向的外场,观察原先强制旋转不变的模型何时失效。这个反例能帮助理解:物理先验要来自问题,而不是来自对称性本身的美感。
参考与延伸阅读
本站为独立教学整理;论文案例不等于完整综述。关键结论请对照原文及其最新修订。