【论文略读30】AI Poincare

阅读文章AI Poincaré: Machine Learning Conservation Laws from Trajectories

名字挺炫酷,不过看了一遍,觉得可以借鉴的地方不多,见正文方法部分最后一句

AI Poincaré

还是偏物理的,个人觉得不太算CS的文章,有的格式都不一样;只有5页,不过符号不算少,就是证明没有,难道是保密技术?纯粹是兴趣看一看,作者MIT学物理的,不是我,狗头👍。而且可以学习借鉴的地方不多

文献链接:https://arxiv.org/abs/2011.04698

提出的方法叫做 $AI\ Poincar\acute{e}$,是只利用未知动力系统轨线数据自动寻找守恒律的学习算法

优点

  • 纯粹数据驱动,从轨线trajectories中学习守恒律
  • 自动学习,不手动设计特征,且不加显式的偏置归纳
  • 实验优点:哈密顿系统中发现了所有精确的守恒量,而且似乎有一定的解释性:发现了周期轨道,phase transitions和breakdown timescale

认为的缺点:

  • 方法在建模比赛中应该是非常有意思的,但是在学习领域,觉得不够味道
  • 虽然走纯数据驱动的路子,但是可解释性不足,发现轨道等概念的解释性和我想的不一样
  • 方法其实解释得不清楚,只是讲了一遍过程,合理性不足
  • 实验结果似乎对不上?没看明白ERD图,难道不是中间有几条线下凸,低于阈值就是发现多少守恒律?文章表格和描述的似乎不一致,我很费解,可能是我菜。。。

Target

文章自述一个宏伟的目标是智能学习物理系统中的规律,如符号回归得到的方程形式、守恒律、对称性,etc,我喜欢。本文的具体target是:从轨线trajectories中学习守恒律

Idea

一般求守恒律可能要限制方程形式?所以以往方法可能是模型驱动。现在的idea就是表示只用轨线,对方程形式没有任何假设,就是要纯粹数据驱动试试。

具体的思想见建模的过程,本质是概念的对应,实现的方式比较基础

用于对比批判的方法:

  • 用AE、暹罗网络的正交方法(我自己未验证此方法),可以寻找对称性。缺点是要手动设计(对称性)特征
  • 把守恒律作为偏执归纳先验,但这不是纯数据驱动

重点参考的方法:

sampling manifolds方法和动力系统概念的对应(我一直在想这个问题但是想不通。。)看了这篇文章给的对应关系,也只是觉得可能有关系,但是还是没有说清楚概念之间的真正联系,可能还是要看更基础的文章

Method

看完方法觉得在机器学习的范畴内亮点不多。把方法流程大致过一遍。

首先是模型的基本假设,假定是带有守恒律 $H_j(\mathbf{x})=h_j$ 的方程(真的是守恒律),每条守恒律都看作是一个高维空间(在可操作意义下都是 $\mathbb{R}^{l}$)中的超平面,满足一条守恒律就意味着有一个限制条件(凸分析学的好啊)。本文把所有可行轨线所在的空间看成与满足守恒律的空间一致,称之为可允许状态流形permissible state manifold (PSM) $\mathcal{M}$,且假设轨线数据集 $\mathcal{S}=\{\mathbf{x}(t)|t\geq 0\}$ 都分布在这个流形 $\mathcal{M}$ 上。它定义为

那么每满足一条守恒律,此流形其实就有了一个的限制,相当于在 $\mathbb{R}^N$ 的基础上维度降低一维,如果观察到总维度(应该是提前已知)减去估计出的轨线数据集 $\mathcal{S}$ 的维度不为0,那就是找出了守恒律。

那么第二点是模型怎么算的。第1步是对轨线数据预处理,标准化,这样会有一个协方差矩阵,对角元对应特征值,有特征值就说明找到了重要的维度,初始时的非0特征值个数就应该是上一段说的总维度,然后一旦有特征值在迭代的过程中变得很小,那就是守恒律被发现了,这个维度就对应守恒律。第2步是对轨线数据加噪,干扰之,得到近似的流形(我认为是这样),再蒙特卡洛采样,学习恢复流形的函数,这一步的目的应该想把干扰后的轨线投影到切空间,如果守恒律存在,那么合适的干扰对守恒律会有较大的影响。那么第3步就是把投影后的轨线数据PCA降维处理得到最后的维度,如果降维的过程中发现维度变化很大,说明合适水平的噪声影响到了守恒律。这时根据explained ratio diagram (ERD)(我真不懂这个图怎么对应几条守恒律,因为好像和结果描述的不一致)可看出守恒律有几条。

思路就是这样,有点意思,意思在于干扰影响了守恒律,且合适水平的干扰可以最大影响守恒律;另外就是其实专门去寻找可能存在的守恒律,这一点与流形上有些概念似乎可以对应。私以为本文只有这两点可以借鉴

Experiments

做了5种有守恒律的哈密顿方程的实验。但是私以为讲得不清楚,因为用ERD看出的守恒律数目和文章描述的似乎不一样😶。也可能是我菜看不出来🤡。。。

参考文献

[1] Ziming Liu and Max Tegmark. AI Poincaré: Machine Learning Conservation Laws from Trajectories. arXiv e-prints, page arXiv:2011.04698, November 2020.