本文标题Fractional-Order Deep Backpropagation Neural Network,是1篇18年的文章,对上一篇文章搜代码的时候搜到的
本文阐述的分数阶网络跟我想的还不一样,它就是梯度下降的时候用的是Caputo导数(我怎么觉得不对劲,见启发部分)
发的地方争议似乎很大,但本文的参考文献里有些信息是有用的,所以略读一下
文献信息
这个文章不太水,内容有些单调,分数阶网络有点粗糙感,如标题述,就是讲分数阶网络的。但写得还行,是份完整的工作
作者是川大的,其中Yifei Pu之前做过很多分数阶的东西
文献链接:https://www.hindawi.com/journals/cin/2018/7361628/
本文小结
本文主要关注的是/idea:
- 以往分数阶网络直接限制分数阶范围$(0,1)$没理由
- 有的没加正则
- 以及此类方程的收敛性条件
那么基于Caputo分数阶导数(理由是常数的分数阶导要是0,这点与Fractional-DNN一致),对分数阶网络的数学形式进行推导,进一步由损失的优化给出了网络收敛的一些必要条件
实验部分很完整,交代了网络结构(注意是现在才交代),由数学形式给出了包含内外部神经元的网络,在MNIST上进行了分数阶数选择、数据集量的选择、正则的加入、训练轮数的选择,主要说明了分数阶导数选在$(0,2)$比较合适、正则确实稳定并增强泛化、网络是收敛的。。
本文启发
个人最关注的其实是参考文献部分,了解到分数阶在18年之前就有很多研究了,主要是方程、控制论、信号处理方向。也有不少图像处理、医学(CT)成像、神经网络,这是个问题啊🤯
启发之2是本文阐述的分数阶网络跟我想的不一样,它就是梯度下降的时候用的是Caputo导数,在这一点上,我突然觉得本文网络的效果可能是网络结构中的外部神经元的作用。。。
总之就是觉得很矛盾,总觉得这个文章有点离谱。。。
补充一些文章的细节:
- 本文分数阶网络的结构见上图,网络的数学表达见文第3页式$(10-22)$,看过了,问题不大,就是不清楚外部神经元刚出现的时候是怎么出现的,毕竟没有输入。。。
- 它这个分数阶的网络,分数阶到底体现在哪里?文章的网络本身不含分数!分数阶体现在使用的优化策略是梯度下降,但是求的导数是Caputo分数阶导。。所以以往的分数阶网络都是这?不至于吧
- 网络收敛的必要条件是如何推导的?就是优化带正则的损失函数,对参数求分数阶导,令最优参数时分数阶导数为0,得到必要条件