【论文阅读44】DPIR——利用深度去噪先验的图像恢复方法

阅读文献DPIR：Plug-and-Play Image Restoration with Deep Denoiser Prior

利用的深度去噪先验（DP）的图像恢复（IR）方法，至于即插即用，是指？且待分解（见背景部分）

文献简介

ArXiv上表示本文是IRCNN (CVPR17)的拓展，目前本文似乎只发在20年ArXiv上

张凯一作，还有张磊和左旺孟老师：https://arxiv.org/abs/2008.13751

代码：https://github.com/cszn/DPIR

图像恢复（IR）与去噪的关系

这个问题挺困扰像我这样的初学者，但是又没有专门去了解它们的关系。这次本文在引言中给出了一个介绍！总的来说，图像恢复的范围很大，包括了去噪

图像恢复问题的数学表达是：

$\displaystyle y=\mathcal{T}(x)+n \tag{1}$

指的是利用退化算子$\mathcal{T}$从带有噪声$n$的退化观测（即带噪图）$y$中恢复出干净图$x$

由此定义，不同的退化算子$\mathcal{T}$就对应了不同的IR任务：

IR任务	退化算子$\mathcal{T}$
传统IR（去噪？）	恒等映射
去模糊	2-d卷积
超分辨	卷积和下采样的复合
去马赛克	色彩滤波阵列（CFA）masking

基于模型与基于学习方法的关系

model-based大概就是为了最小化目标函数，采用巧妙地优化方法，其中可能有精巧的优化机制，也可能是算法unfolding的方式

learning-based就是用数据对去学习，逼近最优解，可以直接看成是原文第1页式$(3)$的双边优化

问题

从标题知，本文的目标是图像恢复。另外，本文的方法关注的点是即插即用模块的设计，在下一部分介绍之

背景

本文的背景领域是即插即用的去噪，去噪不说了，主要是这个即插即用是什么

即插即用Plug-and-Play指的是一种处理深度学习目标函数的方式。一般的目标函数包括数据（拟合）项和正则（先验）项，即插即用要把目标函数的这两部分分离，得到2个子问题，即数据子问题&先验子问题。那么要优化这样的目标函数，只需用迭代的方式，交替求解2个子问题。一般这个即插即用都是指☞用现成的工具解先验子问题，这样就不用手动指定显式先验，这样其实就是隐式地用这个现成的工具定义了先验

动机/Idea

本文的动机/idea是要求即插即用模块灵活且能力强。希望即插即用（在本文中就是denoiser）non-blind，且能处理大范围的噪声水平（要求灵活）

从这两个方面分别考虑的话，参照的基本模型主要是原作者17年CVPR的IRCNN去噪器，可以处理各种各样的噪声水平，但它由25个独立的7层去噪器组成，其中每个去噪器在噪声水平间隔为2的数据上训练。有两个缺点，第1是不能灵活指定特定噪声水平；第2是由于层数少，效果不够

启示是要模块灵活且强大

ps：利用DCNN的即插即用与deep unfolding的区别：deep unfolding毕竟是对特定任务的优化单独设计的嘛，所以虽然解释性强，需要的迭代也少，但对每个特定任务都是单独训练的。相反，即插即用很容易兼容其它模型，即易部署

模型DPIR

其实，以上的问题、背景和动机部分都是写作时的组织方式，本文模型DPIR模型的提出其实是另一个思路！以下也将从更自然的思路引出此模型，即从即插即用模块如何由HQS优化算法导出

首先，带噪图还是$y$，干净图还是$x$，则初始问题的概率形式和一般形式分别是：

$\displaystyle \hat{x}=\mathop{\arg\max}_{x}\log p(y|x)+\log p(x) \tag{1}$ $\displaystyle \hat{x}=\mathop{\arg\min}_{x}\dfrac{1}{2\sigma^2}||y-\mathcal{T}(x)||^2+\lambda \mathcal{R}(x) \tag{2}$

那么HQS算法，指Half Quadratic Splitting，要把上述数据项和先验项分离，为此引入隐变量$z$，则优化问题变为带约束的问题：

$\displaystyle \hat{x}=\mathop{\arg\min}_{x}\dfrac{1}{2\sigma^2}||y-\mathcal{T}(x)||^2+\lambda \mathcal{R}(z)\ s.t.\ z=x \tag{3}$

所以其Lagrangian就是

$\displaystyle \mathcal{L}_{\mu}(x,z)=\mathop{\arg\min}_{x}\dfrac{1}{2\sigma^2}||y-\mathcal{T}(x)||^2+\lambda \mathcal{R}(z)+\dfrac{\mu}{2}||z-x||^2\tag{4}$

那么式$(4)$有两个变量其实，分别是目标变量$x$和隐变量$z$，也有两个Lagrange乘子$\lambda$和$\mu$。且注意到上式包含只有$x$、只有$z$和$x,z$都有的项。式$(4)$的求解则用交替优化的方式进行：

$\displaystyle\left\{\begin{aligned} x_k&=\mathop{\arg\min}_x||y-\mathcal{T}(x)||^2+\mu\sigma^2||x-z_{k-1}||^2 \\ z_k&=\mathop{\arg\min}_z\dfrac{1}{2\left(\sqrt{\frac{\lambda}{\mu}}\right)^2}||z-x_k||^2+\mathcal{R}(z)\end{aligned}\right.\tag{5}$

式$(5)$就是拉格朗日求导的结果，双变量的。注意到下面的式子相当于是一般的高斯去噪过程，即$z$相当于$x$的带高斯噪图，然后去恢复$x$！好家伙，这就是为什么文章说这个即插即用的模块是用一个深度高斯去噪网络来做的！

实验

本文的实验是一般的IR问题，具体在去模糊、单图超分辨（SISR）、彩图去马赛克3个问题上进行了实验

实验效果都挺好的

优点&技巧

优点的话随便写写，（1）优化问题结合算法自然推导出了先验去噪器（这个东西的泛化仅限于IR）；（2）深度去噪器先验建模能力好，提高有效性；（3）没有限定特定任务，这个意义下更灵活

本文其实有很多技巧性的东西，都算是领域知识吧，比如说（1）HQS算法的选择及其优势；（2）与双边优化问题的联系；（3）残差块结合U-Net，增强表达能力与图像变换能力；（4）实验与各种去噪器对比，如CNN-based、model-based网络；（5）为了增强泛化，把noise-level-map也作为输入，但是这样具体的做法不清楚

思考

本文的降噪器从原理上是从优化算法的计算过程中unfolding出来的，所以DPIR在这个HQS框架下是成立的，也只能用HQS优化，以及用高斯去噪器。这个东西总是觉得有点奇怪，即插即用也就是在它的框架下去插。不想用这个优化方法就无了

从这个角度上说和meta差距还是挺大的。如果硬是要联系的话可能是文章开头的式子$(3)$，它没有指定优化方法，还是优化能量泛函+优化约束。这是否有启发，把约束优化问题做成元学习器，然后再套到pde约束优化能量泛函的框架下呢？

参考文献

[1] Kai Zhang, Yawei Li, Wangmeng Zuo, Lei Zhang, Luc Van Gool, and Radu Timofte. Plug-and-Play Image Restoration with Deep Denoiser Prior. arXiv e-prints, page arXiv:2008.13751, August 2020.

@ARTICLE{2020arXiv200813751Z,
       author = {{Zhang}, Kai and {Li}, Yawei and {Zuo}, Wangmeng and {Zhang}, Lei and {Van Gool}, Luc and {Timofte}, Radu},
        title = "{Plug-and-Play Image Restoration with Deep Denoiser Prior}",
      journal = {arXiv e-prints},
     keywords = {Electrical Engineering and Systems Science - Image and Video Processing, Computer Science - Computer Vision and Pattern Recognition},
         year = 2020,
        month = aug,
          eid = {arXiv:2008.13751},
        pages = {arXiv:2008.13751},
archivePrefix = {arXiv},
       eprint = {2008.13751},
 primaryClass = {eess.IV},
       adsurl = {https://ui.adsabs.harvard.edu/abs/2020arXiv200813751Z},
      adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}

其它参考链接（感觉用处不大）：