西北中心研讨班——图像质量评价

数学西北中心“数据科学与医疗健康”主题年研讨班

仅记录一些笔记&感想,内容并不详细!

开幕简介

图像模型都是老套的啦,无非是设计loss,根据task的需求设计参数,我更倾向于用MWN嘻嘻。

可以举几个常用的model的例子,VAE,滤波,Baysian推断加正则项。

最后提一下很重要的图像评价指标:

  • 通用图像质量评价
  • 面向任务的图像质量评价

Bayesian CT图像重建

由纽约石溪大学的教授Jerome Zhengrong Liang给出。由于版权问题,笔记不在此,也不发布。

深度纹理分析 Deep Texture Analysis

由纽约石溪大学的教授Jerome Zhengrong Liang给出。由于版权问题,笔记不在此,也不发布。但是可以在这里列一篇参考文献

  • Weiguo Cao, Marc J. Pomeroy, Perry J. Pickhardt, Matthew A. Barish, Samuel Stanley III, Hongbing Lu, Zhengrong Liang, “A pyramid machine learning model for polyp classification via CT colonography,” Proc. SPIE 10950, Medical Imaging 2019: Computer-Aided Diagnosis, 109502U (30 May 2019);https://doi.org/10.1117/12.2513068

图像质量评价IQA中的问题、理论和方法

由张林教授给出。两种图像质量的评价标准:

  • 人类感知效果
  • 具体任务的评价指标

基于人类感知

  • Pearson线性相关系数PLCC
  • 均方误差的平方根RMSE

具体公式不会耶,应该是具体问题具体算客观评分和自己的评分

FR-IQR方法

度量图像之间的距离使之满足人类感知。

MSE不会考虑图像上点的顺序,不会考虑正负偏差,因此与人的感知可能有一些差距。

相对来说SSIM(结构相似性:structural similarity)会好很多,它是个基石性的工作。它会把图像的变化分为有结构化改变和没有结构化改变两种大情况。

举个例子,对原始标准图像施加Gaussian noise后,MSE对应的bias是随机模糊的noise,SSIM对应的bias有结构化的意义在里面。PPT里有图像例子,这里没有拍照。

总之就是,MSE一样时,SSIM能度量结构化的error。

FSIM/FSIMc: Feature Similarity Index

核心概念是相位的一致性phase congruency。这个东西可以算的,具体怎么算不写了,反正我的确不是很会QwQ。

不过FSIM的计算是受到SSIM很大的启发的,计算过程比较相似。

GMSD: Gradient magnitude similarity deviation

梯度模相似性标准差,据说非常有效非常快。主要用的是梯度模的信息。

LPIPS: A CNN based FR-IQA Index

这都是个什么东西。Learned perceptual image patch similarity.大概是衡量两种patch图像和标准图像的相似性。但是以前的指标判断的都不符合人类感知,这里LPIPS可以衡量得很好,而不依赖于具体DeepCNN的结构。

LPIPS训练的是tuple:$\{x,x_0,x_1,h\}$,参考图像,patch0,patch1,h指示哪个patch更好。这个有点意思了。

NR-IQR方法

FR似乎是指有reference,而NR似乎没啥标准,所以它要自己判断如何符合人类感知。

NR似乎可以用于对抗学习。

基于task

自建数据集去研究去雾,和师姐很想但没师姐强嘻嘻。

下午实在是困了,没记笔记,再见

中午被拖堂,没睡好觉。。。

CT系统设计及锥束CT成像方法

由朱磊教授给出,GaTech校友,他讲的其实非常好,基本上把图像质量评价和CT面临的问题都讲清楚了!

一个重点是把实际需求转化为多目标优化问题。

具体内容只剩一些照片了,不展示在这里。

基于特定任务的医学图像质量评价

由卢hb教授给出。第二天下午太浪了,没记什么笔记。

讲了讲图像质量评价发展、基于特征保持的CT图像重建及恢复和一些医学图像诊疗性能评价方法,一共三块。

其总的方法都属于影像组学 Radiomics,分割啊,特征提取啊再分析这样,影像组学的思路(或者说流程)可以为医学图像处理提供部分定量的研究手段,其实就是能算的一些指标。

基于特征保持的(Ld)CT图像重建及恢复

举几个例子:

  • 针对nonstationary noise的各项异性边缘引导的TV最小化重建方法;
  • 针对photon starvation的高阶微分模型TVS最小重建方法;
  • 针对streak artifacts的基于NLM约束的迭代重建方法;
  • 针对noise/details tradeoff的基于邻域主成分的非局部均值成像算法。

还有一个例子好像很有意思,有机会再看吧:

  • Knowledge-Based Bayesian Reconstruction Using Information from Previous Full-dose CT Scan

诊疗性能评价方法

我感觉就是基本的数据分析方法。。。

  • ROC: receiver operating characteristic curve,真阳性率和假阳性率的曲线
    • 用于两种或以上不同诊断方法对疾病识别能力的比较;
    • 越靠近左上角,工作越准确(纵轴是真阳性率);
    • 离左上角垂直距离最短的一点,敏感度特异度之和最大,成为最佳临界点,点上的值称为最佳临界值
    • ROC曲线下面积AUC,越大,诊断价值越高。一般高于80%算好。
  • C-Index
  • LASSO
  • Nomogram for disease risk stratification
    • 这是用于实现个体化风险预测的诺模图,阐述不同重要特征的预测能力
    • 回归模型都可以绘制诺模图,画法不说了,感觉就是设置某种映射给特征一个特殊的重要性权重(score)

一个和我相关的例子:

  • 注意灰度梯度共生特征和灰度曲度共生特征这两个说法!毕竟是某种图像纹理特征,应该还是很有用的!

Low Dose CT Quality Enhancement with Ethical AI

由Ge Wang教授,CT领域的领军学者之一给出。老师很喜欢深度方法,举了早期的一些介绍性的工作,用网络做data-image-feature的各种转换。老师的想法和我一样耶,ML与医学的结合。

  • 这老师好凶啊,感觉是暴力网络(网络集成)图像重建啊!?!?他喵的真的是任务&实验驱动的科研啊。。。
  • Artifacts尾影问题
    • 老师主讲的是LdCT,这个方向还是很火的;
    • 早期会把经典的迭代方法编程到网络中,权值共享使得计算复杂度降低?
    • 他的文章里的网络怎么咔咔咔用了5-6个评价指标;
    • ADN: disentanglement似乎非常nb;
      • 设计了很多编码器解码器,提取尾影特征;
      • 设计了5种损失,包括对抗损失2种,重建artifacts损失1种,尾影artifacts一致性损失1种,自优化损失1种,目标函数对应minmax问题;
      • 待改进问题:如何使用先验信息?
  • 分辨率和噪影问题
    • 分辨率的一种定义方法FWHM,用的啥啥啥点扩散函数。也可以用MTF啥的;
    • 究极定义分辨率公理QwQ;
    • GAN-Circle;
    • Deep Resemble Learning;
  • 浪了浪了看小说去了qwq

深度重建:基于深度学习的CT图像重建

由四川大学的Yi Zhang老师给出。主要内容区分为single domain单域和cross domain跨域两者方法。这个域指的是image图像域或者data域,所以到底是什么域?

回去复习一下池化层吧,当时学得不细现在也忘了。

后面和组里的越来越像了。

其中一个VGG+GAN的模型,提特征的思路,包括在target上适用性根据效果来判断,和我的一模一样。。。