↓ 跳过正文
  1. 笔记/
  2. 高光谱图像目标检测相关课题研究笔记/

关于毕设与高光谱入门论文阅读与学习路线

·5599 字·12 分钟
作者
李佳鸿
记录科研、工程实践与长期学习。
目录
笔记

分享


一、先确定你的知识树
#

你的毕设方向其实横跨四块:

                 工业高光谱异常检测
                         │
        ┌────────────────┼─────
        ↓                ↓                ↓
    高光谱基础       图像恢复/去噪          异常检测
        │                │                │
     子空间           低秩先验               RX
     光谱特征         稀疏先验             背景建模
     空间特征         PnP                 重建残差
     光谱混合         Diffusion            AutoEncoder
        │                │                │
        └────────────────┼─────
                         ↓
                   现代深度学习方法
                         │
                   Transformer/Mamba
                   Foundation Model
                         │
                         ↓
                  工业质检应用

目标不是把所有领域都学透。

而是达到:

能读懂 HAD 和 HSI Restoration 论文,能复现代码,知道论文为什么这么设计,并能够自己判断“这个模块有没有改进空间”。


二、第一阶段:先建立领域地图
#

这一阶段先不要逐公式啃论文。

Paper 0:先读一篇综述
#

Hyperspectral Anomaly Detection Using Deep Learning: A Review
#

Remote Sensing, 2022。

这篇先让你知道 HAD 的方法大概有哪些类别,包括传统统计、表示学习、自动编码器、深度学习等。MDPI

这一篇目标只有:

读完能画出这张图:

HAD
│
├── 统计方法
│    └── RX / KRX
│
├── 表示方法
│    ├── Sparse Representation
│    ├── Collaborative Representation
│    └── Low-Rank Representation
│
└── Deep Learning
     ├── CNN
     ├── AutoEncoder
     ├── Transformer
     └── Mamba

不用复现。

达标标准
#

如果我问:

为什么 HAD 一般是无监督的?

HAD 和目标检测有什么区别?

为什么高光谱能发现 RGB 看不见的异常?

现在 HAD 大概分几类方法?

能用自己的话解释。


三、第二阶段:HAD 的三个经典方法
#

这三篇非常重要。


Paper 1 ★★★★★
#

Reed & Yu, 1990
#

Adaptive Multiple-Band CFAR Detection of an Optical Pattern with Unknown Spectral Distribution

也就是 HAD 里最经典的:

RX Detector
#

发表于 1990 年,是后来大量高光谱异常检测工作的基准。Meta Science Observatory

你必须真正理解:

背景像素
≈
多元高斯分布

对于一个像素 \(x\):

它离背景分布中心越远
        ↓
Mahalanobis Distance 越大
        ↓
越可能是异常

必须掌握
#

  • 均值向量;
  • 协方差矩阵;
  • Mahalanobis Distance;
  • 为什么不用欧氏距离;
  • Global RX 和 Local RX;
  • ROC;
  • AUC;
  • False Positive / True Positive。

复现要求
#

这个最好你自己用 Python 从零写出来。

不要调用别人完整实现。

最后做到:

anomaly_map = RX(hsi)

四、Paper 2 ★★★
#

Kernel RX-Algorithm: A Nonlinear Anomaly Detector for Hyperspectral Imagery
#

IEEE TGRS, 2005。

它把 RX 从原空间扩展到 kernel feature space,解决简单高斯/线性模型能力有限的问题。ResearchGate

你不需要深入 kernel theory。

重点理解:

RX为什么有限?

Kernel Trick为什么能处理非线性背景?

然后知道:

RX
↓
线性背景

KRX
↓
非线性背景

即可。

这篇理解思想,不要求完整复现。


五、Paper 3 ★★★★★
#

Collaborative Representation for Hyperspectral Anomaly Detection
#

Li & Du,IEEE TGRS,2015。

这是异常检测从:

“统计分布”

转向:

“背景能不能被其他背景像素表示”

的重要方法。论文核心是:背景像素可以由邻域中的其他背景像素较好地协同表示,而异常通常不能。IEEE Xplore

你一定要理解这句话:

如果 x 是背景:

x ≈ Dα

误差小

如果 x 是异常:

x ≠ Dα

误差大

于是:

reconstruction error
        ↓
   anomaly score

这其实已经开始接近后面的 DeCNN-AD 和 MMR-HAD。

必须掌握
#

  • Dictionary 是什么;
  • Representation coefficient 是什么;
  • L1 和 L2 正则大概有什么区别;
  • reconstruction error;
  • 为什么异常难被背景字典表示。

六、Paper 4 ★★★★★
#

Anomaly Detection in Hyperspectral Images Based on Low-Rank and Sparse Representation
#

IEEE TGRS,2015/2016。

这篇特别重要,因为它把一个后来非常核心的思想讲得很清楚:

HSI

X = L + S

L:Low Rank
   大量背景

S:Sparse
   少量异常

背景往往具有较强相关性,因此可以用低秩结构描述;异常数量较少,对应稀疏部分。ResearchGate

这一步非常关键。

因为以后你看:

  • DeCNN-AD;
  • RoSEGS;
  • MMR-HAD;
  • 很多 HSI restoration;

都会不断碰到:

low rank / sparse / subspace。

达标要求
#

看到:

\[ X=L+S+N \]

你马上知道:

X:观测HSI

L:背景/干净信号

S:异常/稀疏噪声

N:Gaussian Noise

而不是看到公式就懵。


七、这里插入一篇基础理论 Paper 5
#

Hyperspectral Subspace Identification
#

Bioucas-Dias & Nascimento,IEEE TGRS 2008。

也就是著名的:

HySime

这篇不是异常检测,但是对你后面 RoSEGS 特别重要。

它研究:

几百个光谱波段真的有几百个独立信息维度吗?

答案通常是否。

HSI 数据实际上常常落在一个低维子空间中。HySime 就是在自动估计这个信号子空间。IT.pt

必须搞懂:

300 Bands
    ↓
实际上很多高度相关
    ↓
有效维度可能远小于300
    ↓
HSI ≈ E × Z

其中:

E:spectral basis

Z:reduced image

你将来读 RoSEGS 时会反复见到这一结构。


八、第三阶段:正式进入符老师课题组
#

这时候再读那三篇。

你会发现难度一下下降很多。


Paper 6 ★★★★★ 核心
#

DeCNN-AD
#

Hyperspectral Anomaly Detection via Deep Plug-and-Play Denoising CNN Regularization

IEEE TGRS,2021。

符老师的代表性 HAD 工作之一。

它从低秩表示和 dictionary reconstruction 出发,引入 Plug-and-Play CNN prior,并重新考虑背景字典构造。HKU Scholars Hub

你这时候应该能看懂:

Low-Rank Representation
        ↓
Background Dictionary
        ↓
Representation Coefficient
        ↓
PnP CNN Prior
        ↓
Background Reconstruction
        ↓
Residual
        ↓
Anomaly

要达到什么程度?
#

这一篇要做到:

论文能够讲出来 + 官方代码完整复现。

而不是:

“大概知道用了 CNN。”

答辩时别人问:

为什么 CNN 在这里不是直接做异常分类?

PnP 到底 plug 的是什么?

为什么重新构造 background dictionary?

你能够回答。


九、Paper 7 ★★★★★ 核心
#

RoSEGS
#

Hyperspectral Image Denoising via Robust Subspace Estimation and Group Sparsity Constraint

IEEE TGRS,2023。

这是你以前已经接触过的。它针对 HSI mixed noise,结合鲁棒子空间估计、稀疏噪声检测、group sparsity 和 Plug-and-Play denoiser。ResearchGate

现在重新读时,重点不是公式本身,而是弄懂:

Observed HSI

Y = Clean HSI
  + Gaussian Noise
  + Sparse Noise

为什么:

先识别Sparse Noise
↓
估计Subspace
↓
在Reduced Image处理
↓
PnP Denoising
↓
重建HSI

必须复现
#

这是你的第二个核心复现。

最终自己能生成:

Noisy HSI

↓

RoSEGS

↓

Denoised HSI

↓

PSNR
SSIM
SAM

十、Paper 8 ★★★★★
#

MMR-HAD
#

Multiscale Mamba Reconstruction Network for Hyperspectral Anomaly Detection

IEEE TGRS,2025。

这是符老师目前官方主页列出的代表论文之一,而且已经进入 Mamba + reconstruction 的路线。深圳大学计算机与软件工程学院

这里重点不是一开始硬复现。

要读懂它的核心问题:

传统重建网络为什么会把 anomaly 也重建出来?

理想情况:

Input
 ↓
Network
 ↓
只重建Background

Input - Background
 ↓
Anomaly

但现实:

Input
 ↓
强大的Network
 ↓
Background + Anomaly都重建

Input - Reconstruction
 ↓
异常残差变小

这叫一种典型的:

over-generalization / anomaly reconstruction

你之后自己的研究,很可能也会围绕这个问题展开。


十一、第四阶段:高光谱去噪的顶会发展
#

现在开始看 CVPR/ICCV。


Paper 9 ★★★★★
#

Non-Local Meets Global: An Integrated Paradigm for Hyperspectral Denoising
#

CVPR 2019

非常推荐。

它提出一个很经典的思想:

Global Spectral Low-Rank

+

Spatial Non-local Similarity

即:

HSI 光谱维有全局低秩性,同时空间上又存在大量相似 patch。

这是后来许多 HSI restoration 方法的重要思想来源。计算机视觉基金会开放获取

这篇和 RoSEGS 很适合对着读。

必须掌握:

  • global spectral correlation;
  • non-local similarity;
  • patch group;
  • reduced image;
  • alternating optimization。

不要求你马上复现。


十二、Paper 10 ★★★★
#

DDS2M
#

Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration

ICCV 2023。

这篇让你认识:

Diffusion 怎么进入 HSI Restoration。

而且非常重要的一点是:

高光谱数据不像 ImageNet 那么多,所以 self-supervised 特别有价值。

DDS2M 就是不依赖额外干净训练数据、从退化 HSI 本身进行恢复。计算机视觉基金会开放获取

重点学:

为什么HSI缺数据?

为什么supervised restoration容易domain shift?

为什么self-supervised适合HSI?

Diffusion 数学暂时不用完全推导。


十三、Paper 11 ★★★★★
#

HIR-Diff
#

Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models

CVPR 2024。

它把:

Low-rank Subspace

+

Diffusion Prior

结合起来做 HSI restoration,而且覆盖 denoising、super-resolution、inpainting。计算机视觉基金会开放获取

这篇我很建议你认真读。

因为你会发现:

传统 model-driven prior

和

modern generative prior

不是互相替代,而是在融合。

这和符老师 DeCNN-AD / RoSEGS 的:

model-driven + deep prior

其实是同一种大思路。


十四、Paper 12 ★★★★
#

Unmixing Diffusion for Self-Supervised Hyperspectral Image Denoising
#

CVPR 2024。

这篇引入一个你以后很值得懂的概念:

Spectral Unmixing
#

基本思想:

一个像素可能不是“纯材料”,而是:

Pixel Spectrum
=
0.6 × Material A
+
0.3 × Material B
+
0.1 × Material C

对应:

Endmember
+
Abundance

这篇把 spectral unmixing 和 diffusion 结合做自监督 HSI denoising。计算机视觉基金会开放获取

暂时不用复现。

但需要知道:

endmember 是什么;

abundance 是什么;

linear mixture model 是什么。


十五、2025 年再看两篇“现在发展到哪了”
#

这两篇属于追前沿。

Paper 13 ★★★
#

VolFormer
#

Explore More Comprehensive Cube Interaction for Hyperspectral Image Restoration and Beyond

CVPR 2025。

它关注 HSI 是真正的三维 cube:

Height × Width × Spectral

而传统 attention 往往只沿某个维度做。

VolFormer 尝试进行更加完整的 volumetric interaction。计算机视觉基金会开放获取

主要学习:

现代 Transformer 怎样建模 spatial-spectral interaction。

不用复现。


Paper 14 ★★★★
#

MP-HSIR
#

A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

ICCV 2025。

这是非常值得关注的新趋势:

不再一个模型只处理一种 noise,而是做 universal restoration。

它引入:

  • spectral prompt;
  • textual prompt;
  • visual prompt;

处理多种 degradation。计算机视觉基金会开放获取

这对你的“复杂噪声工业环境”非常有启发。

以后甚至可以研究:

不同工业相机、不同噪声条件,是否可以一个模型解决?


十六、Foundation Model 方向暂时只读一篇
#

Paper 15 ★★★
#

S2MAE
#

A Spatial-Spectral Pretraining Foundation Model for Spectral Remote Sensing Data

CVPR 2024。

它把 MAE / masked pretraining 思路引入 spectral imagery,使用 spatial-spectral 预训练来学习通用表示。计算机视觉基金会开放获取

你重点知道:

传统:

一个数据集
↓
一个模型

Foundation Model:

大规模HSI
↓
Pretraining
↓
General Representation
↓
不同下游任务

现阶段不建议你往 billion-scale foundation model 做毕业设计。

了解趋势即可。

HyperSIGMA 也可以作为进一步扩展阅读,目前已经发展到专门面向 HSI interpretation 的大规模 foundation model。arXiv


十七、你还应该补一条:工业异常检测
#

这一块很重要。

因为你的最终场景不是纯遥感,而是工业质检。

所以至少看 3 篇 RGB 工业异常检测顶会论文。


Paper 16 ★★★★★
#

PatchCore
#

Towards Total Recall in Industrial Anomaly Detection

CVPR 2022。

这是工业 anomaly detection 很值得读的一篇。

核心:

只训练Normal Samples

↓

提取Patch Feature

↓

Memory Bank

↓

测试Feature离Normal Memory越远

↓

越可能异常

非常符合现实工业:

缺陷样本很少,正常产品很多。 计算机视觉基金会开放获取

你需要思考:

PatchCore 的思想能否迁移到 hyperspectral feature?

这个问题就已经可能产生研究想法。


十八、Paper 17 ★★★★
#

SimpleNet
#

CVPR 2023。

一个很好理解、工程性很强的工业 anomaly detector。

它通过在 feature space 生成 artificial anomaly features,再训练 discriminator。计算机视觉基金会开放获取

特别值得你学的是:

人工合成异常用于训练。

未来你自己的问题完全可能变成:

Clean HSI
↓
Synthetic Noise
+
Synthetic Anomaly
↓
Noise-Robust HAD

十九、Paper 18 ★★★
#

WinCLIP
#

Zero-/Few-Shot Anomaly Classification and Segmentation

CVPR 2023。

这是另一条路线:

CLIP
+
Text Prompt
+
Anomaly Detection

实现 zero-shot / few-shot 工业异常检测。计算机视觉基金会开放获取

暂时不用深入。

但要知道未来可能出现:

HSI + Foundation Model + Zero-Shot Anomaly Detection。


二十、所以你的必读核心其实只有这 12 篇
#

如果压缩到真正必须吃透:

顺序论文阅读程度
0HAD Deep Learning Review泛读
1RX Detector精读+自己实现
2Collaborative Representation HAD精读
3Low-Rank & Sparse HAD精读
4HySime重点理解
5DeCNN-AD精读+复现
6NGMeet精读
7RoSEGS精读+复现
8MMR-HAD精读
9DDS2M重点阅读
10HIR-Diff精读
11PatchCore精读

剩下:

KRX、Diff-Unmix、VolFormer、MP-HSIR、S2MAE、SimpleNet、WinCLIP

作为扩展阅读。

这样不至于把自己淹死。


二十一、你真正需要补的数学
#

不用先把一本数学教材重新学一遍。

遇到论文再补。

第一阶段必须达到以下水平:

线性代数
#

重点:

Vector / Matrix

Matrix Rank

Eigenvalue / Eigenvector

SVD

Orthogonal Basis

Projection

Covariance Matrix

Matrix Norm

特别是:

\[ X=U\Sigma V^T \]

你必须理解 SVD 在干什么。


概率统计
#

掌握:

Gaussian Distribution

Multivariate Gaussian

Mean

Variance

Covariance

Mahalanobis Distance

否则 RX 看不懂。


优化
#

至少认识:

L1 Norm
L2 Norm
L2,1 Norm

Regularization

Gradient Descent

Proximal Operator

Alternating Optimization

不要求现在自己推 ADMM。

看到公式知道它在解决什么即可。


深度学习
#

需要补:

CNN
AutoEncoder
Residual Network

Attention
Transformer

Self-supervised Learning

Diffusion

Mamba

学习顺序一定是:

CNN
↓
AutoEncoder
↓
Attention/Transformer
↓
Diffusion
↓
Mamba

不要反过来。


二十二、你的第一个阶段目标:4 周
#

Week 1:HSI + RX
#

学:

HSI是什么

Spatial / Spectral

Spectrum

Band

Noise

Anomaly

RX

读:

Review + RX。

完成:

Python 自己实现 RX。


Week 2:Representation
#

读:

Collaborative Representation

Low-Rank Sparse HAD

补:

Dictionary

Sparse

Low Rank

SVD

Reconstruction

最终你应该能解释:

为什么“重建不好 = 异常”。


Week 3:Subspace
#

读:

HySime

NGMeet

补:

Subspace

Spectral Low Rank

Non-local Similarity

最终能理解:

为什么几百个 HSI bands 可以压到低维表示。


Week 4:DeCNN-AD
#

精读。

然后:

跑通官方代码。

最终写一份你自己的:

《DeCNN-AD论文阅读与复现笔记》

内容必须包含:

Problem

Motivation

Previous Method

Limitation

Core Idea

Architecture

Loss / Objective

Optimization

Dataset

Metric

Experiments

Ablation

Limitations

Possible Improvements

以后每一篇精读论文都按照这套模板。


二十三、第二阶段目标:再 4 周
#

Week 5~6
#

RoSEGS。

达到:

能讲清 mixed noise;

能看懂 subspace representation;

能运行 RoSEGS;

能生成自己的 simulated noise;

能计算 PSNR / SSIM / SAM。


Week 7
#

MMR-HAD。

重点:

Mamba

Multi-scale

Background Reconstruction

Random Mask

Anomaly Leakage

不用硬复现。


Week 8
#

DDS2M + HIR-Diff。

重点不是数学,而是搞清:

为什么Diffusion能做restoration

supervised vs self-supervised vs unsupervised

model prior vs learned prior

二十四、第三阶段目标:一个非常重要的转折
#

两个月之后,你就不要只是:

“继续读论文”。

你要开始做一个 Literature Matrix。

格式类似:

Paper年份核心假设Background模型NoiseDeep Prior优点缺点
RX1990GaussianStatistical弱×简单背景假设强
CRD2015Local representationDictionary弱×易解释dictionary污染
LRSR2016low-rank+sparseLRR一般×结构合理优化较慢
DeCNN-AD2021LRRDictionary一般CNNPnP……
MMR-HAD2025ReconstructionMamba?Mamba长程建模……
Ours2027??复杂噪声???

最后那一行就是你的论文。

当你慢慢能填写:

“别人都解决了什么,还有什么没解决”

才真正进入科研。


二十五、3 个月后的达标标准
#

我不给你定“读 20 篇论文”这种没意义的 KPI。

真正的目标是:

Level 1:知识
#

看到:

RX
LRR
Sparse
Subspace
PnP
AutoEncoder
Transformer
Diffusion
Mamba

你都知道是什么意思。


Level 2:论文
#

拿到一篇新的 HAD 论文。

一天以内能回答:

它解决什么问题?

前人哪里不好?

它改了什么?

为什么这个改动理论上可能有效?

实验是不是支持它?


Level 3:代码
#

至少自己完成:

RX                   √ 自己实现

DeCNN-AD             √ 复现

RoSEGS               √ 复现

Industrial Dataset   √ 跑通

Level 4:科研
#

能够提出至少 3 个可验证的问题。

例如:

Gaussian / stripe / impulse noise 对不同 HAD 的影响是否一致?

去噪提高 PSNR 是否一定提高 anomaly AUC?

强去噪是否会把弱异常一起删除?

background reconstruction 是否会受到 noise 与 anomaly 双重污染?

这一步比“我想改个 attention”重要得多。


Level 5:进入自己的课题
#

最后才能真正确定:

Noise-Robust Industrial Hyperspectral Anomaly Detection

然后才决定到底是:

Denoise → Detect

还是

Joint Denoising + Detection

还是

Noise-Aware Reconstruction

还是

Anomaly-Preserving Restoration

不要现在就把“双分支网络”当最终创新。

前面我给你的双分支只是一个可行假设。

真正科研的正确顺序应该是:

读论文 → 做实验 → 找问题 → 再决定网络长什么样。

相关文章