Solving Inverse Problems With Deep_Neural Networks – Robustness Included_
1 动机与研究内容
- 最近工作发现深度神经网络对于图像重构的不稳定(instabilities)，以及分类中的对抗攻击，在输入域发生微小改变时就会造成输出非常大的改变。
- 本篇论文对深度神经网络解决欠定(underdetermined)的逆问题的鲁棒性(robustness)进行了研究。研究内容包括用Guassian measurement的压感(compressed sening)以及通过Founier and Radon measurement的图像恢复，
- 实验结果表示标准的端到端(end-to-end)的网络结构不仅对噪音有弹性，而且对对抗扰动也有弹性(resilient)。
2 问题背景
- 通过间接的方法实现信号重构(signal reconstruction)在各种应用中具有重要作用，这样的任务呗称作逆问题
（1）
- 数据的获取通常costly，所以undetermined regime(
m
≪
N
m ll N
m≪N)受到了广泛的研究，这样的重构问题叫做ill-posed inverse problem - compressed sensing已经证明解决重构问题有着准确性以及鲁棒性的优点，该方法有一个映射Rec
R
m
→
R
N
mathbb{R}^{m} rightarrow mathbb{R}^{N}
Rm→RN，使得（1）满足一个错误边界：
∥
x
0
−
Rec
(
y
)
∥
2
≤
C
⋅
η
left|boldsymbol{x}_{0}-operatorname{Rec}(boldsymbol{y})right|_{2} leq C cdot eta
∥x0−Rec(y)∥2≤C⋅η（2）
但是在real world，受到计算cost、人工调参、以及测量数据与真实数据的mismatch
- 现在神经网络的方法来实现重构，利用有监督的样本训练实现重构，需要大量样本训练。由于不能满足（2）的理论保证，其准确性和抗测量噪声的鲁棒性的经验验证是至关重要的
- 研究robust against noise具有重要意义。
3 本文方法
３.１ Neural Network Architectures
UNet：
R
m
→
R
N
,
y
↦
[
U
∘
A
†
]
(
y
)
mathbb{R}^{m} rightarrow mathbb{R}^{N}, boldsymbol{y} mapstoleft[mathcal{U} circ mathcal{A}^{dagger}right](boldsymbol{y})
Rm→RN,y↦[U∘A†](y)
-
TiraFL:
R
m
→
R
N
,
y
↦
[
T
∘
L
]
(
y
)
text { TiraFL: } mathbb{R}^{m} rightarrow mathbb{R}^{N}, boldsymbol{y} mapsto[mathcal{T} circ mathcal{L}](boldsymbol{y})
TiraFL: Rm→RN,y↦[T∘L](y) -
ItNet:
R
m
→
R
N
,
y
↦
[
(
◯
k
=
1
K
[
D
C
λ
k
,
y
,
A
∘
U
]
)
∘
A
†
]
(
y
)
text { ItNet: } mathbb{R}^{m} rightarrow mathbb{R}^{N}, boldsymbol{y} mapstoleft[left(bigcirc_{k=1}^{K}left[mathcal{D} mathcal{C}_{lambda_{k}, boldsymbol{y}, mathcal{A}} circ mathcal{U}right]right) circ mathcal{A}^{dagger}right](boldsymbol{y})
ItNet: Rm→RN,y↦[(◯k=1K[DCλk,y,A∘U])∘A†](y)
其中，
D
C
λ
k
,
y
,
A
:
R
N
→
R
N
,
x
↦
x
−
λ
k
⋅
A
∗
(
A
x
−
y
)
mathcal{D} mathcal{C}_{lambda_{k}, boldsymbol{y}, mathcal{A}}: mathbb{R}^{N} rightarrow mathbb{R}^{N}, boldsymbol{x} mapsto boldsymbol{x}-lambda_{k} cdot mathcal{A}^{*}(mathcal{A} boldsymbol{x}-boldsymbol{y})
DCλk,y,A:RN→RN,x↦x−λk⋅A∗(Ax−y)
３.２ Total-Variation Minimization
Total variation (TV) minimization是一种求解信号和图像重构任务的方法，解决（１）的以下列的形式：
T
V
[
η
]
:
R
m
→
R
N
y
↦
argmin
x
∈
R
N
∥
∇
x
∥
1
s.t.
∥
A
x
−
y
∥
2
≤
η
begin{aligned} mathrm{TV}[eta]: mathbb{R}^{m} & rightarrow mathbb{R}^{N} \ boldsymbol{y} & mapsto underset{boldsymbol{x} in mathbb{R}^{N}}{operatorname{argmin}}|nabla boldsymbol{x}|_{1} quad text { s.t. } quad|mathcal{A} boldsymbol{x}-boldsymbol{y}|_{2} leq eta end{aligned}
TV[η]:Rmy→RN↦x∈RNargmin∥∇x∥1 s.t. ∥Ax−y∥2≤η
３.３ Adversarial Noise
e
a
d
v
=
argmax
e
∈
R
m
∥
Rec
(
y
0
+
e
)
−
x
0
∥
2
s.t.
∥
e
∥
2
≤
η
boldsymbol{e}_{mathrm{adv}}=underset{boldsymbol{e} in mathbb{R}^{m}}{operatorname{argmax}}left|operatorname{Rec}left(boldsymbol{y}_{0}+boldsymbol{e}right)-boldsymbol{x}_{0}right|_{2} quad text { s.t. } quad|boldsymbol{e}|_{2} leq eta
eadv=e∈Rmargmax∥Rec(y0+e)−x0∥2 s.t. ∥e∥2≤η
4 总结
- 所有训练的NNs对噪音数据都具有明显的鲁棒性
- 提高在迭代策略中数据的一致性(consistency)可能提高准确性和鲁棒性
- 不应该仅仅使用无噪声的数据进行训练，论文中也揭示了仅仅简单的添加白高斯噪音也是一种有效策略（一种正则化的方法）
- 核心：分类任务中对抗性例子的存在不会自然地影响到基于NN的反问题求解器。这样的重建方案不仅可以取代传统的方法，成为最先进的，但他们也显示了类似程度的鲁棒性
5 相关工作
- 现在许多现有文章是关注于分类和相关任务，少数文献研究明确解决了逆问题中的学习求解器的对抗鲁棒性
- Huang等首次将对抗性攻击迁移到基于神经网络的重构方法，他们最初的发现局限于有限角度计算机断层摄影的特定问题，在特定问题中图像的某些部分被证明是不可能有robust recovery