Systems biology informed deep learning for inferring parameters and hidden dynamics
- 作者：Alireza Yazdani1, Lu Lu1, Maziar Raissi2, George Em Karniadakis1
- 单位：
- Division of Applied Mathematics, Brown University, Providence, RI 02912, USA,
- Department of Applied Mathematics, University of Colorado, Boulder, CO 80309, USA
1 动机：
- 在系统集生物反应的数学模型可由带未知参数的ODE描述，使用reliable and robust的算法进行参数推断以及解的预测是系统生物学中的关键核心
2 主要研究内容：
- 提出a new systems-biology-informed deep learning algorithm，该算法能够融合ODE到神经网络中
- 使用少量分散和噪声测量，能够对未观察的species、外部的动力学以及未知模型参数的dynamics进行推断
- 在三种不同的benchmark问题上进行测试
3 问题与方法
3.1 问题定义
KaTeX parse error: {equation} can be used only in display mode. (1)
其中，
x
=
(
x
1
,
x
2
,
…
,
x
S
)
mathbf{x}=left(x_{1}, x_{2}, ldots, x_{S}right)
x=(x1,x2,…,xS)是
S
S
S，
p
=
(
p
1
,
p
2
,
…
,
p
K
)
mathbf{p}=left(p_{1}, p_{2}, ldots, p_{K}right)
p=(p1,p2,…,pK)是模型的
K
K
K个参数，需要被估计。一旦
p
p
p确定，该系统的ODE就能确定。
y
mathbf{y}
y是
M
M
M个测量信号（带有高斯噪音的数据）。
h
mathbf{h}
h由实验设计确定，可以为any function，在这假设为线性函数
(
y
1
y
2
⋯
y
M
)
=
(
x
s
1
x
s
2
⋯
x
s
M
)
+
(
ϵ
s
1
ϵ
s
2
⋯
ϵ
s
M
)
left(begin{array}{c} y_{1} \ y_{2} \ cdots \ y_{M} end{array}right)=left(begin{array}{c} x_{s_{1}} \ x_{s_{2}} \ cdots \ x_{s_{M}} end{array}right)+left(begin{array}{c} epsilon_{s_{1}} \ epsilon_{s_{2}} \ cdots \ epsilon_{s_{M}} end{array}right)
⎝
⎛y1y2⋯yM⎠
⎞=⎝
⎛xs1xs2⋯xsM⎠
⎞+⎝
⎛ϵs1ϵs2⋯ϵsM⎠
⎞（2）
3.2 Systems-informed neural networks and parameter inference
KaTeX parse error: {equation} can be used only in display mode.（3）
L
d
a
t
a
(
θ
)
=
∑
m
=
1
M
w
m
d
a
t
a
L
m
d
a
t
a
=
∑
m
=
1
M
w
m
d
a
t
a
[
1
N
d
a
t
a
∑
n
=
1
N
d
a
t
a
(
y
m
(
t
n
)
−
x
^
s
m
(
t
n
;
θ
)
)
2
]
mathcal{L}^{d a t a}(boldsymbol{theta})=sum_{m=1}^{M} w_{m}^{d a t a} mathcal{L}_{m}^{d a t a}=sum_{m=1}^{M} w_{m}^{d a t a}left[frac{1}{N^{d a t a}} sum_{n=1}^{N^{d a t a}}left(y_{m}left(t_{n}right)-hat{x}_{s_{m}}left(t_{n} ; boldsymbol{theta}right)right)^{2}right]
Ldata(θ)=∑m=1MwmdataLmdata=∑m=1Mwmdata[Ndata1∑n=1Ndata(ym(tn)−x^sm(tn;θ))2]（4）
L
o
d
e
(
θ
,
p
)
=
∑
s
=
1
S
w
s
o
d
e
L
s
o
d
e
=
∑
s
=
1
S
w
s
o
d
e
[
1
N
o
d
e
∑
n
=
1
N
o
d
e
(
d
x
^
s
d
t
∣
τ
n
−
f
s
(
x
^
s
(
τ
n
;
θ
)
,
τ
n
;
p
)
)
2
]
mathcal{L}^{o d e}(boldsymbol{theta}, mathbf{p})=sum_{s=1}^{S} w_{s}^{o d e} mathcal{L}_{s}^{o d e}=sum_{s=1}^{S} w_{s}^{o d e}left[frac{1}{N^{o d e}} sum_{n=1}^{N^{o d e}}left(left.frac{d hat{x}_{s}}{d t}right|_{tau_{n}}-f_{s}left(hat{x}_{s}left(tau_{n} ; boldsymbol{theta}right), tau_{n} ; mathbf{p}right)right)^{2}right]
Lode(θ,p)=∑s=1SwsodeLsode=∑s=1Swsode[Node1∑n=1Node(dtdx^s∣
∣τn−fs(x^s(τn;θ),τn;p))2]（5）
L
a
u
x
(
θ
)
=
∑
s
=
1
S
w
s
a
u
x
L
s
a
u
x
=
∑
s
=
1
S
w
s
a
u
x
(
x
s
(
T
0
)
−
x
^
s
(
T
0
;
θ
)
)
2
+
(
x
s
(
T
1
)
−
x
^
s
(
T
1
;
θ
)
)
2
2
mathcal{L}^{a u x}(boldsymbol{theta})=sum_{s=1}^{S} w_{s}^{a u x} mathcal{L}_{s}^{a u x}=sum_{s=1}^{S} w_{s}^{a u x} frac{left(x_{s}left(T_{0}right)-hat{x}_{s}left(T_{0} ; boldsymbol{theta}right)right)^{2}+left(x_{s}left(T_{1}right)-hat{x}_{s}left(T_{1} ; boldsymbol{theta}right)right)^{2}}{2}
Laux(θ)=∑s=1SwsauxLsaux=∑s=1Swsaux2(xs(T0)−x^s(T0;θ))2+(xs(T1)−x^s(T1;θ))2（6）
前两项为data loss、ODE loss，最后一项为auxiliary loss，是系统的额外信息，包含两个时间点
T
0
T_{0}
T0和
T
1
T_{1}
T1，第一项与第三项属于监督loss，第二项为无监督loss。
- 在（4-6）中系数
M
+
2
S
M+2S
M+2S个损失项，在这篇论文中，手动选择权重系数，使得加权的损失在网络训练中保持相同的数量级（待理解，为什么要一样数据集，是有什么特性吗） -
对于第一项
t
1
,
t
2
,
…
,
t
N
d
a
t
a
t_{1}, t_{2}, ldots, t_{N^{d a t a}}
t1,t2,…,tNdata，随机采时间点；对于ODE loss中的time instantτ
1
,
τ
2
,
…
,
τ
N
o
d
e
tau_{1}, tau_{2}, ldots, tau_{N^{o d} e}
τ1,τ2,…,τNode在一个等距离的网格中选择；第****三项T
0
T_{0}
T0为初值点，T
1
T_{1}
T1可以在训练时间链上选择任意时间（但是不要离T
0
T_{0}
T0太近）
4 Analysis of system’s identifiability
- 在systems identification problems中，主要有两类identifiability，structural和practical。结构不可识别性由于
y
y
y解的冗余参数化，这是由于观测数据y
y
y到x
x
x的insufficient的映射h
mathbf{h}
h由于实验数据被忽视，出现了practical非识别性 - 结构上的可识别参数也可能是practical非识别性。practical非识别性与测量数据数量与质量有关，在一个无限的置信区间显示。
步骤
- 先考虑监督的loss(第一项和第三项)进行训练，使得网络能够快速拟合观察数据
- 然后再用三种损失进行训练
通过实验发现，这种两阶段训练策略加快了网络的收敛速度。
5 实验
5.1 yeast glycolysis
- 添加的ODE loss能防止网络过拟合
- Standard deviation是基于FIM得到，结构/实际可识别性分析或bootstrapping方法获得参数置信区间，这里使用的是FIM
6 总结
- 利用网络训练拟合模型参数
- 提出了system-biology -informed 神经算法，能够可靠而准确的推断hidden dynamics
- 能够用很少的观测数据对dynamics和模型参数进行推断