关于马尔可夫过程的一些学习笔记
①马尔可夫性质：已知“现在”的情况下，“未来”与“过去”彼此独立（N+1仅与N有关，与N以前的所有都无关）
②马尔可夫过程：具有马尔可夫性质的随机过程
③马尔可夫链：马尔可夫过程的原始模型，其任意时刻的状态是有限个可能状态之一，某时刻状态一旦确定后续状态与此前状态无关。
④隐马尔可夫过程：双重随机过程，状态和状态间随机，状态和输出间亦随机，输出仅与当前状态有关
⑤马尔可夫决策过程：考虑动作，系统下一时刻的状态与当前时刻的状态和当前时刻采取的动作有关
⑥部分可观察马尔可夫决策过程：环境状态部分可知，（需要借助传感器感知外界环境or与其他Agent进行交互）
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码