一个爱好算法的数学人🎈🎈🎈
正大杯省二，数学建模，Acm程序设计大赛多个校级奖项🧑‍🎓
大三学生，国家励志奖学金，一等奖学金获奖者。🕵️‍♂️
业余之外还喜欢锻炼身体，拿过多项校级运动会奖项。🛹
现在正在准备蓝桥杯🦸‍♂️🦸‍♂️🦸‍♂️

前言

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。其中马尔科夫过程在预测模型上面的作用很大，校园图书馆管理人员根据当前学生们借阅图书的情况，需要用到马氏链来进行预测，股票行情的涨跌幅，状态分类。以及农业生态环境上面的改善，马氏链都做出了贡献。
本文主要从马尔可夫理论模型出发，通过分析小案例–赌徒何时才会收手，深入地了解离散时间序列的马尔可夫过程（马氏链）在我们生活当中的应用，在文章的核心部分，还会运用编程语言来实现预测一些有趣的模型，最后总结出马氏链的优缺点，帮助我们同学们更好的学习马氏链。

一、马尔可夫链是什么？

马尔科夫链：马尔可夫链简称为马氏链，是马尔可夫过程中离散时间的分支。
马尔科夫链下一个时间为一种状态的概率只和紧邻的上一个状态有关，即将来的状态发生的概率只依赖于现在的状态，跟过去的状态相互独立。

二、时齐马氏链的转移矩阵

1.一步转移矩阵

从当前时间的一个状态转移到下一个时间的另外一个状态，假设有所有的状态有n个，那么从当前时刻到下一个时刻就会有n*n种情况，我们把这样的数据用矩阵的形式存储起来，就是本文的一步转移矩阵。如下

其中的pij为上一个时刻为状态为i到下一个时刻状态为j的概率，显然有这些性质成立。这些性质对于后面的运算都会有帮助。

2.多步转移矩阵

从当前时间的一个状态转移到后m一个时间的另外一个状态，假设有所有的状态有n个，那么从当前时刻到当前时刻的后很m个时刻也会有n*n种情况，我们把这样的数据用矩阵的形式存储起来，就是多步转移矩阵。

多步转移矩阵一般都是需要根据一步转移矩阵得出的，比如二步转移矩阵就是一步矩阵乘以一步矩阵。以此类推，并且得到的矩阵依然满足上面的性质

为什么要用到多步转移矩阵？
因为我们在解决问题的过程中，我们需要根据今天的农作物的丰收情况，去预测未来很多天，几个月之后的收获情况。并且因为我们知道了多步转移矩阵从一个状态i到之后的n天之后的状态j，这个的概率跟这n天内状态的改变无关，所以运用多步转移矩阵会方便预测目标发生的概率。

三、时齐马氏链实际应用

1.题目一

（赌徒的破产或称带吸收壁的随机游动）系统的状态是0~n，反映赌博期间拥有的金钱数额，当他输光或拥有钱数为n时，赌博停止，否则他将持续赌博。每次以概率p赢得1，以概率q = 1-p输掉1。
注：本案例中n为3，p = q = 0.5。赌博者从2元赌金开始赌博，求他经过四次之后输光的概率。

本案例不仅要教会大家会计算这个过程，还准备了简单的代码帮助大家去预测这个赌徒到底能玩到什么样的程度。

理论解答

解：这个概率为

一步转移矩阵为：

利用矩阵乘法，得

故他经过四次赌博之后输光的概率为

实验测试

原理：高等代数的两个维数相同的矩阵相乘的法则
如果暂时看不懂，文章末尾会教大家如何使用这段代码的。

#include<iostream>
using namespace std;
double b[100][100];//设置为全局数组。

double markov(double a[100][100], double c[100][100], int n) {
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			for (int k = 0; k <= n; k++) {
				c[i][j] += b[i][k] * a[k][j];
			}
		}
	}
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			b[i][j] = c[i][j];
		}
	}
	return 1;
}

int main() {
	double a[100][100] = {0};//设置为局部矩阵
	double c[100][100] = {0};
	int n;
	double p;
	int s,k;
	cout << "请输入n(赌徒输光或者拥有钱数为n的时候就结束)";
	cin >> n;
	cout << "请输入概率p（为赌徒以概率p赢得1元） : ";
	cin >> p;
	cout << "请输入s（s为赌徒初始的赌金）";
	cin >> s;
	cout << "请输入k（为你想看到他k次就输光）";
	cin >> k;
	//初始化一个初值为0的矩阵
	//初始化一步转移矩阵
	a[0][0] = 1, a[n][n] = 1;
	for (int i = 1; i < n; i++) {
		a[i][i - 1] = p;
		a[i][i + 1] = 1 - p;
	}
	//初始化迭代矩阵
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			b[i][j] = a[i][j];
		}
	}
	//打印输出
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			printf("%.6f  ", a[i][j]);
		}
		cout << endl;
	}
	cout << endl;
	//迭代计算,k为赌徒赌的次数
	while(k>1){
		markov( a, c,n);
		for (int i = 0; i <= n; i++) {
			for (int j = 0; j <= n; j++) {
				c[i][j] = 0;
			}
		}
		k--;
	}
	//打印结果矩阵
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			printf("%.6f  ", b[i][j]);
		}
		cout << endl;
	}
	cout << b[s][0];
}

图一
当赌徒用两元开始赌，输一局和赢一局在同等的条件下，在赌到第四局就全部输掉的概率竟然会有0.3125

图二
可以看到当赌徒赢得一元的概率降低的时候，再次用两元开始赌博，赌到第四局全部输掉的概率竟然会上升的这么快。

图三
可以看到当赌徒赢得一元的概率提升的时候，再次用两元开始赌博，赌到第四局全部输掉的概率竟然会跌落到0.1984

图四
可以看到当赌徒玩到3就结束，从三元开始赌，赢和输的概率一样的前提下，经过四次之后，输掉全部的概率竟然是0。所以是不是多下注就一定不会输掉全部呢？？？
欲知后事如何，请听小李分解：
再次输入，这次我们增大赌博的次数，看看第五次全部输掉的概率是多少？（其他已知的条件当然就不变了）

图五
我。。。这怎么又是0？我们换个次数，上次是5，上上次是4，那么这次来个3。

图六
聪明的你，不知道发现没有，我们的矩阵的最后一行的第一个一定都会是0，所以你会了赌博的技巧了吗？

发现和实际检测的效果是一样的。注意：代码测试的数据只能的n的范围智能在100以内，超出界限，会溢出。

操作使用教程

矩阵维数的调整

经过我的内存测试，发现当出现n =100的时候就会出现下面的错误

所以矩阵的维数最大智能是99维的，一旦等于100维程序就读取不到数据了

```cpp
double b[100][100];//设置为全局数组。可以修改这里来扩展矩阵的维数

double markov(double a[100][100], double c[100][100], int n) {
	for (int i = 0; i <= n; i++) {
		for (int j = 0; j <= n; j++) {
			for (int k = 0; k <= n; k++) {
				c[i][j] += b[i][k] * a[k][j];
			}
		}
	}

数据的输入

	cout << "请输入n(赌徒输光或者拥有钱数为n的时候就结束)";
	cin >> n;
	cout << "请输入概率p（为赌徒以概率p赢得1元） : ";
	cin >> p;
	cout << "请输入s（s为赌徒初始的赌金）";
	cin >> s;
	cout << "请输入k（为你想看到他k次就输光）";
	cin >> k;

总结

以上就是马氏链的一些入门知识，我们先从理论出发，讲解了马氏链跟我们的生活息息相关，再接着我们讲解马氏链的相关定义，什么是马尔科夫过程，及其分类。更有趣的重点是马氏链的转移矩阵，一步转移矩阵和多步转移矩阵，他们之间的相关性。最后我们通过相关的案例，赌徒何时才会收手的问题结合C++语言，以数据的方式，运用一步转移矩阵，多步转移矩阵的性质，来研究当n，p，k在不断变化的过程中，赌徒的心态的变化。
我是小李，如果觉得这篇文章有用，那就点个赞再走呗！！❤️❤️❤️