北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
随机过程
马尔可夫链 应用分析举例
例1：赌徒输光问题：
两个赌徒进行一系列赌博，在每一局赌博中甲获胜的概率是p，乙获胜的概率是1-p，每一局后，负者要付一元给胜者。如果起始时甲有资本a元，乙有资本b元，a+b=c，两人赌博直到甲输光或乙输光为止。
求甲输光的概率。 解：
第n时刻甲的资本为ξ，状态空间是I：{0,1,2,Lc}，c=a+b,状态转换图为：
a≥1,b≥1。
这个问题实际是带有两个吸收壁的随机游动问题
问题是从a点出发，到达0状态的概率，即被0状态吸收的概率。
设0<j<c，uj为质点从j点出发到0状态的概率。由全概率公式有
uj=puj+1+quj 1
边界条件为：
u0=1uc=0
构造：
(p+q)uj=puj+1+quj 1p(uj uj+1)=q(uj 1 uj) (uj uj+1)=
定义
q
(uj 1 uj)p
q
=r， p
(uj uj+1)=dj,(0≤j<c),
相应的差分方程是：
你可能喜欢
- 应用随机过程
- 马尔可夫过程
- 随机过程试题答案
- 马尔可夫链
- 马尔科夫决策
- 概率论数理统计公式
- 转移概率阵(应用随机过程,陈萍)1页
- 推论3.2.1证明(应用随机过程,陈萍)1页
- 马氏过程遍历性(应用随机过程,陈萍)3页
- 例3.2.1(续)解(应用随机过程,陈萍)2页
- 例3.1.4证明(应用随机过程,陈萍)1页
- 例3.1.3证明(应用随机过程,陈萍)1页
- 马尔可夫过程在生产运营项目实施中的应用研究_赖芨宇5页
- 基于马尔可夫过程的DCS基本控制单元可靠性分析4页
- 基于连续时间马尔可夫过程的证券投资策略4页
- 图˙谱˙马尔可夫过程˙聚类结构4页
- 马尔可夫过程及其应用4页
- 马尔可夫过程3页
- 学期数理统计与随机过程(研)试题(答案)10页
- 中国石油大学2010-2011(2) 概率论与随机过程A期末考试试题及答案7页
- 中国石油大学2012-2013(2) 概率论与随机过程-A期末考试试题及答案7页
- 2010-2011概率论与随机过程考试试题标准答案B2页
- 2010-2011概率论与随机过程考试试题标准答案A2页
- 2010-2011B概率论与随机过程考试试题标准答案2页
- 基于马尔可夫链的服装销售预测模型的研究4页
- 梅雨强度的马尔可夫链预测7页
- 股票成交量的马尔可夫链分析与预测2页
- 股票成交量的马尔可夫链分析与预测2页
- 基于马尔可夫链的企业经济预测与决策6页
- 马尔可夫链6页
