马尔可夫决策过程引论【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

马尔可夫决策过程引论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 引论1

1.1 离散时间马尔可夫决策过程模型1

前言1

1.2 报酬过程与准则函数2

1.3 历史6

参考文献7

第2章 有限阶段10

2.1 有限阶段最优方程10

2.2 应用13

2.2.1 序贯投资问题13

2.2.2 秘书选择问题15

2.3 模函数与单调策略16

文献注释22

参考文献22

3.1 折扣最优方程23

3.1.1 无界报酬条件及目标函数的存在性23

第3间 折扣准则23

3.1.2 最优方程26

3.2 (ε)最优策略的性质和结构30

3.2.1 最优策略的性质和结构30

3.2.3 ε最优策略的性质和结构33

3.3 逐次逼近法与策略迭代法35

3.3.1 逐次逼近法35

3.3.2 策略迭代法40

3.3.3 策略迭代--逐次逼近法41

3.4 线性规划法45

3.5 状态逼近法47

3.6 Blackwell最优准则52

3.6.1 罗朗级数展开52

3.6.2 求Blackwell最优策略的策略迭代法54

3.7 非可数决策集56

文献注释58

参考文献59

4.1 模型缩减62

第4章 总报酬准则62

4.2 报酬函数和准则函数的有限性63

4.2.1 报酬函数的有限性64

4.2.2 最优值函数的有限性及最优方程66

4.3 充分条件69

4.4 最优方程与(ε)最优策略72

4.5 逐次逼近法76

参考文献77

文献注释77

第5章 平均准则78

5.1 引言和反例78

5.2 平均准则最优方程82

5.2.1 平均准则最优方程与(ε)最优策略82

5.2.2 常返性条件86

5.2.3 转换为折扣准则88

5.3 多链马尔可夫决策过程89

5.3.1 最优方程系89

5.3.2 典型三重组90

5.4 策略迭代法97

5.5 逐次逼近法101

5.5.1 基于最优方程的逐次逼近法101

5.5.2 基于最优方程系的逐次逼近法104

5.6 线性规划法108

5.7 最优不等式112

文献注释120

参考文献122

6.1.1 模型125

第6章 半马尔可夫决策过程125

6.1 半马尔可夫决策过程模型125

6.1.2 正则性条件126

6.1.3 准则函数129

6.2 转换为离散时间马尔可夫决策过程132

6.2.1 期望折扣总报酬准则132

6.2.2 平均准则134

6.2.3 马尔可夫型半马尔可夫决策过程138

文献注释139

参考文献140

第七章 连续时间马尔可夫决策过程141

7.1 连续时间马尔可夫决策过程模型141

7.2 期望折扣总报酬准则144

7.3 平均准则149

7.4 非平稳期望总报酬准则151

文献注释158

参考文献158

第8章 一般化马尔可夫决策过程160

8.1 状态部分可观察的马尔可夫决策过程160

8.1.1 模型160

8.1.2 折扣准则161

8.1.3 有限阶段166

8.2 约束马尔可夫决策过程169

8.2.1 单约束169

8.2.2 多约束173

8.2.3 哈密尔顿圈177

8.3 多目标马尔可夫决策过程180

8.3.1 折扣准则181

8.3.2 折扣与平均的加权准则186

8.4 摄动马尔可夫决策过程190

8.4.1 摄动的非平稳平均准则马尔可夫决策过程191

8.4.2 摄动的连续时间折扣准则马尔可夫决策过程197

文献注释199

参考文献200

9.1.1 模型206

第9章 随机环境马尔可夫决策过程206

9.1 半马氏环境连续时间马尔可夫决策过程206

9.1.2 最优方程210

9.1.3 弱收敛逼近216

9.1.4 马尔可夫环境和位相型环境218

9.2 半马尔可夫环境半马尔可夫决策过程223

9.2.1 模型223

9.2.2 最优方程226

9.2.3 马尔可夫环境229

9.3 半马尔可夫环境混合马尔可夫决策过程230

9.3.1 模型230

9.3.2 最优方程232

9.3.3 马尔可夫环境237

文献注释238

参考文献239

第10章 在排队/通信系统中的应用240

10.1 排队系统的到达控制240

10.1.1 静态到达控制241

10.1.2 M/M/c系统的动态到达控制242

10.1.3 一般动态到达控制243

10.2 排队系统服务控制246

10.3 排队网络控制250

10.3.1 到达控制250

10.3.2 服务控制250

10.3.3 路径控制252

10.4 通信网络控制253

参考文献255

文献注释255

第11章 在其他方面的应用257

11.1 生产/存贮系统最优控制257

11.2 系统最优更换/维修259

11.2.1 模型259

11.2.2 折扣准则262

11.2.3 平均目标264

11.2.4 无冲击265

11.3 质量控制266

11.4 目标的最优搜索268

11.4.1 固定目标的最优搜索268

11.4.2 活动目标的最优搜索269

11.5 柔性制造系统最优路径控制270

11.5.1 一类流水线的最优动态负荷分配270

11.5.2 动态路径调度271

文献注释272

参考文献272