李元章、何春雄著的《马尔科夫过程与实用随机模型》内容分为9章。第1章简要叙述概率论与数理统计的基本概念和方法，并在简单介绍随机过程基本概念的基础上，总结泊松（Poisson）过程和马尔科夫（Markov）过程的基本性质。第2章介绍生成随机数的基本原理和方法。第3章介绍生成某种具体分布随机数的方法。第4章介绍排队论模型，它是一种重要而常见的随机服务系统。第5章介绍库存理论，主要介绍生产库存模型和流通库存模型。第6章介绍排队网络模型，主要介绍开放Jackson网络系统和封闭Jackson网络系统，并简要介绍非Jackson网络系统。第7章介绍更新与维修，主要介绍老化更换、维修保养时间的选择和成批更新优化。第8章介绍非经典排队论模型，主要讨论批量到达的服务系统和相型分布模型。第9章介绍马尔科夫决策过程，包括该类过程的定义以及在各种优化准则下优化策略的具体算法。

李元章、何春雄著的《马尔科夫过程与实用随机模型》介绍针对随时间变化的随机现象的数学建模方法，主要介绍用随机过程的基本原理对实际问题建立数学模型，并借助随机模拟和SAS软件对模型求解的基本原理和方法。

本书适于欲了解概率论与数理统计及随机过程基础知识和具有使用计算机软件的基本经验的读者阅读。可作为概率论与数理统计专业的研究生或数学专业高年级本科生的选修课教材，也可供用统计方法从事社会科学、自然科学研究的人员参考。

1 预备知识

 1.1 概率论的基本概念

 1.2 数理统计的基本概念

 1.3 泊松过程及性质

 1.4 马尔科夫链及性质

2 蒙特—卡罗数字模拟方法

 2.1 蒙特—卡罗方法的基本概念——人工模拟

 2.2 随机数与伪随机数

 2.3 乘法同余随机数生成器

 2.4 循环同余随机数生成器

 2.5 复合随机数生成器

 2.6 随机数的检验

 习题2

3 生成随机变元

 3.1 反函数方法

 3.2 生成离散分布随机数

 3.3 生成正态分布随机数

 习题3

4 排队论模型

 4.1 排队论模型的基本要素

 4.2 单一服务器系统

 4.3 排队系统稳定性

 4.4 有限容量排队系统

 4.5 多个服务器的服务系统

 4.6 系统的近似估计

 4.7 排队系统模拟

 习题4

5 库存理论

 5.1 小贩问题

 5.2 周期进货问题

 5.3 起始价问题

 5.4 多周期进货问题

 习题5

6 排队网络系统

 6.1 开放Jackson网络系统

 6.2 封闭Jackson网络系统

 6.3 非Jackson网络系统

 习题6

7 更新与维修

 7.1 老化更换

 7.2 维修保养时间选择

 7.3 成批更新优化

 习题7

8 非经典排队论模型

 8.1 斐波纳契数列与差分方程

 8.2 批量到达的服务系统

 8.3 相型分布模型

 习题8

9 马尔科夫决策过程

 9.1 马尔科夫决策过程的定义

 9.2 稳定性策略

 9.3 折扣期望平均算法

 9.4 逐步优化策略折扣运算

 9.5 折扣准则的线性算法

 9.6 稳定平均指标算法

 9.7 策略选择平均指标算法

 9.8 平均指标的线性算法

 9.9 优化自动终止程序

 习题9

参考文献