应用随机过程-马尔可夫过程的发展和应用资料

马尔可夫链(过程)的发展与应用1. 随机过程发展简述在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化

马尔可夫链(过程)的发展与应用 1. 随机过程发展简述 在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型： 从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化 学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译， 随机过程理论及其应用几乎无所不在。 1907Α.Α. 一些特殊的随机过程早已引起注意，例如年前后，马尔可夫研究过一列有 1923N. 特定相依性的随机变量，后人称之为马尔可夫链（见马尔可夫过程）；又如年维 纳给出了布朗运动的数学定义（后人也称数学上的布朗运动为维纳过程），这种过程至 30 今仍是重要的研究对象。虽然如此，随机过程一般理论的研究通常认为开始于年代。 1931Α.Η.Α.Я. 年，柯尔莫哥洛夫发表了《概率论的解析方法》；三年后，辛钦发表了《平 稳过程的相关理论》。这两篇重要论文为马尔可夫过程与平稳过程奠定了理论基础。稍 P.1953 后，莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。 J.L. 年，杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。 1951() 年伊藤清建立了关于布朗运动的随机微分方程的理论见随机积分，为研究马尔可 夫过程开辟了新的道路；近年来由于鞅论的进展，人们讨论了关于半鞅的随机微分方程； 60 而流形上的随机微分方程的理论，正方兴未艾。年代，法国学派基于马尔可夫过程和 位势理论中的一些思想与结果，在相当大的程度上发展了随机过程的一般理论，包括截 口定理与过程的投影理论等，中国学者在平稳过程、马尔可夫过程、鞅论、极限定理、 随机微分方程等方面也做出了较好的工作。 2. 马尔可夫过程发展 2.1 马尔可夫过程简介 (MarKov Process)X(t) 马尔科夫过程是一个典型的随机过程。设是一随机过程，当过 t0t(t>t0)t0 程在时刻所处的状态为已知时，时刻所处的状态与过程在时刻之前的状态无 关，这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的 时同和状态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫 过程为马尔科夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵 控制。 2.2 马尔可夫过程的发展 2050 世纪年代以前，研究马尔可夫过程的主要工具是微分方程和半群理论（即分析 1936 方法）；年前后就开始探讨马尔可夫过程的轨道性质，直到把微分方程和半群理论的 分析方法同研究轨道性质的概率方法结合运用，才使这方面的研究工作进一步深化，并