暴雨作为致灾因子，作用到承灾体会引发洪水、内涝、地质灾害、溃坝等突发事件，进而造成经济损失和人员伤亡，严重威胁经济社会发展[1]。联合国发布的《气候灾害造成的人类损失报告》指出，1995至2015年，所有灾害影响中，暴雨及其造成的灾害的影响超过了50%[2]。

近年来，国内各地区遭遇暴雨灾害的情况时有发生。特别是，2020年中国多地遭受暴雨袭击，南方地区遭遇1998年以来最严重汛情。6月上中旬江南华南等地连续出现暴雨，引发洪涝和地质灾害，造成广东等8省区54人死亡，直接经济损失210.6亿元。6月下旬，重庆、四川、贵州至长江中下游地区遭遇两次强降雨过程，引发洪涝灾害，造成597.8万人受灾，36人死亡，直接经济损失113.7亿元。7月，长江淮河流域发生特大暴雨引发严重洪涝灾害，3 417.3万人受灾，99人死亡，直接经济损失1 322亿元。8月中旬，川渝及陕、甘、滇地区再次出现强降雨过程，引发长江上游发生特大洪水，三峡水库出现建库以来最大入库流量，多地暴发山洪和泥石流，852.3万人受灾，58人死亡，直接经济损失609.3亿元[3]。可以看出，暴雨及其引发的灾害是人类社会面临的重大自然灾害之一，已成为研究人员面临的重大科学问题和研究的热点。

Horton、Landsberg和Atkinson研究了大城市地区对暴雨模式的潜在影响[4-6]。Changnon等开展了一项广泛的大都市气象实验(metropolitan meteorological experiment，METROMEX)研究，表明城市效应导致夏季降水增加，且城市降水异常和顺风方向降水异常的面积范围及幅度与城市面积大小有关[7-11]。Shepherd总结了METROMEX相关的研究结果，还介绍了对城市降水变异性的观测研究以及对城市降水的建模研究[12]。

国内学者唐尧等利用“高分+应急监测”的模式，对暴雨及其造成的泥石流滑坡地质灾害和洪水等次生灾害进行监测，对灾后的损失进行分析，提出了减灾措施实现灾害链断链[13]。游海疆研究了在暴雨灾害应对中，发挥公众“微参与”的作用，主要收集公众在微博上的实时信息，监测灾情和公众情绪，了解社会关注热点和需求，实现灾害的共治[14]。殷杰以某典型城市中心区为例，开展不同降雨强度下的道路积水情景模拟，研究了“110”和“120”两类公共服务应急响应的可达率[15]。汪云等对城市暴雨灾害整个过程机理进行研究，提出暴雨灾害包括潜伏期、迟缓期、加速期、稳定期、衰退期等发展阶段，总体遵循发生到消亡的过程[16]。杨灵娟利用社会核算矩阵(social accounting matrix, SAM)模型评估暴雨灾害造成的间接经济损失，为应急管理部门制定防灾减灾规划、做好有针对性的灾害应急和恢复重建提供支撑[17]。杨喆通过分析2007年7月重庆暴雨，评估了暴雨灾害造成的经济损失，提出了相关对策[18]。李佳以天津市为研究对象，运用美国水土保持局(Soil Conservation Service, SCS)洪水模型和解析法编制而成的天津市暴雨强度计算公式，分析得出天津市暴雨内涝产生原因，并运用暴雨内涝仿真模型对不同时段的积水进行估算，提出天津市暴雨灾害的应对策略[19]。胡文燕、赖雯洁、李梦雅等以暴雨引发城市内涝和交通拥堵的情景为基础，选取芝加哥雨型设计暴雨过程，研究了暴雨内涝下急救医疗服务等应急服务的可达性和城市通勤出行特征等[20-23]。

综上所述，现有大多数研究集中在暴雨灾害机理分析、数值模拟、预测预警、损失评估等方面，或者针对暴雨造成的某一种特定灾害开展其致灾原理和应急决策等方面的研究，而没有从全局去考虑暴雨灾害带来的综合性问题，没有从暴雨的时空演化去研究动态应急决策。本文从孕灾环境对暴雨灾害致灾因子、承灾体等要素的影响出发，分析暴雨灾害情景时空演化的路径，运用Markov决策过程，得出采取不同措施对演化路径和造成后果的影响，在此基础上提出在最小损失前提下的最优应急决策策略。

一个不确定的序列决策过程可以描述为：在每个决策时刻，系统状态为决策者提供选取行动的全部信息。选取行动后，有两个反馈结果，即决策者获得既得报酬(reward, r)以及系统状态按照一定概率在下一个决策时刻转移到一个可能的新的状态(转移概率)；而当时状态和决策者选取的行动决定了报酬和转移概率。随着时间的推移，决策者可以得到一个报酬序列。在每个决策时刻，系统可能的每个状态在决策过程中都有可能出现，因此针对每个可能的状态，决策者要选取与该状态相对应的行动。如果决策者事先考虑得比较全面，就可以做到动态地随着过程的发展采取适当的决策行为，达到动态调控系统的目的[24]。

突发事件特别是非常规突发事件或者巨灾的应急决策过程，是一个多阶段决策过程，具有典型的序列决策特征。基于情景的突发事件应对过程中，每一个情景是一个决策状态，从一个情景演化到下一个情景受事件自然演化和孕灾环境等因素的影响，而实施应急响应措施会改变情景的演化方向，同时还会得到不同的后果。如果事先将一个事件情景演化的全过程表达出来，而且情景状态考虑得比较全面，那么随着情景的演化就可以采取适当的应急响应措施，来动态调控灾害发展的方向。

Markov决策过程模型是经典的序列决策模型，在最优决策、水资源调度等领域应用广泛[25-26]，主要包括决策周期、状态、行动、转移概率和报酬[24]。

1) 选取行动的时间点称为决策时刻，所有决策时刻集为T，两个相邻的决策时刻之间的时间段称为决策周期。

2) 每个决策时刻对系统的描述就是状态，系统的所有可能状态集为S，称为状态空间。

3) 在任一个决策时刻，决策者观察到的状态i∈S，在状态i的可用行动集A(i)中选取行动a。A(i)称为行动空间。

4) 任意一个决策时刻，在状态i采取行动a∈A(i)之后，有两个结果：决策者获得报酬r(i, a)；下一个决策时刻系统所处的状态由概率分布p(·|i, a) 决定。一般情况下，报酬还依赖于下一个决策时刻的状态j，即r(i, a, j)，那么行动a的期望报酬r(i, a)为：$ r(i, a) = \sum\limits_{j \in S} r (i, a, j)p(j\mid i, a)$，其中$ \sum\limits_{j \in S} {p(j\mid i, a) = 1} $。

{T, S, A(i), p(·|i, a), r(i, a)}称为一个Markov决策过程。最优策略的获取方法如下：

设S(t)表示系统状态，状态序列{S(t); t∈T}为一随机过程。设Pij为状态i转移到j的一步转移概率；Vn(i, πn)表示系统在第n个时刻处于状态S(n)=i转移到最终时刻的总期望报酬；πn表示策略，即从第n个时刻到最终时刻的决策规则δ的序列{δn, δn+1, …}，πn=(δn, πn+1)。其中：δn是第n个时刻的决策规则；γ代表衰减因子，取值范围[0, 1]，其值越大代表系统越注重未来期望报酬，其值越小代表系统主要考虑即时报酬；rij表示从状态S(n)=i转移到下一个状态S(n+1)=j的报酬，则有

令$ q\left( i \right) = \sum\limits_{j = 1}^n {{P_{ij}}{r_{ij}}} $，i=1, 2, …, m，q(i)表示由状态i进行一次转移的期望报酬，即状态的即时期望报酬。式(1)可写成

可见，最优策略就是选择最佳的决策规则序列，使得系统从现在时刻直到最终时刻的总期望报酬最大。

将Markov决策过程应用到暴雨灾害情景决策[1]，决策时刻T对应孕灾环境的时间因素，系统状态S中包括了暴雨、承灾体和事件等要素状态，行动集A(i)对应应急响应措施，报酬r(i, a)对应应急响应措施a的资源投入以及灾害造成的损失，状态转移概率p(·|i, a)表示上一个暴雨情景转移到下一情景的可能性。

设在tn时刻，暴雨、承灾体和事件都有其状态值，决策者采取措施后，在下一决策时刻tn+1，暴雨、承灾体和事件的状态将发生变化，同时造成的可能后果也会发生变化。根据历史数据的统计分析和专家经验判断，在tn时刻，可以预测采取不同的措施后，事件的情景会向不同的状态演变，同时造成的后果也会不同。以此推论，在tn+1时刻，决策者面对tn时刻同样的情景，作出决策后，事件继续演化直至事件处置结束。

设致灾因子(factor, F)在灾害演化过程中的状态有F(f1, f2, …, fm)、承灾体(bearing, B)的状态有B(b1, b2, …, bn)、事件(incident, I)的状态有I(i1, i2, …, ik)，那么理论上从t0时刻的灾害初始情景S0到t1时刻，存在至多m×n×k种情景。但实践中，灾害的演化受自然条件和人为干预的影响，很多不合理的情景可以通过一定的规则进行“剪枝”，切断其演化路径，而从初始情景到符合逻辑可能的情景之间是存在一定的转移概率P，$ \sum\limits_{j \in S} {} p\left( {S\left( j \right)|S\left( i \right)} \right) = 1$，表示从情景S(i)转移到情景S(j)的概率和为1。每种情景伴随一定的灾害后果C(c0, c1, …, cm×n×k)，包括人员伤亡、经济损失、社会影响等。

在每个时刻，针对灾害情景可以采取应急响应措施A(a1, a2, …, an)，那么在下一时刻灾害的演化情景会发生变化，同时演化到不同情景的概率也会发生变化，$ \sum\limits_{j \in S} {} p\left( {S\left( j \right)|S\left( i \right), {\rm{ }}a\left( k \right)} \right) = 1$，表示从对情景S(i)施加响应措施a(k)后转移到情景S(j) 的概率之和为1。a(k)表示在系统状态为i时，可选的应急响应措施数量为k种。同时，施加应急响应措施也会使灾害造成的后果发生变化。

利用节1.2提出的Markov决策最优策略方法，求解采取的策略即措施的组合，使得系统在任一时刻从任一状态转移至最终时刻，得到期望报酬最大。在此，与传统Markov决策方法不同的是，突发事件决策过程考虑的期望报酬，主要考虑系统发生灾害损失后的返回值，即损失期望，而投入报酬即应急资源则作为决策的约束条件。

Qn(i, πn)表示系统在i状态下采取πn策略所获得的总损失期望，cij表示从状态S(n)=i转移到下一个状态S(n+1)=j产生的损失期望值，Pij为状态i转移到j的转移概率。

设在一个空间内，暴雨作用到水利工程隐患引发洪水，而洪水作用到下游一处基础设施(如道路或桥梁)，基础设施被冲毁造成经济损失。下面以此案例开展Markov决策过程模型构建。

1) 按照降雨强度设暴雨(rainstorm，rs)分为s(small，降雨强度大于50 mm/h)、m(medium，降雨强度大于70 mm/h)、l(large，降雨强度大于100 mm/h) 3种状态值，记为rs(s, m, l)。

2) 水利工程隐患(danger, d)分为l(low)、m(medium)、h(high) 3种状态值，记为d(l, m, h)。随着降雨的积累，水利工程隐患会由低向中、高等级演变，且不同降雨强度等级条件下，演变的概率不同。

3) A(i)为针对水利隐患的应急响应措施，包括3种：高级别a1(使高风险转为低风险)、低级别a2(使高风险转为中风险或中风险转为低风险)、a3(不采取措施)。a1、a2投入资源不同。

1) 状态空间S包括暴雨、水利隐患两个要素，S(i)=S{rs(i), d(i)}，共9种状态：S1=S{rs(s), d(l)}，S2=S{rs(s), d(m)}，…，S9=S{rs(l), d(h)}。

2) T(t1, t2, …, tn)为暴雨演化的不同阶段，n为有限值，在此设时间间隔为1 h。

3) 行动为应急响应措施为A(a1, a2, a3)，且在暴雨强度不同的情况下投入的资源数量不同，即要满足行动产生效果的情况下，暴雨强度越大，投入资源越多。

4) res为投入资源，在此总的投入资源restotal是有限的；C(loss)为在概率ploss下造成损失期望值。

5) 状态转移概率为pi(n)表示从状态i向可能的所有状态自然转移的概率矩阵；pia(i)(n)表示在应急响应措施a(i)干预下，状态i向其他所有状态转移的概率矩阵。转移概率的设置通过历史数据分析结合专家打分确定，涉及多条件引发的要素概率，通过暴雨灾害Bayes网络推演获得[1]。

目前降雨短时临近预报相对准确，因此本文考虑t2和t3两个时刻的暴雨状态变化。

1) 自然转移概率pi(n)。

设当前时刻为t1，那么t2和t3两个时刻的暴雨状态可能性为3×3共9种。示例如下：

以预报t2为rs(m)、t3为rs(s)的可能性为例，根据历史小时降雨强度的统计分析，得到在此区域内，降雨强度的自然转移概率矩阵为

根据水利工程专家经验，设降雨条件下的水利工程隐患的转移概率矩阵为

降雨转移概率矩阵和隐患转移概率矩阵相乘求Kronecker积，得到t1时刻系统状态转移矩阵为

其中：i为矩阵的行，j为矩阵的列，i，j=1, 2, 3, …, 9。同理可知，在t1时刻，根据t2和t3不同的天气预报预测状态，共有9种概率转移矩阵。

2) 考虑应急响应措施后的转移概率piai(n)。

根据案例分析，结合专家经验，可知采取a1措施后，工程隐患的转移概率矩阵为

可以求得此措施下状态转移概率矩阵为

同理可求得采取a2措施后系统的状态转移矩阵。

综上分析，在t1时刻，根据t2和t3不同的预报预测9种状态组合和3种应急响应措施，共有27个概率转移矩阵。

3) 投入资源res。

根据实际处置情况，在不同降雨状态下，采取同一应急响应措施所耗应急资源不同，暴雨强度越大，所耗资源越多。同时，资源restotal_raw是约束条件，情景演化过程中一旦资源耗尽，则后续应急响应仅能选择不采取措施a3。根据隐患整治经验和资源匹配情况，简化暴雨强度与应急响应措施的对应关系，如表 1所示。

4) 损失概率ploss。

基础设施被冲毁造成经济损失，取决于洪水发生的概率，而洪水的发生取决于暴雨和隐患状态组合。因此，根据历史数据统计和专家经验，选取9种状态组合计算损失概率的数值，且满足ploss(S1)＜ploss(S2)＜…＜ploss(S9)。在一次推演过程中，ploss是终止态，一旦发生，返回C(loss)，推演过程结束。

以上示例了在一个降雨过程中t1时刻参数的设置方式，同理可以设置t2、t3、t4等时刻参数，并在此基础上通过对式(3)求解，获得最优应急决策策略。

基于节3.3中设置的参数开展计算，遵循以下步骤：

步骤1   从状态空间中随机一个起始状态S，令restotal=restotal_raw。

步骤2   针对当前状态S，选择应急响应措施, 记为a(|S)。

步骤3   投入的资源记录为res(a|S)，

步骤4   得到下一时刻状态S′，S′根据选择a(|S)后的pSS′a确定。

判断1：如果ploss成立，系统得到reward值为此时的损失值C(loss)，则：

此时，计算终止，跳转至步骤1；

判断2：如果ploss不成立，系统的reward值为此时的投入res(a|S)，则：

在此res(a|S)仅作为约束条件来判断系统的推演步数，因此置res(a|S)为0。

步骤5  S=S′跳转至步骤2。

通过以上推演，得到的Q(S, a)反映了暴雨造成损失期望值，因其通常为负值，故取最大值即为最小损失。

根据以上参数设置和算法，考虑未来两个时刻降雨状态组合的情况下，通过推演，可以得到在任一时刻，决策者面对9种系统状态中的任一状态时，所采取的应急响应措施a1、a2、a3得到的损失期望值的比较。

图 1和2示意了未来9种可能降雨组合中rs(s, s)(降雨强度“小、小”)和rs(l, l)(降雨强度“大、大”)两种的推演结果，展示不同状态采取不同措施的损失期望。针对结果开展分析：

1) 对比未来降雨组合中同一状态采取同样措施的损失期望值, 如Q(S3, a1)rs(s, s)＜Q(S3, a1)rs(l, l)，Q(S6, a3)rs(s, s)＜Q(S6, a3)rs(l, l)，可以得出，未来时刻降雨强度越高，系统损失期望值越大，表示未来降雨强度越大，造成损失的后果可能性越大。

2) 对比同一状态下，采取措施后的损失期望值。如图 2中，Q(S6, a1)＜Q(S6, a2)＜Q(S6, a3)，Q(S5, a2)＜Q(S5, a3)，可以得出，当前时刻同等状态情况下，采取有效措施降低损失期望值，投入资源越多得到的损失期望值越小，表示采取应急响应措施可以有效降低损失后果的可能性。

通过分析得出，基于Markov决策过程的暴雨灾害决策方法的计算结果是符合实际逻辑的。但实际暴雨灾害应对过程中，资源往往是有限的，科学的应急决策不仅考虑当前时刻，还要综合考虑未来时刻降雨的变化及采取措施的效果，来选择最优策略。

仍以节4.1的案例为例。设当前时刻ti暴雨状态为rs(l)，系统状态为S9，短时预报下一时刻ti+1为rs(m)，分析前后时刻采取应急响应措施的策略方法。

根据当前时刻和下一时刻暴雨状态对系统转移状态空间进行“剪枝”，可知系统从S9只能向S4、S5、S6 3种状态转移。系统采取不同措施，状态转移概率不同，分别记为p94a1、p95a1、p96a1，p94a2、p95a2、p96a2和p96a3。

根据已知条件，在ti时刻，S9可选措施为a1、a2、a3，采取每种措施得到的损失期望值分别为Q(S9, a1)、Q(S9, a2)、Q(S9, a3)。ti+1时刻，S4可选措施为a3，期望值为Q(S4, a2)；S5可选措施为a2、a3，期望值分别为Q(S5, a2)和Q(S5, a3)；S6可选措施为a1、a2、a3，期望值分别为Q(S6, a1)、Q(S6, a2)、Q(S6, a3)。可见，在ti和ti+1时刻，采取的措施组合共有9种，可求出在资源受限的情况下损失期望值最小的组合措施。

设在rs(l)下，采取a1投入资源为resa1l，采取a2投入资源为resa2l；在rs(m)下，采取a1投入资源为resa1m，采取a2投入资源为resa2m。9种组合的损失期望表达为：

1) Q(a1ti, a1ti+1)=Q(S9, a1)+Q(S6, a1)·p96a1，资源投入为resa1l+resa1m；

2) Q(a1ti, a2ti+1)=Q(S9, a1)+Q(S5, a2)·p95a1+Q(S6, a2)·p96a1，资源投入为resa1l+resa2m；

3) Q(a1ti, a3ti+1)=Q(S9, a1)+Q(S4, a3)·p94a1+Q(S5, a3)·p95a1+Q(S6, a3)·p96a1，资源投入为resa1l；

4) Q(a2ti, a1ti+1)=Q(S9, a2)+Q(S6, a1)·p96a2，资源投入为resa2l+resa1m；

5) Q(a2ti, a2ti+1)=Q(S9, a2)+Q(S5, a2)·p95a2+Q(S6, a2)·p96a2，资源投入为resa2l+resa2m；

6) Q(a2ti, a3ti+1)=Q(S9, a2)+Q(S4, a3)·p94a2+Q(S5, a3)·p95a2+Q(S6, a3)·p96a2，资源投入为resa2l；

7) Q(a3ti, a1ti+1)=Q(S9, a3)+Q(S6, a1)·p96a3，资源投入为resa1m；

8) Q(a3ti, a2ti+1)=Q(S9, a3)+Q(S6, a2)·p96a3，资源投入为resa2m；

9) Q(a3ti, a3ti+1)=Q(S9, a3)+Q(S6, a3)·p96a3，无资源投入。

对9种措施组合的损失期望值进行比较，在资源约束下，求得最小值，即为当前时刻与下一时刻最优策略。

通过分析图 3中投入资源和损失期望的对比，可以得出以下结论：

1) 在资源充足情况下，根据Qa1a1＜Qa1a2＜Qa2a1＜Qa1a3＜…＜Qa3a3，当前时刻与下一时刻选择最有力措施，损失期望越小；

2) 在资源受限的情况下，要研判下一时刻降雨强度和当前资源情况，选择当前和下一时刻损失期望之和较小的措施组合策略。如Q(a1ti, a3ti+1)＞Q(a2ti, a1ti+1)，当前时刻采取高级别措施后，下一时刻资源不满足采取措施，而当前时刻采取低级别措施后，下一时刻降雨强度降级满足采取高级别措施，从而使损失期望值更小。再如Q(a2ti, a3ti+1)＜Q(a3ti, a1ti+1)，在当前时刻，即使资源仅满足低级别措施，也须采取措施，而不能等到未来时刻再采取高级别措施降低。

综上，本文构建了单一空间一个承灾体和一条灾害链的Markov决策过程模型，并验证了方法的科学性和实用性。在实际暴雨灾害发生过程中，单一空间内往往会包括多个承灾体或多条事件链，要素的状态空间大幅扩充，但计算方法和推演过程是一致的。Markov决策过程方法在解决复杂问题时更具优越性。

本文将Markov决策过程应用到突发事件应急决策，并针对暴雨灾害时空演化过程，首先构建了单一空间建模方法，求得在暴雨发展的不同阶段采取不同的策略的效益，最优决策即采取最小的投入得到灾害最小的损失。在此基础上，综合考虑灾害演化前后时刻采取不同措施组合的损失期望值，得到最小总损失期望值下的最优策略。结果表明，应用Markov决策过程方法，开展基于情景时空演化的暴雨灾害应急决策建模，可以有效地辅助应急决策者在灾害发生发展过程中动态调整应急策略，使灾害造成的损失最小。

未来将重点从两个方面开展进一步研究：1) 扩展多空间暴雨灾害Markov决策建模，针对不同空间的暴雨分布和承灾体、突发事件以及造成的后果不同，综合考虑在应急资源受限的情况下，得到当前时刻最优的应急响应策略，使总的灾害损失最低。2) 加强灾害数据的积累，使暴雨灾害的网络结构逐步完善，进一步明确构成要素及之间的定量关联关系，深化对演化规律的认识，不断提高应急决策的科学水平。