动态风险度量与DC养老金定期评估 [page::0][page::1][page::2]

• 采用动态风险度量管理养老金投资和保险的联合风险。

- 设定周期性评估而非单一退休时评估，模拟真实的养老金管理机制。

• 通过动量风险和死亡风险的加权和建模，建立风险共享动态规划模型。

- 利用模型无关的强化学习算法（actor-critic框架）实现最优策略学习。

DC养老金资产与保险决策的数学建模 [page::4][page::5][page::6]

• 状态空间包含时间、财富、收入、资产价格等，动作空间包括股票投资与寿险保费。

- 设定购买约束、无杠杆约束及偿付能力约束。

• 使用动态规划方程及风险包络（risk envelope）的对偶表示推导最优问题的极大极小形式。

- 定义周期性与非周期性评估的成本函数差异，影响策略风险态度。

actor-critic算法设计与收敛性 [page::8][page::9][page::10][page::11]

• 设计嵌套仿真（nested simulation），内层转移样本用于条件风险测度估计，批量优化神经网络价值函数。

- 策略梯度分解，结合似然比技巧，确保风险敏感策略迭代稳定收敛。

• 理论证明神经网络可任意精度逼近价值函数，策略梯度的计算满足光滑性条件。

Lee-Carter模型与死亡率预测 [page::12][page::14][page::15]

• 利用Lee-Carter模型结合跳跃扩散与更新过程，拟合疫情冲击下的死亡率数据。

- 实现对未来寿命改进的动态预测，比传统ARIMA模型更准确捕捉短期与长期波动。

• U.S.历史数据拟合参数，选用对数正态分布拟合冲击间隔，提供精确寿命估计，辅助养老金风险管理。

数值实证：寿命预测和评估频率的影响 [page::16][page::17][page::18][page::19][page::20][page::21]

• 使用CVaR风险指标，设计投资—保险联合策略，工作期45年，利用GPU高效计算。

- 表2显示寿命改进情形下，养老金成员更愿意加大股票投资比例，初中期股票配置高于不考虑寿命改进的情况。

• 定期评估成员风险厌恶，股票分配较低，寿险比例较高；非定期评估成员风险偏好更强，投资更激进。

- 终端财富分布（图5）显示：寿命改进和非周期性评估均提高终端财富的右尾厚度及均值，反映更多风险敞口。

投资与保险策略对比表 [page::19][page::21]

| 评估类型 | 时间点 | 财富Wt | 股票投资比例(%) πt | 寿险比例 βt (%) | 保险投入 It | 股票投入 αt |
|------------|--------|------------|-------------------|----------------|------------|-------------|
| 周期性 | 0 | 5.0000 | 13.08 | 50.67 | 5.5735 | 1.4390 |
| | 22 | 12.7128 | 0.26 | 47.10 | 11.7273 | 0.0598 |
| | 44 | 25.7242 | 0.000854 | 44.48 | 23.7887 | 0.000445 |
| 非周期性 | 0 | 5.0000 | 6.88 | 25.26 | 2.7791 | 0.7563 |
| | 22 | 28.4623 | 14.78 | 42.90 | 17.1967 | 5.5613 |
| | 44 | 61.8531 | 4.78 | 37.04 | 31.7273 | 3.3983 |

• 非周期性评估者表现出更激进的股票配置，中年时峰值较明显，寿险绝对投入也更高，但占财富比例较低。

结论与未来展望 [page::22]

• 本文首创性地结合动态风险度量与强化学习，实现养老金定期动态风险管理。

- 严格理论推导与实际寿命数据相结合，得到更贴合现实的投资保险决策。

• 实证显示寿命改进带来风险偏好提升，周期性评估促使策略趋于稳健。

- 建议养老金成员结合寿命预测，采用定期评估以优化风险收益平衡。

• 后续研究可拓展多风险因子及更复杂强化学习算法，提升模型适应性和泛化能力。

报告详尽分析：《Periodic evaluation of defined-contribution pension fund: A dynamic risk measure approach》

---

1. 元数据与概览

• 标题：《Periodic evaluation of defined-contribution pension fund: A dynamic risk measure approach》

- 作者：Wanting He, Wenyuan Li, Yunran Wei

• 发布时间：2025年8月8日

- 研究主题：定义贡献（DC）养老金基金管理，采用动态风险度量方法进行周期性评估，结合强化学习算法优化投资和保险策略，利用美国寿命数据校准模型。

核心论点：
本报告突破了传统养老金管理方法单一终期评估的局限，提出基于动态风险度量的周期性评估框架，动态管理养老金的尾部风险。利用模型无关强化学习算法，结合Lee-Carter寿命模型对寿命数据进行拟合和预测，实证表明周期性评估使策略更趋风险规避，而寿命改善则促使风险偏好上升。 此外，投资和保险的最优策略是动态调整的。报告贡献在于结合动态风险度量、寿命预测和强化学习，实现养老金管理的动态风险共享和最优决策。[page::0,1,2]

---

2. 逐节深度解读

2.1 摘要与引言

报告指出随着人口老龄化，养老金管理话题变得重要。DC养老金计划区别于DB计划的是，前者确定缴费，退休金来源于投资收益，受寿命延长和利率下降冲击，全球正从DB向DC转变。现有文献多假设养老金成员仅在退休时评估投资表现，忽略中间评估所反映的短视偏好，且多数评估依据公理化效用函数或非货币单位的损失函数，难以实际衡量。

本研究创新点是采用动态风险度量替代传统效用/损失函数，建立时间一致的周期性评估框架；通过无模型（model-free）强化学习搜索最优投资与保险策略；利用Lee-Carter模型校准寿命数据以反映寿命改善对策略的影响。[page::0,1]

2.2 动态风险度量（第2节）

详细定义了静态风险度量和动态风险度量，涵盖凸风险度量与一致性公理，给出核心性质：

• 现金无差异性、单调性、凸性和（对应一致性风险度量）正齐次性。

- 动态风险度量是条件风险度量的序列，满足时间一致性，即未来与当前风险评估递归相容。

• 关键定理（Representation Theorem）提供了风险度量的对偶表述，允许风险度量函数转换为对一组风险“包络”中概率权重下的期望最大化问题。

这一理论框架为下文算法设计和动态规划方程（DPE）展开提供坚实基础，[page::3,4]

2.3 DC养老金模型及问题设定（第3节）

• 养老金账户价值$Wt$随时间变化，成员每年投入固定比例$\gamma$的随机工资$Yt$，可将资金分配于零息债券$Pt$、股票$St$及定期寿险。

- 资产动态式给出，含股票投资额$\alphat$与保险保费$It$，受购买约束（保费不超过可用资金）、无杠杆约束（投资及保险非负且总和不超过可用收入），以及偿付能力约束。

• 状态空间由时间、账户价值、工资及资产价格构成，进行马尔科夫决策过程建模，策略为参数化的神经网络(policy $\pi^\theta$)。

- 设定目标为最小化成员与受益人的加权动态风险和，通过递归的动态风险度量完成风险共享。

• 区分周期性评估和非周期性评估，对应不同设置下的随机成本$ ct^{A, \theta}, ct^{B, \theta} $。

- 通过运用风险度量的对偶表述，将目标优化问题转化为一个min-max问题，并给出了相应的动态规划方程，允许用数值方法前向求解。[page::4,5,6,7,8]

2.4 强化学习算法设计（第4节）

• 提出基于Actor-Critic结构的强化学习算法，交替优化价值函数（Critic）和策略函数（Actor）。

- 嵌套蒙特卡洛模拟（nested simulation）：外层轨迹模拟状态路径，内层轨迹对下一状态进行采样以估计条件风险；利用M-bootstrap方法提高估计效率。

• 使用Adam优化器，价值函数用神经网络拟合，证明基于Cybenko定理神经网络能充分逼近动态规划价值函数（附录证明）。

- 策略通过梯度下降更新，策略梯度采用似然比技巧简化，考虑风险度量下的梯度调整，具体梯度表达式详见定理4，具备闭式梯度估计工具。

• 举例说明CVaR风险度量的对偶风险包络形式，并展示对应的梯度求解机制。

- 算法实现细节包括策略分布选用双变量正态，约束标准差比例确保稳定性，并详细说明训练超参数及网络结构。[page::8,9,10,11,12,13,16,17]

2.5 寿命预测及调整（第5节）

• 使用Lee-Carter（LC）模型对寿命率进行建模改进，考虑疫情冲击后的暂时跳跃和复发性死亡冲击。

- 模型形式：$\ln m{x,t} = ax + bx \kappat + \epsilon{x,t}$，其中$ax$为年龄横截面基线，$bx$表示年龄对长期寿命指数$\kappat$的敏感度，$\kappat$反映寿命总体趋势。

• 寿命指数$\kappat$建模为跳跃扩散过程，加入了平稳的复发过程模拟脉冲寿命冲击，跳跃大小服从指数分布，模型参数用美国1933-2022年的人体死亡数据库(HMD)数据估计。

- 使用奇异值分解(SVD)估计初步参数后，重估以满足识别条件。

• 疫情相关年份被识别为异常，用三种分布拟合跳跃间隔，最终选用对数正态分布拟合效果最佳。

- 预测显示寿命改善趋势导致未来死亡率下降，提供更准确的寿命概率$qx$，为动态风险管理和策略选择提供了关键输入参数。

• 并给出拟合参数结果表及LC模型拟合图示，展示现实数据拟合的拟合度及预测区间。[page::12,14,15]

2.6 数值实验与策略分析（第6节）

• 以CVaR作为具体风险度量指标，关注尾部风险，更贴近养老金极端损失风险管理。

- 市场假设：股票价格服从几何布朗运动，工资增长采用对数正态过程，且工资与股票价格存在正相关。

• 保险保费按精算公平原则定价，定期寿险一年期。

- 初始化投资者年龄22岁，退休67岁，工龄45年，初始财富5万美元，工资6万美元，年度策略调整。

• 强化学习训练设置详尽，包含轨迹数、多次迭代、神经网络结构及训练超参。

- 比较有无寿命预测下的投资和保险策略差异：
- 无寿命预测时，风险投资比例逐年递减，保险需求随年龄增长增加，符合生命周期风险规避特征。
- 融入寿命预测（寿命改善）时，投资者表现出更强的风险偏好，年轻及中年时期增加股票配置，保险绝对投入增加，但保险资产占比反而降低，体现财富效应与寿命乐观预期。

• 周期性评估对策略影响：

- 周期性评估导致更强风险规避，投资股票比例较低，保险需求相对更高且较稳定。
- 非周期性评估允许更激进的投资策略，股票投资呈现中年期峰值，
并伴随更大财富区间收益风险。

• 以5,000条模拟路径展示最优策略均值及90%置信区间，显著说明策略时变特征及不确定性。

- 终端财富分布图揭示寿命预期与评估时频对财富积累的复合影响，周期性评估富有稳健性但财富积累较低，非周期性评估虽风险较高但潜在收益较大。[page::15–21]

2.7 结论（第7节）

• 整体框架通过将动态风险度量纳入周期评估，辅以强化学习与寿命预测，创新性解决了DC养老金管理的多重挑战。

- 结果表明：寿命预测带来的乐观预期鼓励更积极的风险资产配置；周期性评估则鼓励更稳健、风险规避的策略。两者在实际养老金管理中兼顾风险管理与财富最大化目标。

• 建议会员采用周期性评估框架，结合寿命预测以提高长期投资表现稳定性与收益。

- 未来工作可拓展包括更多风险因子，引入更复杂强化学习模型，进一步提高养老金风险管理能力与实用性。[page::22]

---

3. 图表深度解读

3.1 图1：嵌套模拟流程图 （Page 9）

• 展示了一条外部轨迹如何在每时点扩展$M$条内部状态转移，以估计条件动态风险。

- 点线图形象表现状态空间演进及多次路径采样，说明算法评估风险的多层次抽样机制，体现了风险估计的准确性与算法的复杂性。

3.2 图2：Lee-Carter模型参数估计与寿命率预测 （Page 15）

• (a) $ax$，显示随着年龄$x$升高，基线死亡率的自然对数呈缓慢上升趋势。

- (b) $bx$展示年龄对寿命指数变化的敏感度，整体平稳略有波动，反映不同年龄对寿命趋势的响应力度。

• (c) $\kappat$展示时间序列，实测历史数据在2020年前后有明显跳跃（疫情影响），模型拟合及预测包含未来的持续下降趋势，且置信区间覆盖了不确定性范围。

- (d) 中央死亡率对比，蓝色为2022年静态数据，橙色为基于LC模型2022-2066年预测，明显预测死亡率降低，特别是年轻年龄段。

3.3 图3：训练损失曲线 （Page 18）

• 价值函数训练损失快速下降并趋于稳定，表明批量学习过程中估计准确性提升。

- 策略迭代训练损失也平稳下降，体现策略参数逐步优化，强化学习算法在本问题上的收敛性有较好保证。

3.4 图4：最优策略演化对比（Page 20）

• 三组三列图分别展示不同设置下股票投资$\alphat$、寿险投入$It$、投资占比$\pit$和保险占比$\betat$随年龄变化的均值与90%置信区间。

- (a) 周期评估无寿命预测：投资额和比例随年龄逐渐减小，保险额逐渐增大，比例稍有下降趋势。

• (b) 周期评估含寿命预测：投资额和比例明显提升且在中年有波动上升趋势，保险投入的绝对值增大，比例呈中峰态，显示寿命乐观预期导致的风险偏好提升。

- (c) 非周期评估无寿命预测：投资和保险均呈波峰形态，投资比例一度超过周期性评估水平，寿险比例整体较低，体现非周期评估的风险偏好更强。

3.5 图5：终端财富分布比较（Page 21）

• 三条核密度估计曲线比较周期评估和非周期评估下终端财富$WT$的分布。

- 周期+寿命预测曲线右移且尾部较长，显示寿命改善推动财富增长，且潜在最大收益更高。

• 非周期评估分布更平坦，右尾明显，显示更高财富波动及更激进投资策略带来的不确定性。

- 周期性评估财富波动较小，但严重右偏收益减少，更保守。

• 图中5%、50%、95%分位数的竖线进一步清晰说明了各策略财富的分布差异。

---

4. 估值分析

本报告的估值核心在于通过动态规划方程（DPE）计算养老金账户风险调整后的预期损失（CVaR指标），并以此指导资产配置和保险购买策略。该过程并非传统估值如市盈率或市场价值评估，而是基于动态风险度量和条件期望的风险价值函数求解。

• 价值函数通过神经网络进行数值逼近，保证了在多期、多因素环境中的精确性（定理3证明）。

- 估值过程通过min-max优化（风险度量的对偶理论转化），确保风险敏感性的准确表达。

• 估值的核心输入为市场参数（利率、波动、工资增长等）、寿命死亡概率（通过Lee-Carter模型动态估计），动作空间由风险投资比例与保险投保额组成。

- 最优策略由强化学习算法迭代逼近价值函数的梯度导数获得，政策梯度方法结合风险度量梯度（定理4）实现风险敏感的动态资产配置。

• 寿命预测作为关键外生变量，显著影响价值函数估价及策略选择，反映寿命改善带来的资产配置的风险偏好提升。

- 结合周期/非周期不同评估方式，估值也区别对待财富路径的波动与终端表现。

整体上，估值基于动态、风险感知的策略优化而非静态财务指标，强调风险管理和动态调整，是评估DC养老金管理难题的先进手段。[page::6–8,10–12,14,15,18–21]

---

5. 风险因素评估

报告明确列举并建模了以下风险因素：

• 寿命风险：寿命延长导致的资金不足风险，采用Lee-Carter模型动态捕捉寿命趋势和突发事件跳跃，寿命改善带来高龄生存风险。

- 市场风险：股票及工资波动，采用几何布朗运动及工资相关随机过程建模，考虑资产价格和工资收入的相关性。

• 死亡风险：个体在职死亡带来的风险，通过定期寿险产品转移和风险分摊。

- 评估频率风险：周期评估与非周期评估在风险认知及策略调整频率上的差异，影响风险偏好及险种需求。

• 模型风险：包括风险度量模型选择（以CVaR为例）和强化学习算法近似误差的潜在局限。

- 法规风险：投资与保险产品购买受监管限制，如偿付能力和无杠杆约束，可能影响策略空间。

报告对风险管理的缓释策略主要体现在：

• 合理选择风险度量指标（CVaR）强化尾部损失控制。

- 动态风险共享机制确保投资者与受益人风险均衡。

• 强化学习算法不断迭代自适应，以应对环境变动和数据不确定。

- 寿命预测动态调整寿命相关风险暴露。

风险发生概率基于历史及模型预测的死亡概率$qx$计算，结合动态权重，充分体现风险影响的时间演变。[page::1,2,5,6,12,14]

---

6. 批判性视角与细节考量

• 假设稳健性：模型依赖准确的死亡率预测，Lee-Carter模型虽经典，受疫情等异常事件冲击，未来寿命趋势具有较高不确定性，预测区间较宽，可能影响策略的稳定性。

- 强化学习收敛性与解释性：虽证明了神经网络逼近性质和收敛性，但实际算法参数选择、高维状态空间处理仍存在局限。模型无关强化学习存在收敛慢、局部极小等风险。

• 风险度量选取：聚焦CVaR风险度量，强调尾部风险，但未充分探讨其他风险度量（如VaR、Entropic Risk Measures）对结果的异同。

- 周期评估的实际执行难度：周期性评估增加了计算和实施的复杂性，如何平衡计算代价和风险控制效果没有详述。

• 参数估计敏感性：寿命模型中的跳跃强度等参数估计不确定，寿命预测误差可能导致策略偏差。

- 模型中非金融风险因素考虑有限：如法规变动、宏观经济冲击等未纳入模型，可能影响评估的外推性。

总的来说，论文构建了理论完备、数值实现清晰的框架，展现了动态风险管理的优越性，但实际应用需关注模型输入不确定性、算法复杂度及参数敏感性。[page::14,18]

---

7. 结论性综合

本报告针对定义贡献养老金基金管理，首次提出将动态风险度量作为周期性投资和保险策略评估的核心指标，弥补了传统仅终期单次评估的不足。研究用Lee-Carter模型结合疫情后跳跃和复发效应，对美国寿命数据做实证校准，为养老金生存风险提供了动态准确的预测基础。

基于模型无关的强化学习（Actor-Critic）算法，报告实现了多期动态规划的神经网络近似，成功同时优化股票投资和定期寿险购买的联动策略。这一动态风险共享框架不仅考虑了养老金成员风险，更考虑到其受益人的风险承受能力，实现社会保证金风险平衡。

核心发现表明：

• 引入寿命预测的成员，由于预期寿命改善，显示出更强的冒险偏好，股票配置提高，寿险需求绝对上升，但占财富比例下降，最终财富明显增加。

- 采用周期性评估的成员表现出更强的风险规避，投资股票比例更低，寿险需求更稳定且占比较高，财富积累较非周期评估者稳健但规模较小。

• 非周期评估者更愿意承担风险，在中年阶段大幅增加股票投资，虽终端财富预期较高，但伴随更大波动和尾部风险。

图表揭示了策略随年龄的动态调整、寿命改善对策略的影响及周期评估约束下的风险承担差异。终端财富分布进一步印证不同评估机制下风险与回报的权衡。

报告最后建议，DC养老金成员应采纳周期性评估框架以稳定投资策略，同时结合寿命预测提升长期表现。此外，未来研究有望引入更丰富的风险因子（如通胀、利率波动）、更先进的强化学习方法，提升养老金管理的智能化和风险适应能力。

总体来说，该报告在理论创新、模型构建、算法设计及实证分析层面均做出卓越贡献，为养老金定量管理提供了一条富有前瞻性的研究路径。 [page::0–22]

---

致谢与参考文献略。

---

总结：
报告成功构建了一套结合动态风险测度、寿命预测与强化学习的周期性评估框架，解答了养老金投资和保险双重策略动态优化问题。实证中展示的寿命预期和评估频率对风险偏好的深远影响，以及策略动态波动，为养老金管理实践提供了统计驱动且风险敏感的指南，兼具理论深度和应用前景。

---

报告