研究背景与目标 [page::0][page::1]

• HAR模型作为波动率预测基准，受限于固定系数及同质性假设。

- 引入柔性状态切换以捕获市场结构性断点，提高模型对非平稳性和跳变的适应能力。

• 提出三种状态识别模型框架：隐马尔可夫模型软切换、基于分布的光谱聚类、基于回归系数的软聚类。

数据与特征工程 [page::2][page::4]

• 使用2014年至2025年11年S&P 500 5分钟高频价格数据计算日实现波动率。

- 特征扩展引入VIX指数的滞后值、跳跃变异（Jump Variation）和峰度（Realized Kurtosis），捕捉非线性市场行为。

• 与标准HAR模型相比，加入新特征的HAR模型在均方误差（MSE）和平均绝对百分比误差（MAPE）上表现更优。

三种状态切换模型方法论总结 [page::5][page::6][page::7][page::8]

• 隐马尔可夫软切换模型：利用HMM对平滑后的波动率序列进行软判别，利用后验概率加权单独回归模型。

- 基于分布的光谱聚类：通过Mood检验识别方差变化点，计算Wasserstein距离矩阵后应用光谱聚类，训练XGBoost分类器实现预测时的硬聚类分类。

• 基于回归系数的软聚类：对不同段回归系数进行主成分降维后用贝叶斯高斯混合模型聚类，利用XGBoost预测软聚类概率，加权输出预测，模型更能捕捉特征与波动率动态关系。

模型性能表现与对比 [page::9][page::10]

| 模型 | 时间段 | MAPE(%) | MSE (×10⁶) | 状态数 |
|-------------------------|----------|---------|------------|--------|
| 标准HAR | Pre-COVID | 27.09 | 3.40 | 1 |
| Markov软切换 | Pre-COVID | 24.33 | 3.12 | 3 |
| 分布聚类 | Pre-COVID | 25.89 | 3.55 | 2 |
| 回归系数聚类 | Pre-COVID | 23.92 | 3.11 | 2 |

• 回归系数聚类模型整体MSE最低，三阶段均优于其他模型，提升幅度约8.5%-11.9%。

- COVID疫情阶段分布聚类表现更为稳健，Markov模型在剧烈波动期表现欠佳。

• 状态数量均在2-3之间，表明少数波动状态可描述市场动态。

多步递归预测与模型优势 [page::11][page::12][page::13][page::14]

• 提出双递归预测框架，其中VIX和实现波动率相互递归预测，消除未来数据偏差。

- 5天和10天预测期内，回归系数聚类配合双递归框架在稳定周期表现最佳，疫情震荡期分布聚类优于其他方法。

• 双递归结构较单递归显著提升长期预测准确度，体现市场预期与实现动态的内在依赖。

研究限制与后续方向 [page::14]

• 超参数选择敏感，段内行为单一假设可能简化状态定义。

- PCA降维可能掩盖复杂关系，Markov模型对极端结构跳变适应性较差。

• 建议未来融合多模型与深度学习时序模型，进一步优化波动率预测。

总结与展望 [page::15]

• 状态感知模型明显优于传统HAR模型，尤其回归系数聚类软切换方法表现最优。

- 该方法通过动态关系聚类，有效适应市场的非平稳性和结构改变。

• 研究结果具备实务风控和资产配置潜力，未来可拓展至其他资产类别。

研究报告详尽分析报告

报告题目

Improving S&P 500 Volatility Forecasting through Regime-Switching Methods
作者：Ava C. Blake, Nivika A. Gandhi, Anurag R. Jakkula
发布日期：2025年10月7日
主题：对标普500指数(S&P 500)的波动率预测，通过引入多种状态切换（regime-switching）方法，提高模型对市场结构性变动的捕捉能力和预测精度。

---

1. 元数据与概览

本报告旨在提出并评估包括软状态切换模型在内的多种基于状态分割的波动率预测方法，力图超越传统HAR模型的固定参数局限，捕捉金融市场波动中的多状态结构，尤其是在危机如COVID-19疫情爆发等市场剧烈波动期。作者选取2014年5月至2025年5月的11年标普500指数日内5分钟高频数据，通过计算日实现波动率(RV，Realized Volatility)并构建特征，结合市场情绪指标（如VIX）及非线性特征设计，引入三种主要状态切换方法：

• 基于软Markov切换的EM算法，输出软状态概率；

- 基于分布谱聚类和XGBoost分类的硬状态划分；

• 作者创新的基于回归系数软聚类，通过对不同时间段HAR模型系数的聚类，结合贝叶斯高斯混合模型与XGBoost预测状态概率。

模型在COVID疫情前、中、后三个阶段进行对比，结果显示基于回归系数的聚类模型在所有阶段均优于其他模型及传统HAR，尤其在递归多步预测中表现突出。核心结论是，软状态和簇化机制能有效识别市场结构性变动，提升波动率预测性能[page::0][page::1][page::10].

---

2. 逐章深度解读

2.1 引言(Introduction)

• 核心论点： 传统VOL模型如GARCH、HAR模型假设平稳且均质数据，难以应对结构断裂与危机期波动剧烈转变。HAR模型基于不同时间尺度过往波动率数据预测未来波动，但固定系数限制其适应不同波动阶段的能力。

- 局限在于： 无法捕获多状态之间的切换，尤其在市场由平稳向动荡切换时表现不足。

• 文献回顾： Zhang等(2020)提出Markov状态切换HAR模型，对不同隐含状态应用不同系数，提升模型性能，但多为硬状态赋值，不考虑状态不确定性。

- 作者方法创新点： 引入软分类框架，使模型用后验概率加权不同状态下模型，反映状态判定的不确定性。同时提出基于聚类的状态识别策略，结合时间序列方差变化检测(Mood检验)、Wasserstein距离和谱聚类，关联硬状态判定与特征向状态映射的XGBoost分类器，提高动态适应能力。

• 关键难点： 时间序列自相关与非独立同分布（i.i.d.）假设破裂，聚类如何有效捕获非静态结构成为挑战。[page::1]

2.2 数据与特征工程(Data Scope and Feature Engineering)

• 使用11年标普500日内5分钟数据，通过计算对数收益率（对数收益率稳定性好且可累加），计算日内实现波动率RV，调整非全交易日（日长不同）影响，保证样本的一致性与可比性。

- 对特征增强，引入：滞后VIX（日、周、月）来捕捉市场预期；跳跃变异（捕捉非连续价格跳跃）；实现峰度（刻画尾部风险）。

• 该设计赋予模型对非线性及不对称行为的刻画能力，结合历史波动与前瞻情绪，增强模型适应多状态切换。

- 图1直观展示了经过特征工程的HAR模型预测时序，对比真实值表现良好，尤其在捕捉突发尖峰上有所提升。

• 表1显示特征工程的HAR模型在均方误差(MSE)和平均绝对百分比误差(MAPE)指标上均优于标准HAR模型，MSE从8.85降至8.35（单位调整后），MAPE由27.72%降至26.37%。

- 采用滚动窗口训练（窗口长度441天，约7个季度），保证模型不断适应最新市场状态，窗口滑动预测未来5或10天，提高参数估计稳定性及响应能力。

• 模型公式中，系数依赖状态$St$，反映隐含的多状态特性：

$$
R V{t}=\beta{0,S{t}} + \beta{d,S{t}}\cdot R V{t-1} + \beta{w,S{t}}\cdot \overline{R V}{t-1}^{(w)} + \beta{m,S{t}}\cdot \overline{R V}{t-1}^{(m)} + \gamma{d,S{t}}\cdot VIX{t-1} + \gamma{w,S{t}}\cdot VIX{t-1}^{(w)} + \gamma{m,S{t}}\cdot VIX{t-1}^{(m)} + \zeta{S{t}}\cdot KTS{t-1} + \eta{S{t}}\cdot JMP{t-1} + \varepsilon_{t}
$$[page::2][page::4][page::5]

2.3 模型方法论(Methodology)

• Markov软状态切换模型：

利用隐马尔可夫模型(HMM)，通过平滑后的波动率序列估计隐含状态序列，给予每个时间点不同状态的后验概率(软权重)。每个状态对应HAR模型参数，用加权最小二乘法训练。预测时用各状态概率加权输出，实现多状态融合预测。

• 分布式聚类法：

利用Mood检验检测基于方差的状态变化点，分割为若干时间段。基于这些段的分布，计算2-Wasserstein距离，得到相似度矩阵，谱聚类算法确定状态。随后为每个状态训练HAR模型，以XGBoost分类器学习特征与状态映射，预测时进行硬分类。

• 系数驱动软聚类：

创新性方法，通过对如Mood检验后分割的时间段，在每段拟合OLS线性回归得到局部回归系数向量（捕捉特征与目标变量关联的动态变化），对系数向量做PCA降维，再用贝叶斯高斯混合模型估计状态后验概率。
XGBoost分类器基于每段平均特征预测软概率。最终预测是加权各状态模型输出。该方法捕捉到了逐段动态回归结构的演变，提供了解释性更强且反应更灵活的状态划分[page::3][page::6][page::7][page::8].

2.4 性能评估(Results & Discussion)

• 三阶段(Pre-COVID、COVID、Post-COVID)内分别评估，部分指标如下：

|模型|阶段|MAPE|MSE (百万分之一单位)|状态数|
|-|-|-|-|-|
|标准HAR|Pre|27.09|3.40|1|
|Markov Soft EM|Pre|24.33|3.12|3|
|分布式聚类|Pre|25.89|3.55|2|
|系数聚类|Pre|23.92|3.11|2|

• COVID期波动剧烈，预测难度大，系数聚类和分布式聚类比Markov表现更佳，标准模型有时表现甚至略优于Markov方法，显示Markov模型对剧烈变动反应不足。

- 预后COVID阶段，系数聚类再次领先，显示其对结构恢复后的市场稳定性调整能力强。

• 所有模型通常以2-3个状态划分市场更佳，验证市场动态可用少数几种波动状态合理描述。

- 系数聚类模型MSE相较标准HAR分别降低8.52%、9.73%、11.9%，显著提升预测稳定性及减少大误差[page::9][page::10].

2.5 递归多步预测(Recursive Multi-Horizon Forecasting)

采用递归方法，当前预测结果作为下一步输入，模拟多步未来动态。

• 双递归模型同时对RV与VIX进行递归预测，捕获两者间反馈动态关系，解决单变量递归带来的预期偏差。

- 双递归结构确保未来VIX预测为输入，避免未来信息泄露(look-ahead bias)。

• 各状态内估计参数，实现状态依赖的动态双递归预测。

- 实证结果显示：
- Pre-和Post-COVID阶段，系数聚类双递归模型表现最佳（5日MSE最小至4.46×10⁻⁶）。
- COVID阶段，分布式聚类双递归表现最好，因其对不稳定时期的分布变化更具鲁棒性。

• 10日预测误差较5日增大，但模型性能排布相似。

- 双递归版本总体优于单递归，强调联合动态建模的重要性。

• Markov模型在递归框架中继续表现相对较弱。

- 图3和图4直观展示三阶段双递归下各模型预测走势与真实波动吻合度[page::11][page::12][page::13][page::14].

2.6 限制与反思(Limitations)

• 预测性能依赖模型超参数：状态数、Mood测试窗口大小、PCA降维后维数、XGBoost调参等，调优空间和配置可能影响结果稳定性。

- 斜率区间向数据点标记状态的假设，可能忽略状态边界附近的复杂过渡，潜在过度平滑。

• PCA降维虽防止过拟合，却可能丢失重要非线性特征信息，影响状态辨别质量。

- Markov和分布式聚类依赖RV动态特征，缺少对HAR全特征集结构信息的利用，或限制性能。系数聚类优势在于基于系数向量直接刻画特征-波动关系。

• 极端事件的鲁棒性尚不足，HMM等模型在突发结构断裂时响应滞后，影响疫情期间表现。

- 当前模型改进对比的是已较优的特征增强HAR，改进幅度有限，需要进一步创新[page::14].

---

3. 图表深度解读

3.1 图1（Feature-Engineered HAR模型预测对比）

• 展示真实波动率与特征增强的HAR模型预测在11年时序中的走势。

- 观察到模型较好响应多次波动剧烈上升（如2018年、2020年疫情初期、2025年），预测曲线跟随真实值大幅波动且趋势吻合，表现出对非平稳波动的敏感捕捉能力。

• 证明特征工程的价值，尤其对异常波动的捕获。

3.2 表1：基本HAR与特征增强HAR模型误差对比

• MAPE与MSE都是衡量预测误差的标准指标。

- 特征增强HAR的MAPE下降约1.35个百分点，MSE下降0.5（百万分之一调整后），反映预测误差确实有所减少。

• 说明对引入VIX、峰度、跳变变量等附加特征有效提升模型性能。

3.3 表2—4：三种阶段模型比较误差

• 明确显示系数聚类模型普遍优于其他两种状态切换模型和基础HAR。

- Markov Soft EM依然改善表现但非最大，分布式聚类表现位列中间，因其强分类属性稍显刚性。

• 预见稳态期（Pre-/Post）系数聚类优势更明显，危机期分布式聚类鲁棒性更佳。

- 状态个数多为2-3，呼应市场存在多个波动状态的假设。

3.4 图2（系数聚类模型各阶段预测图）

• 三幅子图展示分别对应预-COVID、COVID、后-COVID阶段的预测表现。

- 蓝色虚线为真实RV，红橙色线代表从不同状态聚类模型预测值。

• 模型根据不同阶段切分状态，预测曲线贴合真实动态，能捕捉结构性变迁，如疫情期明显更高的波动峰值均被较好拟合。

3.5 表5—6和图3—4：递归预测误差与时间序列图

• 表中数据显示多步递归预测误差较单步更大，符合预测难度递增的常理。

- 系数聚类双递归模型在Pre-和Post-COVID阶段MSE最低，COVID期间分布式聚类双递归领先。

• 图示上，各预测步长(1，3，5，甚至7，9，10天)均展示了不同时期的预测值与真实值高度匹配，验证模型在多步长下的预测稳健性。

---

4. 估值分析

本报告不涉及企业估值，而为方法学研究，以模型预测精度作为评判标准。估值方法包括HAR模型参数优化、后验概率加权的状态特定参数拟合、Wasserstein距离计算谱聚类、贝叶斯高斯混合模型估计状态软权重、XGBoost分类器预测状态分布等一系列统计及机器学习技术。核心输入包括波动率序列、VIX及计算后的特征统计量。递归预测采用多步时间序列动态反馈机制[page::4][page::6][page::8][page::11].

---

5. 风险因素评估

• 预测准确度高度依赖于模型超参数设置，若示例外设定不合适或市场结构剧变，模型表现可能波动较大。

- Mood检验的分段假设各时间段内行为均质，隐含近边界数据可能状态不确定，给状态划分带偏差。

• PCA降维方式虽为防过拟合，可能牺牲了部分重要信息，影响状态区分的细致度。

- HMM等模型对极端、突发事件的适应性弱，模型切换滞后，限制在急剧市场变动下的表现。

• 仅基于RV和其相关特征，可能忽略其他因素（宏观、微观结构因素）对波动率的影响，导致模型解释力和泛化力受限[page::14].

---

6. 批判性视角与细微差别

• 报告整体立场客观，实证数据支持结论，然而系数聚类模型对局部回归参数的敏感性及PCA降维可能在某些极端波动检测中掩盖关键信号。

- Markov软切换模型依赖于平滑波动率，可能导致对锐变事件反应迟钝。

• 聚类方法虽然较灵活，但引入XGBoost硬分类，可能引入分类误差，状态分割边界效应未充分讨论。

- 各模型均未充分考虑模型整合或混合方法，未来可尝试Markov与聚类方法结合，提高多状态建模灵活性。

• 虽承认模型在极端事件鲁棒性有限，报告在这一限制方面分析尚可进一步深化，尤其是在COVID异常期间Markov模型实际表现偏低的原因分析可扩展。

---

7. 结论性综合

本报告通过系统设计和比较三种状态切换框架——软Markov模型、分布式状态聚类和创新性的基于HAR系数软聚类，改进了标普500指数波动率的多步预测表现。引入的特征工程（包括前瞻性VIX、跳跃变化和峰度指标）进一步提升了HAR基线模型的表现。

• 关键发现：

- 所有状态切换模型均改进了纯HAR模型的预测表现。
- 创新系数软聚类模型在捕捉状态间动态变化与预测准确性方面表现最优，在稳态及市场回归期优势尤为显著。
- 分布式聚类模型在极端震荡疫情期间相对更鲁棒，适应结构快速变换。
- 软状态方案能更好反映状态存在的模糊边界，提升预测稳定性。
- 双递归多步预测捕获RV与VIX间交互反馈，显著提升长期预测准确度。

• 实践意义：

- 该类基于状态的模型与柔性特征选择机制对风险管理、波动率衍生品定价、量化策略设计有直接启发。
- 可推广至其他金融市场及资产类别，因围绕特征-波动关系的动态拟合具有一般性。
- 未来研究方向建议结合更复杂的序列模型(LSTM等)与不同状态检测技术，探索混合框架扩展预测边界。

本研究明确体现了金融波动率的非平稳性质及其因状态变化而异的统计特性，验证了灵活、基于数据驱动的半软切换机制在提升金融时间序列预测中的重要价值[page::15].

---

8. 参考文献与附录

• 报告详列了核心参考文献，并附带特征设计、XGBoost调参和所用Python库等，确保方法复现性和透明性。

- 特征说明附录明确描述了各个指标及其计算途径如Jump Variation基于bipower variation等，保证了技术细节的完整。

---

总结

本报告全面细致地构建了三种基于状态切换的标普500波动率预测模型，结合高频数据设计先进特征，创新性地引入系数基软聚类方法，通过多阶段实证严格验证其优越性。分析充分揭示了状态切换框架及软分类方法对波动率预测的提升机制及其在突发市场波动下的适应性，构成了当前波动率预测研究的前沿。对于学术研究及实务应用均具重要参考价值。

---

如需进一步解读具体章节或图表，可针对细节展开。

报告