研究背景与目标 [page::0][page::1]

• 采用MambaStock模型预测标普500指数未来一周收益。

- 评估不同优化器对模型训练速度和预测准确度的影响。

• 设计新型Roaree优化器家族，实现训练稳定与加速。

数据与实验方法 [page::1][page::2]

• 数据包含2000-2019年每周标普500指数，含10个技术指标、3个估值比率与2个市场情绪指标。

- 目标为前一周收益，数据按90%训练、10%验证、100周测试集划分，保证因果性。

• 采用MambaStock模型结构固定，调优优化器参数。

- 基线优化器包括SGD、SGD+动量、Nesterov、RMSprop、Adagrad、Adam、AdamW、Lion。

• Roaree基于Lion优化器，采用多种平滑符号函数替代硬符号，实现平滑收敛。

优化器性能对比与分析 [page::4][page::5]

• Adam、RMSProp、Nesterov和SGD+动量获得最低测试MSE。

- Lion优化器因其较快的训练速度和更宽容的超参空间，在快速实验场景中表现突出。

• AdamW未达最佳效果，原因是较强的权重衰减过度正则化。

- Roaree在相似超参网格下表现均优于Lion，部分平滑函数（尤其erf）收敛更稳定，测试误差更低，训练速度甚至超越Lion。

Roaree优化器算法原理 [page::2]

• Roaree改写Lion中的符号函数为多种可微平滑替代，如tanh、arctan、sigmoid、erf等。

- 调节平滑曲率参数κ，权衡函数线性区间宽度与收敛速度。

• 平滑近似缓解Lion训练收敛的震荡现象，提高训练稳定性。

量化指标比较表（部分截取）[page::7]

| 优化器 | 曲率κ | 学习率 | 权重衰减 | 验证集MSE | 测试集MSE | 平均训练时间(s/epoch) |
|--------|-------|--------|----------|-----------|-----------|-----------------------|
| Roaree-norm | 1000 | 0.001 | 0.1 | 0.001521 | 0.001621 | 0.2559 |
| Roaree-softsign| 1000 | 0.001 | 0.1 | 0.001154 | 0.001351 | 0.2656 |
| Roaree-sigmoid | 1000 | 0.001 | 0.1 | 0.0006972 | 0.0008159 | 0.2512 |
| Roaree-erf | 10 | 0.01 | 0.1 | 0.001213 | 0.001508 | 0.2451 |
| SGD+Momentum | NaN | 0.01 | 0.1 | 0.0004864 | 0.0004946 | 0.2468 |
| Nesterov | NaN | 0.01 | 0.1 | 0.0003234 | 0.0003165 | 0.2483 |
| Lion | NaN | 0.001 | 0.1 | 0.002301 | 0.003588 | 0.2452 |

• Roaree表现较Lion显著提升，接近基线中的Adam和Nesterov，但尚未超越最优基线。

金融研究报告详尽分析报告

报告标题：From Rattle to Roar: Optimizer Showdown for MambaStock on S&P 500
作者及机构：Maria Garmonina 和 Alena Chan，均来自哥伦比亚大学应用数学和计算机科学系
发布日期：2025年7月（arXiv预印本版本）
主题：该报告聚焦于利用MambaStock状态空间模型对标普500指数周收益进行预测过程中，不同优化器在训练速度和预测准确性上的表现比较，以及提出一种名为Roaree的新型优化器族。

---

一、元数据与概览

该报告旨在针对金融时间序列预测任务（具体为预测未来一周的标普500指数收益）采用基于Mamba架构的MambaStock模型，深入比较各类常用优化算法（如Adam、RMSProp、Lion等），评估它们在训练速度和预测精度上的表现差异。核心贡献还包括设计新型Roaree优化器家族，将Lion优化器的训练速度优势与平滑收敛相结合，解决Lion训练过程中损失值振荡大的问题。报告主题切入在当前金融领域机器学习模型的优化训练问题，重点突出速度与准确度之间的权衡，为金融交易策略构建提供理论及实践指导。

该报告无传统“买入”或“卖出”等评级，目标是实现算法层面模型训练的效率与性能提升。主要信息为：

• 状态空间模型（SSM）特别是Mamba架构适合长时间序列金融数据建模。

- 传统优化器中，基于自适应学习率和动量的算法表现更优，但Lion优化器速度领先。

• 新提出的Roaree家族平滑了Lion的极端更新，平衡了速度和精度。[page::0][page::1]

---

二、逐节深度解读

2.1 引言与问题描述（章节1）

引言部分指出Mamba状态空间模型因其线性时间复杂度和长序列处理能力，在金融时序预测领域表现突出。报告聚焦MambaStock模型，对标普500指数未来收益进行预测，尤其关注优化器选择对训练效率和预测精度的影响。提出的研究目标包括比较不同优化器的效果并设计新优化器以同时满足速度快和误差低的需求。
这里的关键论点是训练过程本质为优化问题，选对所用的算法（优化器）会显著影响模型表现，尤其在数据噪声较大且收益率变化微妙的金融时序中尤为关键。[page::0]

2.2 文献综述（章节2）

综合分析了传统时间序列方法（ARIMA、Kalman滤波）对非线性和市场冲击处理不够，随后展示状态空间模型及其变体如何突破长序列处理瓶颈，且计算效率优于基于注意力机制的Transformer模型。
重点介绍Gu等人提出的S4模型，以及基于此优化出具备硬件并行能力的Mamba模型，突出其输入依赖参数调整的灵活性，能够关注重要信息，实现快速高精度的时序推断。
指出针对MambaStock的优化探索尚不充分，尤其是针对金融数据特性设计优化器的研究缺失，Lion优化器虽新但尚未广泛用于金融时序的Mamba模型。
这为后续实证对比新颖优化器打下基础。[page::1]

2.3 方法论（章节3）

数据方面，报告使用了2000年至2019年每周标普500指数数据，包含前瞻一周收益为预测目标，融合10个技术指标、3个估值比率及2个市场情绪指标，数据集细节在表1展示，数据处理保证训练、验证、测试时序因果关系严谨。
模型方面，固定采用MambaStock的2层隐层、64隐藏单元设置，不做网络结构调整，只变更优化器以探究训练动态。
基线优化器包括8种流行方法（如SGD、Nesterov动量、Adam、AdamW、以及Lion）。
Roaree优化器基于Lion，通过用曲率超参数控制的平滑替代符号函数（sign）构造多个变体，降低Lion固有的震荡性。
训练策略统一为64个epoch，严格搜索学习率、权重衰减超参数，记录平均每epoch时间及多种误差指标（MSE、RMSE、MAE、解释方差系数R²、方向预测准确率），保证对比公平。[page::1][page::2][page::3]

---

三、图表深度解读

3.1 表1：数据特征说明

描述了模型输入特征的构成：历史收益、技术指标（如ADX、CCI、MACD、RSI）、估值比例（账面价比率PB、市盈率PE）及市场情绪分数等，涵盖价格趋势强度、波动率、动量、买卖超买超卖信号等金融常用指标。
这表格突显数据多维度融合，说明模型综合利用技术、基本面、情绪信息提升预测能力的背景。[page::2]

3.2 图1：“速度 vs. 最佳测试MSE”

该图为散点图，横轴是每轮平均耗时，纵轴是测试集均方误差（对数尺度），各点映射不同优化器及其最速（圆形）和最低误差（三角形）配置。
可见Nesterov, RMSProp, Adam及带Momentum的SGD组合点集中于低误差区，但平均时间稍长。Lion以最快训练时间明显优于其他优化器但测试误差未达到最低水平。AdamW表现不佳，验证了文本所述过度正则化影响性能。
此图直观反映速度与预测误差间的权衡特性，支持选择时需根据应用场景权衡。
[page::4]

3.3 图2：各优化器验证集MSE热力图

横轴为学习率，纵轴为权重衰减，色彩表示验证MSE的大小。不同优化器的色彩分布表明其对超参数敏感度差异。
Lion优化器显现出更宽泛的低误差区域，显示其在大规模调参或极端超参环境下的鲁棒性。相比之下，Adam及其变体对超参数调节需求较为精细。
表明选择优化器时需要结合超参数灵敏度考量，这对大量实验探索尤为关键。
[page::4]

3.4 图3和图4：Roaree 与 基线优化器对比及收敛曲线

图3对比测试MSE与时间，Roaree不同平滑替代形式普遍优于Lion，部分接近Adam和RMSProp，但整体不及后两者全网格最优值。
图4绘制了Roaree各种替代符号函数与Lion在训练过程中的MSE变化，Roaree表现出更平缓的震荡，Lion则有显著振荡，导致训练不稳定。
最佳的Roaree形式是使用误差函数(erf)曲线替代符号函数，κ=10时表现最佳，不仅训练快且误差较低。
这些图强化了设计平滑更新的重要性，及其带来的精度与稳定性提升。

[page::5]

3.5 附录表格（第7页）

记录了各种优化器最佳超参配置与对应的测试及验证MSE、平均epoch时长。
Baselines中，Nesterov与RMSProp测试MSE最低，Lion错误较大但epoch时间最短约0.2452秒，Roaree’s erf surrogate在0.2451秒，测试MSE中等偏优。
进一步支持报告对优化器性能的实证结论与选优建议。[page::7]

3.6 图8-13（第8-11页）

这组图展示了各优化器在测试MAE、MSE、RMSE及方向准确率上的表现随训练时间的关系，且分辨最速和最优配置。
均显示Adam、RMSProp、Nesterov表现稳定优于其他优化器，Lion更快但存在精度瓶颈，SGD表现最差。
方向准确率指标突出动量和自适应算法的实用价值，均在约65%-70%区间徘徊。
这类细粒度指标支持多维度评价优化策略，而非单一MSE，可以更好说明金融预测任务的复杂性。[page::8][page::9][page::10][page::11]

---

四、估值分析（非典型）

该报告并未涉及传统意义上的企业估值估价部分，报告聚焦于模型性能评估和算法层面优化。因此未涵盖估值模型、DCF、PE等财务估值内容。

---

五、风险因素评估

报告中讨论的风险关键点主要体现在方法论与实际操作层面：

• 原始数据有限性，尤其高质量历史股票数据的商业价值限制，可能影响模型训练和泛化能力。

- 不同优化算法对超参数的依赖及其调优复杂性，如不同算法所需学习率与权重衰减差异较大，可能导致比较结果存在偏差。

• Roaree优化器虽提升训练稳定性，但仍依赖于超参数曲率κ，选择不当会产生梯度爆炸或过度平滑，尚需深入搜索和验证。

报告未详述缓解策略，但提及通过广泛的网格搜索和平滑方法设计部分缓解超参数敏感。
同时指出未来需探索更高级的二阶优化器（如Sophia）以解决进一步提升速度和性能的瓶颈。[page::6]

---

六、批判性视角与细微差别

• 报告全程基于MambaStock固定架构，仅对优化器进行了更换，对模型结构或特征工程无创新，可能限制性能上限。

- 评测指标偏重误差数值和训练时间，未涉及实盘策略回测或更复杂的金融风险指标，实用价值需要结合实际交易场景验证。

• Roaree优化器设计虽新颖，但实验中其它传统自适应优化器（Adam, RMSProp）仍领先，说明平滑策略尚未完全弥补Lion的不足。

- 超参数网格搜索虽广泛，但调参空间仍有限，且整体优化器对不同任务或架构的泛化能力未被考察，有待扩展。

• 由于数据因果拆分保持严格，激进的历史窗口选择未被检验，可能高估模型实际预测准确性。

总体风格保持客观，综合了多方面指标避免单一角度失衡，然而缺乏金融交易层面的深度验证。

---

七、结论性综合

本报告围绕金融时序预测中的优化器选择展开详尽实验和分析，主要结论包括：

• 传统自适应优化器（Adam、RMSProp）配合动量机制表现出最低的预测误差，适合对精度要求高的金融预测任务。

- Lion优化器通过加速训练提升效率，但在损失振荡问题及最终精度上表现逊色，尤其在金融时序的微弱信号环境下未能充分收敛。

• 新设计的Roaree优化器家族基于对Lion优化更新中的符号函数做平滑替代，成功降低训练过程中的震荡，使收敛更平稳，并在一定程度上提升准确度和训练速度。

- 其中，误差函数(erf)作为符号函数替代时，Roaree获得最优表现，训练时间最低同时测试误差优良，体现出较好的速度-精度平衡。

• 实验中利用标普500指数历史数据及多元金融指标，确保评估全面且严谨，结合超参数网格搜索保障结果稳健。

- 图表分析充分揭示了各优化器在测试误差、训练速度和预测方向准确率等多维指标上的表现差异，支持了文本结论。

• 尽管Roaree提供了前瞻性的优化思路，传统优化算法依旧是工业应用中的稳健选择，未来进一步探索二阶优化器与更精细的平滑替代或许能推动更大突破。

总之，报告对于金融机器学习尤其是状态空间模型优化层面的研究贡献明确，优化器选择及其性能权衡为金融模型开发者提供了科学依据和实践参考。[page::0][page::1][page::2][page::3][page::4][page::5][page::6][page::7][page::8][page::9][page::10][page::11]

---

综述

本报告较全面系统地评估了标普500指数预测任务中，采用MambaStock状态空间模型时，各主流和新型优化器的表现。通过实验与理论结合，作者清晰揭示了训练速度与预测准确度的权衡困境，并创新性地提出了Roaree优化器族为解决Lion振荡问题提供了可行路径。论文结构严谨，包含详细的数据说明、基线比较、超参数调优、丰富图表和收敛性质分析。其发现对于金融量化策略快速开发和调试有实际指导价值，未来工作指出了优化器进一步提升的方向。

本次分析涵盖了数据、算法、性能、多样指标、超参数敏感度及实际训练动作的全流程解读，并就报告的薄弱和未来潜在改进提出了审慎建议。

（全文共计约2400字。）

报告