研究背景与问题陈述 [page::0][page::1]

• 气候变化由人为温室气体(GHG)过量排放引起，政府采用排放限额及罚款机制监管。

- 温室气体抵消信用（Offset Credit, OC）作为金融衍生品，通过可验证的减排项目生成，并用于抵消超标排放或市场交易。

• 目标为求解有限代理（多企业）在该抵消信用市场中的纳什均衡策略，因其计算复杂度极高，需借助强化学习。

模型设定与方法概述 [page::3][page::4][page::6][page::7]

• 市场结构基于加拿大联邦和省级OC市场，含合规市场和自愿市场，参与主体为有限个代理，每代理有排放抵消需求。

- 行动空间为两个维度：交易速率与生成OC的概率。

• 价格过程为服从布朗桥的随机过程，目标价格钉住合规罚金，且OC生成存在价格冲击。

- 采用深度强化学习中Nash-DQN方法，将Q函数分解为价值函数与优势函数，优势函数局部二次，利用深度神经网络参数化，各代理通过该框架学习纳什均衡策略。

算法实现细节 [page::10][page::11]

• 代理共享深度神经网络（DNN）参数的策略、优势及价值函数，优化均衡策略。

- 训练时采用软市场清算惩罚项，确保交易速率总和接近零，模拟封闭市场。

• 动作输出经过限制激活确保交易速率有界且概率在0-1间，训练过程中采用带噪声的探索策略提升训练效率。

多主体数值实验与结果分析 [page::12][page::14][page::16][page::17]

• 四代理模型中，价格演化展示OC价格遵循布朗桥并受生成冲击显著影响，代理库存部分满足要求但均有罚金。

- 代理参与度高，均进行OC生成与部分交易，总生成份额约占25%合规需求，代理收益均优于不参与基准。

• 八代理扩展模型中，生成比例提升至63%，代理按类别共享策略，能力更强代理生成概率约为50%，能力弱代理以交易为主。

- 经济效益显著，平均收益及尾部表现均好于罚金成本，进一步验证纳什均衡参与的价值。

结论与未来展望 [page::17][page::18]

• 研究表明深度RL方法可有效求解有限代理GHG OC市场纳什均衡，帮助监管机构理解市场行为及优化政策。

- 未来可考虑模型校准、引入随机抵消需求、监管者为主导的委托代理博弈、价格内生化等拓展方向以提升模型实用性。

多智能体强化学习在温室气体抵消信用市场中的应用研究分析报告

---

1. 元数据与概览 (引言与报告概览)

报告基本信息

• 标题：MULTI-AGENT REINFORCEMENT LEARNING FOR GREENHOUSE GAS OFFSET CREDIT MARKETS

- 作者：Liam Welsh、Udit Grover、Sebastian Jaimungal

• 机构：多伦多大学统计科学系与工程科学系，牛津大学Oxford-Man量化金融研究所

- 日期：2025年9月29日

• 主题：利用多智能体强化学习方法研究加拿大温室气体（GHG）抵消信用（Offset Credit, OC）市场的纳什均衡及其金融行为表现

核心论点及目标

报告聚焦于碳排放超额问题，通过加拿大实际的温室气体抵消信用市场（OC市场）作为案例，研究多家受限排放企业如何在OC市场中动态投资抵消项目和交易信用，以遵守排放限制从而规避罚款。该市场是一个典型的多智能体博弈，其中各方的策略影响市场均衡结果。

核心贡献是：

• 构建适用于该市场的多智能体动态博弈模型，理论上刻画有限玩家博弈的纳什均衡；

- 鉴于纳什均衡的计算属NP难问题，采用最先进的强化学习技术——Nash-DQN算法，基于深度Q学习高效近似计算这一均衡；

• 通过数值实验验证RL方法在气候金融市场中的有效性以及依照纳什策略博弈的市场参与者可实现显著财务节省；

- 该方法能辅助政策制定者了解企业行为并优化监管设计。

换言之，作者试图把强化学习应用到碳抵消市场的纳什均衡分析中，突破传统方法的计算壁垒，研究企业在污染抵消信用交易与生成上的最优混合策略[page::0,1,2]。

---

2. 逐节深度解读 (逐章精读与剖析)

2.1 引言（Introduction）

• 阐述气候变化成因及温室气体超额排放的社会经济影响（如极端天气、人口迁移）；

- 介绍全球主要碳定价体系（碳税、排放交易等），指出目前全球仅约4%的系统符合巴黎协定限制温度升幅2°C的价值标准，因缺乏统一碳价；

• 国际条约如蒙特利尔议定书、京都议定书、巴黎协定、格拉斯哥气候协议旨在减少温室气体排放，支持绿色技术发展；

- 引用Kenyon等的“碳等价原理”，提出金融产品应纳入碳排放条款以实现净零投资组合；

• 综述加拿大温室气体抵消信用市场框架，说明该市场结合了碳排放限额与抵消信用交易，已有大量对碳交易和可再生能源证书市场的经典建模研究，其中涉及动态控制、均衡价格及监管策略[page::1]。

2.2 背景与文献综述

• 总结以往传统数学及经济学方法在碳排放交易中的应用（单周期、多周期模型、Stackelberg博弈、均场控制等）；

- 指出现有研究多采用经典模型，现代统计机器学习方法（尤其强化学习）尚处于早期探索阶段；

• 介绍几篇近期前沿工作，分别应用深度RL解决投资组合碳足迹平衡、企业碳排放估计及碳封存自主控制等问题，点出本报告与这些文献的差异与创新；

- 明确提出本文方法：利用Nash-DQN估算有限玩家的纳什均衡策略，兼顾计算效率与市场模型复杂度；

• 结构安排说明：第二章介绍加拿大碳市场及Nash-DQN方法，第三章介绍博弈模型及RL实现，第四章展示实验，第五章为总结[page::2,3].

2.3 加拿大温室气体抵消信用市场结构

• 加拿大允许联邦与省级政府独立制定碳市场，但需符合联邦最低标准；

- 当前联邦OC市场（2022年建立）含合规市场与自愿市场，受监管公司拥有排放限额，超额排放面临$50/吨CO2e$的罚款，该罚款预计逐年升至2030年的$170/吨，促使企业减少排放或投资生成OC抵消信用；

• OC抵消信用由验证后的项目生成，代表相当于一公吨CO2等效的温室气体排放抵消量，项目需非惯例业务外的减排措施；

- 抵消信用可交易，用于抵消罚款或出售给其他企业；

• 省级市场已有成熟案例，诸如不列颠哥伦比亚省和魁北克，后者限制抵消信用只能覆盖最多8%的排放，增强总体减排动力；

- 报告的建模基于此合规市场机制，假设参与者为有能力投资项目或进行抵消信用交易的受监管多玩家[page::3,4].

2.4 强化学习与Nash-DQN算法介绍

• 认知到有限玩家博弈的纳什均衡计算是NP完全问题，采用强化学习—尤其Q学习框架求近似纳什策略；

- 多智能体RL中，每个代理在状态空间$\mathcal{S}$下选择动作$ai\in\mathcal{A}$，获得奖励，环境由状态转移概率描述，但代理不直接知晓其形式；

• 纳什均衡定义：所有代理策略形成的均衡使得任何单独代理单边改变策略收益不增；

- 强调Bellman方程和价值函数、Q函数的关系，通过Bellman算子的性质保证Q学习的收敛性；

• Nash-DQN将多智能体的Q函数分解为价值函数和优势函数（advantage function），优势函数在动作空间局部以线性-二次型形式近似，从而保证动作的凹性和纳什均衡的唯一性；

- 对优势函数相关正定矩阵参数利用深度神经网络建模，通过损失函数驱动DNN参数优化，向纳什均衡靠近；

• 算法细节包括软更新目标网络缓解学习波动，行动空间输出用tanh和sigmoid约束在合理区间内，利用噪声实现策略探索；

- 此方法结合了传统博弈论与现代深度强化学习，提升了高维状态动作环境下的纳什均衡计算效率和可扩展性[page::4,5,6,7,8].

2.5 模型具体构建与奖励设计

• 参与者数目$N$，时间划分成$K$个步长，多个合规期$L$，合规日期$Tl$定义重要节点；

- 每位代理的状态包括时间$tk$，信用价格$S{tk}$及其库存$X{tk,i}$；

• 行动包括交易速率$\nu{tk,i}$和生成抵消信用概率$p{tk,i}$，库存更新规则明确区分生成与交易两部分；

- 价格过程为服从布朗桥模型，保证期末价格等于罚款价格，并考虑生成信用时对市场价格产生的负冲击（价格下降）；

• 报酬函数综合三项成本：

- 罚款—超额排放未用信用抵销部分的罚金；
- 交易成本—包括直接成本及交易摩擦成本二次项；
- 生成成本—以固定产生OC的成本按其生成概率收费；

• 设计软市场清算机制，通过附加项在损失中约束所有代理交易总量接近零，确保公平封闭市场环境；

- 通过环境定义和奖励设计，构成完整多智能体Markov决策过程，目标是求解纳什均衡策略以最大化各自期望总奖励（即最小化总费用）[page::8,9,10].

2.6 算法实现细节

• 使用深度神经网络分别拟合价值函数、优势函数参数矩阵和策略函数；

- 利用经验回放（experience replay）随机采样状态动作对批量训练，提高数据效率与稳定性；

• 通过软更新(target network)降低模型过拟合和遗忘风险；

- 策略输出用tanh限制交易量，sigmoid限制生成概率，并通过逐步衰减的高斯噪声实现策略探索；

• 将合规罚款用逐步差分罚款重写为偏差惩罚项，便于分散奖励信号传导，有助训练过程的稳定；

- 同类规格代理共享网络结构，显著降低模型参数规模，提升算法可扩展性；

• 训练指导思想是最小化包含Q函数Bellman残差和市场软清算惩罚的联合损失函数，迭代优化实现均衡策略收敛[page::10,11].

2.7 数值实验结果

4.1 四代理场景模拟（小规模市场）

• 4个代理均有25个碳抵消信用的合规需求；

- 生成成本与罚款相同但生成量不同，代表大中小型企业；

• 交易步长24步（约对应1年），交易参数、市场震荡、摩擦等按照合理假设设定，模拟共训练20,000次迭代；

- 图2显示OC价格路径，价格在合规期限内呈现布朗桥特性，受生成行为影响短期下跌，合规日期价格与罚款值对齐；

• 图3为代理库存，均未能完全满足25个OC需求，导致部分罚款；

- 图4展示交易速率和生成概率，较大代理承担更多卖出平仓，大部分代理有不同比例的生成行为；

• 表4盈亏(P&L)展示各代理均优于被动罚款的基准，收益率与尾部风险均有所改善，显示纳什策略有效；

- 生成OC数量约占整体超额排放的36.3%，市场中参与者均有主动生成或交易行为，展示出活跃市场机制下减排激励的有效性[page::12,13,14,15].

4.2 八代理场景模拟（更大范围市场）

• 代理分为5个类别，部分代理间存在参数共享，提升训练效率；

- 生成能力及需求差异显著，激励代理策略异质；

• 下调价格影响参数以反映规模扩大市场效应；

- 图6呈现价格路径，交易与生成策略如图7所示，生成概率集中在大能力类，部分代理仅通过交易获得信用；

• 表8总结代理盈亏，均优于不参与市场的基准罚款，多个代理有效生成大量OC，整体超过63%的超额排放被抵消；

- 市场中高生成能力代理更倾向全程生成，低生成能力代理积极交易，反映现实市场中大型企业和小型企业不同减排路径；

• 价格、库存、行为极具合理性，验证了RL学习出的纳什均衡具备现实解释力与政策意义[page::16,17,18].

---

3. 图表深度解读

图1：MDP的有向图示（第5页）

• 展示智能体决策、状态转移与奖励反馈的互动关系；

- 强调状态-动作-奖励-新状态的关系，体现RL学习框架的核心；

• 该示意图对应文本中MDP的形式化定义，帮助理解多代理的环境交互过程[page::5].

图2：OC价格演化（第14页）

• 展示Poisson采样下10,000条路径的均值及5%-95%置信区间；

- 价格呈现典型布朗桥特征，即价格向合规日的罚款价格回归，同时受到生成信用行为产生的价格下跌效应；

• 符合市场设定的强化学习机制与经济合理性，实时反映了代理行为对价格的冲击与均衡[page::14].

图3：代理库存演化曲线（第14页）

• 各代理库存逐步积累但未完全达到25OC需求，显示代理权衡罚款与成本后采取的最优策略；

- 形态多样反映代理能力、生成概率的差异，符合纳什均衡的动态特征；

• 同时，库存与价格路径的贷款关系佐证市场内部逻辑合理[page::14].

表4：代理盈亏与行为统计（第14页）

• 各代理均实现超过基准罚款水平的盈亏改善，表明策略学习有效；

- 交易与生成策略配合良好，整体生成信用占较大比例，交易数量相对较小，体现市场清算机制；

• 盈亏分布均较为平稳，尾部风险控制较好，说明RL策略具有风险意识[page::14].

图4：代理交易率与生成概率（第15页）

• 不同代理表现出截然不同的交易方向和生成频率；

- 大型代理扮演市场流动性提供者，承担卖出，部分平衡生成成本；

• 生成概率呈现低到高分布，反映成本与生成能力差异；此图为代理博弈动态贡献的直观表现[page::15].

图5：代理终端盈亏分布直方图（第15页）

• 显示盈亏分布相对集中且尾部风险有较好控制，强化了策略对风险的适应能力；

- 视觉化盈亏风险有助监管者和市场参与者理解潜在收益与风险平衡[page::15].

图6：八代理价格演化（第17页）

• 同样呈现布朗桥趋势，价格区间与生成活动结合良好，反映更复杂多元市场中的均衡动态；

- 价格区间较四代理时更宽，符合参与者更复杂的博弈行为[page::17].

表8：八代理盈亏指标及策略统计（第17页）

• 明显不同等级代理盈亏、生成与交易策略差异，体现策略异质性；

- 高生成能力代理产生大量信用，低能力代理主要通过交易手段达合规要求；

• 所有代理均优于基准罚款，样本数充足，足以证明模型效果的稳健性[page::17].

图7：八代理交易率、生成概率与库存变化（第18页）

• 明显阶层性策略表现：大代理多生成信用，少量代理补充交易；

- 生成概率稳定在0或近0.5，库存波动合理响应市场行为和合规需要；

• 同类代理动作一致，证明共享模型有效[page::18].

---

4. 估值分析

报告并未直接涉及传统的公司价值估值，但深入构建了一个竞争性的多代理动态博弈模型，估计基于代理策略的财务损益及交易成本，隐含市场参与者的“价值函数”；

• 通过求解纳什均衡策略，反演参与者长期收益最大化路径，间接估算了参与市场减排和交易的财务价值；

- 该价值体现在期望盈亏和尾部风险控制中，实际数值优于不参与基准，表明该机制在经济激励上可持续有效；

• 估值的关键参数和假设包括OC价格演化、交易摩擦、生成成本及罚款大小，均通过标定加拿大联邦市场实际政策确定；

- 纳什均衡策略实际是价值函数的局部最优解，强化学习通过动态规划原理及优势函数分解精确逼近[page::6,7,8,9,10].

---

5. 风险因素评估

报告主要风险因素包括：

• 模型假设风险：

- OC需求量被假定为确定性，忽视了实际环境中排放的波动及突发事件；
- OC价格模型为外生布朗桥，忽视了价格内生反馈机制；

• 数据和参数风险：

- 目前加拿大联邦市场新建立，缺少长期交易数据，模型参数多为基于政策和模拟调整；

• 计算与收敛风险：

- Nash均衡计算固有复杂，深度强化学习方法虽高效，但无法保证全局最优与收敛速度，受探索策略影响；

• 市场风险：

- 市场供需瞬时失衡可能导致价格剧烈波动，模型中的软清算机制虽减缓但不能完全消除此风险；

• 政策与监管风险：

- 政策变动可能改变罚款标准与抵消信用规则，导致模型假设失效。

报告提出的风险缓解策略主要为利用软约束机制实现市场封闭，提高训练稳定性及代理共享DNN降低计算复杂度；并建议未来工作纳入更复杂的需求和价格建模以增强鲁棒性[page::8,11,18].

---

6. 批判性视角与细微差别

• 报告对现有碳市场的现实复杂性做了合理简化，尤其是假定需求为确定性以及价格的外生设定，虽有助建模与计算，但在实际应用时需谨慎；

- 采用深度强化学习作为求解途径具有创新性，但对超参数、网络结构设计高度敏感，本文参数选择为经验示范，尚未在实际数据上证明；

• 虽然通过共享DNN减小训练成本，但不同行为异质性的细粒度建模能力有限；

- 报告重点分析了合规市场，未深入涉及自愿市场对价格和行为的潜在影响；

• 在算法展示环节，伪代码略显简略，部分步骤（如探索策略细节）未完全展开，可能影响读者复现；

- 作者明确指出存在未来改进方向，如引入随机需求、价格内生化、监管者作为主导方的博弈，加强模型现实表现力与应用价值[page::11,18].

---

7. 结论性综合

本报告系统研究了加拿大新兴温室气体抵消信用市场中多家有排放限制企业的动态博弈行为。基于深度强化学习中的Nash-DQN算法，报告创新性地计算了有限代理多期博弈的纳什均衡。通过两组数值模拟（4代理和8代理），发现：

• 强制参与碳抵消信用市场可显著降低企业罚款成本，形成理性且经济有效的减排与信用交易策略；

- 企业的生成能力对其市场行为影响显著，具备较大生成能力的企业更倾向于投资碳抵消项目，体现规模效应；

• 市场价格动态呈布朗桥特性，并有生成行为触发的价格冲击，强化了市场的经济合理性；

- 软市场清算约束有效维护了市场平衡，体现现实市场运作的公平性与稳定性；

• 共享DNN在多代理异类市场中提升了模型的计算可行性和训练效率。

图表支持了文本论断：价格波动合理，库存动态反映策略差异，盈亏统计显示策略优于基准罚款。尽管模型仍有简化，报告明确未来可扩展路径，预计对监管政策设计和企业绿色投资策略形成积极影响。

综上，报告表明将现代多智能体深度强化学习应用于碳抵消信用市场纳什均衡研究不仅科学可行且经济意义重大，为气候金融和算法博弈领域开辟了新道路[page::0-18].

---

致谢

本报告节选了多伦多大学及牛津大学团队的2025年权威研究成果，数据全面细致，理论与实践结合紧密，相关代码与算法可供同行借鉴，具有较高的学术及应用价值。

报告