混合物理-ML辐射方案：攻克气候模型中次网格云效应的新范式

1. 项目概述与核心挑战在气候模拟这个庞大的数字沙盘中地球系统模型ESM是我们理解未来气候演变的核心工具。然而这个沙盘有一个长期存在的“颗粒度”难题受限于计算资源模型的水平分辨率通常在100到200公里。在这个尺度上云——这个气候系统中能量收支的关键调节者——是无法被显式解析的。它们以“次网格”的形式存在即其精细的结构和分布远小于一个网格单元。传统上模型通过参数化方案来“猜测”这些看不见的云如何影响辐射传输最主流的方法之一是蒙特卡洛独立柱近似McICA。这个方法虽然巧妙通过随机分配网格内的晴空和云区来近似云的覆盖率但其本质是一种统计简化。它引入的误差在表面辐射通量上可达100 W/m²相对误差超过10%。尽管在长期模拟中这些无偏误差可能被平均掉但在逐列、逐时刻的计算中这种不确定性是巨大的直接影响着我们对云-辐射反馈机制的理解和气候敏感度的预估。近年来机器学习ML为物理参数化带来了革命性的希望。ML辐射模拟器因其潜在的计算速度优势而备受关注人们期望它能更频繁地在模型积分中被调用。然而实践表明纯粹的速度提升有限且在多云条件下的准确性仍是瓶颈。这引出了一个更深层的问题我们是否用错了力或许ML的价值不在于替代整个复杂的辐射传输计算而在于精准地攻克其中最棘手、不确定性最高的部分——次网格云效应。这正是MLe-radiation v1.0方案的出发点。我们不再试图用一个“黑箱”神经网络去模拟从大气状态到总辐射通量的整个映射关系。相反我们采取了一种“分而治之”的混合策略让久经考验的物理辐射方案如RTERRTMGP继续负责计算它最擅长的部分——晴空条件下的辐射传输这主要取决于温室气体、水汽等成分同时训练一个专门的机器学习模型只学习“云”所带来的额外辐射影响。这个思路的核心在于高分辨率全球风暴解析模型GSRM如5公里网格的ICON模型已经能够显式解析大部分云系统。通过将高分辨率输出粗粒化到目标ESM的分辨率如80公里我们得到的数据本身就隐含了次网格云的统计效应。机器学习模型的任务就是从这些粗粒化后的“平均”大气状态中反演出高分辨率数据中所蕴含的、真实的次网格云辐射影响。这种混合架构的精妙之处在于其“各司其职”。物理部分确保了方案对温室气体浓度、气溶胶变化等外部强迫的物理一致性响应这是气候预测的基石。ML部分则专注于攻克物理参数化中不确定性最大的云分布难题。两者结合旨在实现“112”的效果既保持了物理方案的稳健性和可解释性又利用数据驱动方法大幅提升了云辐射效应的模拟精度。接下来我们将深入拆解这一方案的设计思路、实现细节并分享在构建和测试过程中的关键经验与避坑指南。2. 核心思路与混合架构设计2.1 问题解构为何聚焦“云辐射影响”在深入技术细节前必须厘清一个根本概念什么是“云辐射影响”Cloud Radiative Impact, CRI在我们的框架中它被精确定义为全天空all-sky加热率与晴空clear-sky加热率之差。这里的“晴空”并非指万里无云的大气而是指在完全相同的温、压、湿等大气状态下仅仅移除了云水、云冰等云粒子后的理想场景。这个差值纯粹反映了云的存在对大气层加热或冷却速率的改变。传统辐射方案在计算全天空通量时需要同时处理气体光学属性和云光学属性过程高度非线性且耦合紧密。而将CRI分离出来作为独立的学习目标具有多重战略优势。首先它极大地简化了机器学习模型的学习任务。模型无需从头学习整个复杂的光谱辐射传输物理只需专注于云与辐射场相互作用的“增量”部分。这降低了模型的复杂度减少了过拟合风险并有望提升训练效率。其次这种分离天然地增强了方案的泛化能力和物理一致性。晴空部分由物理方案计算能直接、准确地响应二氧化碳、甲烷等温室气体浓度的变化这是气候模拟的刚性需求。ML学习的云影响部分则主要依赖于云的宏观和微观物理量如云水、云冰路径、云分数这些量与温室气体浓度的直接关联较弱变化相对缓慢。因此即使未来气候态发生变化只要ML模型能准确捕捉云量与大气状态之间的统计关系整个混合方案就能保持稳定。2.2 混合物理-ML架构详解MLe-radiation v1.0的架构可以清晰地分为前后两个阶段如图1所示概念图。这是一个典型的“物理前置ML后置”的协同流水线。第一阶段物理辐射方案计算晴空通量。输入是粗分辨率模型网格的垂直廓线包括温度T、气压P、水汽qv、臭氧O3等气体浓度以及地表反照率α、太阳天顶角等边界条件。这些数据被送入一个成熟的物理辐射传输代码本研究使用RTERRTMGP的Python前端pyRTE。该代码基于第一性原理计算在没有云的情况下太阳短波辐射和地球长波辐射在大气中的传输、吸收和发射过程最终输出每一层的晴空辐射通量F_clear及由此衍生的晴空加热率∂T_clear/∂t。这一步完全依赖于物理定律不涉及任何关于云的假设。第二阶段ML模型预测云辐射影响。与此同时同一组大气状态数据连同关键的云宏微观物理量——包括云水ql、云冰qi、雪qs的质量混合比垂直廓线以及云面积分数cl——被送入一个精心设计的神经网络。这个网络的任务是预测同一个大气柱中云所引起的加热率变化即CRI∂T_CRI/∂t。网络的设计我们将在下一章详述。这里的关键是网络的训练目标数据并非来自物理方案而是来自高分辨率GSRM模拟的“真实”答案。具体做法是运行高分辨率模型得到高精度的全天空和晴空加热率两者相减得到“真实”的CRI。然后将高分辨率场粗粒化到目标分辨率用粗粒化后的大气状态和云量作为输入特征粗粒化后的CRI作为训练标签。这样网络学习到的是从“粗分辨率平均态”到“隐含了次网格效应的云辐射影响”的映射。最终合成将第一阶段物理方案计算的晴空加热率与第二阶段ML模型预测的云辐射影响直接相加即得到混合方案预估的全天空加热率∂T_all-sky/∂t ∂T_clear/∂t ∂T_CRI/∂t。注意线性叠加的合理性初看之下将晴空和云影响线性叠加可能违背直觉因为辐射传输中气体尤其是水汽与云之间存在强烈的非线性相互作用例如水汽吸收带与云粒子的重叠。然而这种“非线性”已经被编码在ML模型的学习过程中。网络在根据给定的大气状态包含水汽和云状态进行预测时已经内在地区分和耦合了这些效应。我们的方法实质上是将总的非线性问题分解为一个确定性的物理部分晴空和一个数据驱动的、学习非线性残差的部分云影响。实践证明这种分解是可行且高效的。2.3 方案优势与潜在局限这种混合架构的核心优势在于其模块和可解释性的提升。计算灵活性晴空辐射的计算相对昂贵但受云变化的影响小因此可以降低其调用频率例如每10个物理步长调用一次。而云辐射影响部分由快速的ML模型计算可以每个步长都更新从而在保证精度的同时优化计算成本。易于更新与迭代物理辐射方案和ML模型可以独立发展和改进。例如当有更新的吸收系数数据库或更高效的辐射求解器时只需更新物理部分。同样当获得更多、更高质量的高分辨率数据时可以重新训练或微调ML模型而无需改动整个框架。缓解分布外问题在气候变暖的情景下大气温湿结构会变化但物理方案能正确处理这种变化对晴空辐射的影响。ML部分只要学习的云-气候关系稳健就能保持较好性能。当然方案也有其局限。最主要的挑战在于它目前无法捕捉云对辐射的二次效应例如云层反射的短波辐射被上层大气或另一片云再次吸收的过程。在高分辨率模拟中这种3D辐射效应是部分被解析的但在我们的方法中当ML模型仅学习单列的、粗粒化的CRI时这种水平方向的辐射相互作用信息是丢失的。不过对于全球气候模型而言一维辐射传输假设本身就是主流因此这个局限与传统方案是共通的。3. 机器学习组件BiLSTM网络的设计与训练3.1 网络架构选择为何是BiLSTM在众多神经网络结构中我们选择了双向长短期记忆网络BiLSTM作为核心模型。这并非随意之举而是基于辐射传输问题的物理特性深思熟虑后的结果。辐射在大气中的传输具有强烈的垂直方向性和双向性。短波太阳辐射从顶部入射向下传输被大气和地表吸收、散射长波热辐射则从地表和大气各层向上、向下发射。一个理想的网络应该能同时捕捉这种自上而下和自下而上的信息流。传统的全连接网络Dense Network或卷积网络CNN在处理垂直廓线时难以显式建模这种方向性依赖。循环神经网络RNN及其变体LSTM原本是为时间序列设计但其“记忆”特性恰好适用于垂直序列数据——高层大气的状态会影响其下层的辐射通量反之亦然。BiLSTM将两个独立的LSTM层叠加一个从前向后从大气顶到地表扫描垂直廓线另一个从后向前从地表到大气顶扫描。最后将两个方向的输出合并。这种结构让网络每一层的“感知”都同时包含了其上、下层的大气信息非常贴合辐射通量计算中需要同时考虑来自上方和下方辐射的物理图像。先前的研究如Ukkonen, 2022; Yao et al., 2023也证实了BiLSTM在辐射模拟任务上的卓越表现。我们的具体实现如下输入层接收一个垂直维度为47层与目标粗分辨率模型一致的大气柱数据。BiLSTM层单层隐藏维度为96使用tanh激活函数。两个LSTM分别处理正向和反向序列。合并与输出层将BiLSTM两个方向的最终隐藏状态拼接通过一个全连接层Dense Layer映射到47个输出节点即预测的每一层的云辐射影响加热率单位K/d。参数规模短波SW和长波LW辐射分别训练独立的网络每个网络约有82,000个可训练参数。这样的规模在保证表达能力的同时也确保了计算效率便于耦合到ESM中。3.2 输入特征工程与归一化策略特征选择是机器学习成功的基石。我们的输入特征全部是模型物理量旨在为网络提供足够的信息来推断云辐射效应核心大气状态所有辐射类型共用温度T、空气密度ρ的垂直廓线决定普朗克函数和吸收线强度。水汽qv、臭氧O3质量混合比垂直廓线最重要的温室气体吸收体。云水ql、云冰qi、雪qs质量混合比垂直廓线云粒子的微观物理量直接决定云的光学厚度。云面积分数cl垂直廓线云的宏观覆盖度。辐射类型特定输入短波SW地表反照率α、大气顶入射太阳辐射通量F↓,TOA,SW。后者由太阳常数根据日地距离和太阳天顶角加权得到用以表征日变化和季节变化。长波LW地表温度T_surf。归一化处理这是稳定训练、加速收敛的关键步骤。我们采用了分而治之的策略Z-score归一化对于O3、ρ、T、T_surf这类数值范围变化大、分布相对规则的变量采用 (x - μ) / σ 进行标准化使其均值为0标准差为1。比例归一化对于云水、云冰、雪ql, qi, qs我们将其除以环境总水qv ql qi qs。这是因为云的光学性质更依赖于云水路径的相对值而非绝对值。这种处理使网络更关注云的相态和相对含量。保留原值云分数cl和地表反照率α本身就在[0,1]区间无需归一化。简单缩放大气顶太阳通量除以1360 W/m²接近太阳常数进行缩放。输出目标CRI仅转换为K/d的单位其量级通常在1左右未做进一步归一化。实操心得归一化的“物理直觉”对云水物质采用比例归一化是一个关键技巧。设想一个非常潮湿的热带大气柱和一个干燥的极地大气柱即使它们含有绝对量相同的云水其光学厚度和辐射效应也可能天差地别。除以总水含量后网络输入的是一个“云水占总水的比例”这更直接地与云的生成过程和辐射效应相关。这种基于物理理解的预处理往往比盲目的标准化更能提升模型性能。3.3 训练流程与关键超参数我们使用高分辨率ICON模型在QUBICC协议下运行的40天模拟数据水平分辨率约5公里垂直191层。数据覆盖了2004年11月、2005年1月、4月、7月以捕捉季节变化。数据每192分钟输出一次以覆盖不同的太阳高度角。数据准备将高分辨率数据粗粒化到80公里、47层。剔除那些粗粒化后地表高度与目标网格偏差超过0.5米的网格点确保空间代表性。数据集划分每个时间步随机抽取3.5万个网格点用于训练5千个用于验证。测试集则独立抽取7.5万个LW和3.5万个SW网格点。最终训练集约230万样本验证集26万测试集LW 420万SW 190万。损失函数与优化器损失函数采用平均绝对误差MAE和均方误差MSE的加权和。MAE对异常值更稳健MSE有助于加速收敛。优化器使用Adam初始学习率设为10^-3。学习率调度采用ReduceLROnPlateau策略当验证集损失连续5个epoch下降不足0.1%时学习率减半。早停为防止过拟合若验证集损失连续10个epoch未下降则终止训练。训练硬件与时间在配备现代GPU如NVIDIA V100或A100的计算节点上单个网络SW或LW的训练通常在几小时到一天内完成。4. 方案评估与结果分析为了全面评估MLe-radiation v1.0的性能我们设计了一套严格的离线测试流程。基准对比对象是当前ESM中广泛使用的、基于物理的粗尺度辐射方案pyRTE采用McICA和最大-随机云重叠假设。测试数据是粗粒化后的高分辨率QUBICC数据我们将其视为“真实”参考值。4.1 整体性能对比误差降低一个数量级我们计算了多种场景下平均绝对误差MAE、偏差Bias和决定系数R²结果令人振奋。晴空场景如图4第一列所示pyRTE在晴空条件下表现良好SW和LW的MAE分别为0.367 K/d和0.564 K/d。这主要反映了由于输入参数水平均匀假设以及分辨率差异带来的误差。作为对比ML模型本不应用于晴空场景其预测应为零但误差极小SW 0.049 K/dLW 0.028 K/d说明网络没有在无云条件下产生虚假信号。全云天场景云量100%这是对云参数化方案的最大考验。如图4第二列pyRTE的误差急剧增大在10公里高度附近出现峰值MAE超过5 K/dR²降至0.83SW和0.66LW。这表明传统的McICA方案在模拟完全被云覆盖的网格时由于无法处理云内部的次网格不均匀性产生了显著偏差。相比之下ML增强方案的表现堪称卓越MAE降至0.106 K/dSW和0.127 K/dLW误差比pyRTE降低了4-6倍且几乎无偏。R²高达0.98表明其预测与高分辨率“真相”高度一致。部分云天场景云量10-90%这是最常见的天气状况。pyRTE的误差虽比全云天小但仍存在系统性偏差在1公里和10公里附近出现双峰误差结构图4第三列。ML增强方案再次大幅领先将MAE降低到0.082 K/dSW和0.068 K/dLW误差缩小了5-10倍。为了深入理解误差来源我们将部分云天样本进一步区分为非降水云浅对流、层云等和降水云深对流等。分析发现pyRTE对降水云尤其是高层云冰的模拟误差最大在上对流层10-15公里偏差可达1-3 K/d。这凸显了次网格尺度云冰分布对辐射加热率的巨大影响。ML增强方案虽然在上对流层误差也有所增加但其幅度远小于pyRTE平均误差仍低4-5倍。这表明ML模型从高分辨率数据中成功学习到了与深对流相关的复杂云垂直结构及其辐射效应。4.2 区域化表现应对多样云系气候模拟的准确性很大程度上取决于模型在不同气候区的表现。我们选取了五个特征性云区进行评估图5北极地区70-90°N云量较少误差主要在对流层低层。ML方案将误差降低4-8倍。南大洋30-65°S以深厚的层状云和活跃的天气系统闻名。pyRTE在此误差很大SW 0.417 K/dLW 0.760 K/d并呈现典型的双峰误差结构。ML方案同样再现了这种误差分布形态但将MAE降低了4-7倍说明它捕捉到了该区域云系的统计特征。热带海洋30°N-30°S深对流主导。pyRTE在上对流层误差巨大。ML方案将误差降低5-9倍显著改善了对流云顶的辐射冷却模拟。太平洋赤道辐合带ITCZ强烈的深对流区。结果与热带海洋类似ML方案优势明显。层积云区东南太平洋、东南大西洋、东北太平洋低层云主导。两个方案在低层1-2公里和上层10-12公里都出现误差峰值后者可能与远距离的高云影响有关。ML方案将误差降低5-9倍。区域方案短波 MAE (K/d)长波 MAE (K/d)ML误差缩减倍数 (SW/LW)北极pyRTE0.2150.6344x / 9xML-enhanced0.0560.071南大洋pyRTE0.4170.7875x / 8xML-enhanced0.0890.103热带海洋pyRTE0.5350.7556x / 10xML-enhanced0.0970.079太平洋ITCZpyRTE0.6380.9445x / 7xML-enhanced0.1420.132层积云区pyRTE0.5290.7426x / 9xML-enhanced0.0950.080表MLe-radiation v1.0与pyRTE在不同云区的平均绝对误差对比。ML方案在所有区域、两种辐射波段上均一致性地将误差降低了一个数量级。4.3 误差分析与方案优势解读ML增强方案性能提升的核心原因在于其处理次网格云变率的方式。pyRTE等传统方案依赖于“最大-随机重叠”等统计假设这些假设是对真实云三维结构的极大简化。例如它假设相邻云层完全重叠非相邻云层随机重叠这与实际观测中复杂的云重叠结构相去甚远。而ML方案的优势是数据驱动和隐式学习。它并没有显式地模拟次网格云的几何分布而是通过在高分辨率数据上训练学习到了这样一种映射当粗分辨率网格的“平均”云水、云冰含量为X云分数为Y时其真实的、隐含了次网格变率的辐射效应应该是Z。换句话说网络从无数高分辨率场景的“统计老师”那里学会了如何根据有限的网格平均信息反推出更真实的辐射结果。这相当于用高分辨率数据的智慧弥补了粗分辨率模型的信息缺失。此外混合架构的稳定性在测试中得到了验证。由于晴空部分由物理方案负责即使ML预测的云影响部分存在微小误差也不会导致整个辐射场出现物理上不合理的结果例如在完全无云的情况下产生巨大的冷却率。这种“物理锚定”效应是纯ML模拟器所不具备的对于长期气候模拟的稳定性至关重要。5. 实操指南、潜在挑战与未来展望5.1 实施步骤与注意事项如果你计划在自己的气候模式或研究中使用类似的混合ML辐射方案以下是一个可参考的路线图高分辨率数据准备来源需要全球覆盖、时间跨度足够长至少覆盖主要季节的高分辨率模拟数据如GSRM。ICON、MPAS、SAM等模式均可。变量必须输出全天空和晴空的辐射通量或加热率以及所有ML输入特征T, ρ, qv, ql, qi, qs, O3, cl, α, F↓,TOA,SW, Tsurf的瞬时场。频率输出频率需高于辐射过程的主要变化时间尺度建议1-3小时一次以捕捉日变化。数据预处理与粗粒化粗粒化方法将高分辨率数据平均或更复杂的守恒性插值到目标粗分辨率网格。关键点必须确保粗粒化后的地表高度、陆地-海洋掩膜等与目标模式一致否则需剔除不匹配的网格点。目标变量计算计算“真实”的云辐射影响CRI HR_all-sky - HR_clear-sky。确保全天空和晴空加热率来自同一时刻、同一高分辨率场景。模型训练与验证框架选择PyTorch或TensorFlow等主流框架均可。BiLSTM实现简单但也可尝试Transformer等更先进的序列模型。训练技巧务必使用独立的验证集监控过拟合。早停策略必不可少。损失函数中结合MAE和MSE通常效果更好。归一化严格按照前述的物理引导策略进行这是成功训练的关键。耦合与在线测试接口开发将训练好的ML模型封装成模式可调用的子程序如Fortran可调用的C接口或使用ONNX Runtime等跨语言推理引擎。频率设置在模式中可以设置晴空辐射物理部分每N步计算一次ML云影响每步计算一次以平衡精度和计算成本。稳定性测试首先进行短期的如1年气候模拟比较混合方案与原有方案的气候平均态温度、降水、云量等。监控能量守恒和气候漂移。避坑指南版本一致性与单位换算我们在项目初期曾踩过一个“大坑”。直接比较粗尺度模拟和粗粒化高分辨率模拟的加热率时发现了高达10 K/d的系统性偏差。经过深入排查发现根源在于两个模型版本ICON-A和QUBICC计算加热率的公式不同。一个使用定压比热容cp适用于准静力近似另一个使用容比热容cv并考虑了所有示踪物的影响。这导致结果差了约30%。教训在整合不同来源的数据或代码时必须极其谨慎地检查所有物理常数的定义、公式的实现细节以及变量的单位。建议建立一个详细的“数据/代码版本一致性检查清单”。5.2 当前局限与未来改进方向尽管MLe-radiation v1.0取得了显著成功但它仍处于发展的早期阶段存在一些局限性和改进空间高分辨率数据的限制分辨率不足当前使用的5公里分辨率GSRM仍无法解析浅对流尺度~1公里和湍流尺度的云。这可能导致行星边界层内的云辐射效应仍有偏差。未来使用公里级或亚公里级模拟数据有望进一步改善。物理过程简化许多高分辨率模拟为了计算效率省略了气溶胶的辐射效应或使用简化的化学方案。这限制了训练数据的完备性。未来的高分辨率模拟需要包含更全面的气溶胶和温室气体变化情景。ML模型本身的挑战外推能力在极端气候情景如大幅变暖下大气状态可能超出训练数据的范围。虽然混合架构通过物理部分缓解了这一问题但ML部分仍需通过使用更广泛的气候模拟数据如不同CO2浓度情景下的PDRMIP或CMIP数据进行训练来增强其外推鲁棒性。3D辐射效应如前所述当前的一维列模型无法考虑水平辐射传输。一个前沿方向是开发能够学习并参数化3D云辐射效应的ML模型但这需要具有3D辐射计算的高分辨率数据集且网络架构和输入特征将更为复杂。计算与工程优化推理速度虽然ML前向传播很快但在CPU上大规模调用仍需优化。可以考虑模型量化、算子融合或使用专用的AI加速库。软件集成将Python训练的模型无缝集成到Fortran编写的传统气候模型中需要稳定的、低开销的接口。容器化如Singularity和标准化接口如ESMF是值得探索的方向。5.3 对下一代地球系统模型的意义MLe-radiation v1.0的成功验证了一条切实可行的路径不是用ML取代物理而是用ML增强物理。它展示了如何将高分辨率模拟的“智慧”蒸馏出来用以纠正粗分辨率模型中已知的、系统性的缺陷。这项工作更广泛的意义在于它为地球系统模型中其他棘手的参数化问题如对流、湍流、云微物理提供了范式。混合物理-ML框架很可能成为下一代气候模型的标准配置。在这个框架下物理定律将继续为我们提供可靠的基础和约束而机器学习则扮演一个“超级校正器”的角色利用日益丰富的高分辨率观测和模拟数据不断修正物理公式中那些难以捉摸的、经验性的部分。最终我们的目标不是建立一个完美的、包罗万象的ML模型而是构建一个可迭代、可解释、且物理一致的建模生态系统。在这个系统里物理理解指导着ML模型的设计ML的发现又反过来深化我们的物理认知。MLe-radiation v1.0是朝着这个方向迈出的坚实一步它打开了一扇门门后是更精准、更可靠的气候预测未来。