机器学习赋能银河系考古：CatBoost模型高精度预测恒星年龄

1. 项目概述用机器学习为银河系“测龄”在银河系考古学这个领域我们就像是在研究一部没有文字记载的古老家族史。恒星作为这部历史书中的“化石”它们的年龄是解读银河系过去130亿年里如何诞生、成长和演化的最关键线索。然而给一颗孤零零的、距离我们成千上万光年的恒星“测龄”是天文学里一个经典的老大难问题。传统的主流方法是“等龄线拟合法”。简单来说就是把观测到的恒星亮度、颜色等参数与理论计算的恒星演化模型等龄线进行比对从而估算年龄。这个方法对于星团中的恒星效果不错因为大家同宗同源年龄一致可以相互印证。但对于占银河系绝大多数的“场星”即不在星团中的孤立恒星这个方法就有点力不从心了年龄误差常常高达40%甚至更多这对于动辄以十亿年Gyr为单位的宇宙时间尺度来说精度远远不够。近年来星震学为我们打开了一扇新窗。就像地震波能揭示地球内部结构一样恒星表面的微小震荡星震也能透露出其内部的质量、半径和年龄等核心信息。借助开普勒Kepler等空间望远镜的连续高精度观测我们对一部分红巨星一类明亮且普遍存在的老年恒星的年龄测定精度提升到了10%-20%这是一个巨大的飞跃。但问题在于拥有高质量星震学数据的恒星太少了相对于APOGEE斯隆数字巡天 Apache Point Observatory Galactic Evolution Experiment这样的光谱巡天项目动辄数十万的观测样本星震学数据只是杯水车薪。这就引出了我们工作的核心矛盾我们拥有海量的恒星光谱数据APOGEE DR17有65.7万颗恒星能精确测量其化学成分、温度、运动速度等数十个参数但唯独缺少一个可靠且普适的“年龄标尺”。我的思路是为什么不利用那些已经被星震学高精度定年的恒星作为“黄金标准”样本去训练一个机器学习模型呢这个模型的任务就是学习这些“黄金标准”恒星的各种观测特征如化学成分、温度、空间位置与其精确年龄之间的复杂映射关系。一旦模型训练成熟我们就可以把它应用到那数十万颗只有光谱数据、没有星震数据的恒星上从而大规模地、相对可靠地估算出它们的年龄。在众多机器学习算法中我选择了CatBoost。它是一种基于梯度提升决策树Gradient Boosting Decision Tree的算法。决策树模型天生擅长处理特征与目标之间复杂的非线性关系而梯度提升通过组合多棵“弱”决策树能构建出一个非常强大的“强”预测模型。CatBoost相较于同类算法如XGBoost在处理类别特征、防止过拟合方面有独特优势这在我们的天体物理数据集中尤为重要因为很多参数如化学丰度比并非简单的线性相关。最终我们成功构建了一个模型并生成了一个包含125,445颗APOGEE DR17红巨星的星震学校准年龄星表。对于年龄大于30亿年的恒星模型预测的中值相对误差在7%到23%之间。这相当于我们为银河系考古学家们提供了一张覆盖范围极广、精度相对可靠的“恒星年龄地图”使得系统研究银河系不同区域、不同成分的恒星形成历史成为了可能。2. 核心思路与数据基石如何为机器学习准备“天文学教材”任何机器学习项目的成败一半取决于模型算法另一半则取决于数据的质量与代表性。在天体物理领域获取干净、可靠且覆盖关键参数空间的训练数据本身就是一项极具挑战性的工作。2.1 训练样本的构建合并APOKASC-2与TESS SCVZ我们的目标是预测APOGEE DR17中红巨星的年龄因此训练数据必须也来自APOGEE观测的、且拥有高精度星震学年龄的恒星。我主要依赖了两个核心样本APOKASC-2 样本这是我们的“主力训练集”。它源自开普勒望远镜场区内的红巨星通过与APOGEE光谱交叉匹配并利用五年连续的高精度星震数据通过多种独立方法计算出了年龄。其优势非常明显样本量大约6676颗星年龄精度极高随机误差主要在0.6%到5%之间并且空间上覆盖了银河系盘的一大片区域动力学采样充分。可以说这是当时可用的、质量最高的红巨星年龄校准样本之一。TESS SCVZ 样本这是来自凌星系外行星巡天卫星TESS南天连续观测区的样本。TESS作为新一代的星震学任务其观测策略弥补了开普勒场区空间覆盖的局限性尤其有利于研究银河系的垂直结构和径向结构。这个样本约有1025颗星年龄精度平均相对误差约22%虽略逊于APOKASC-2但其独特的空间位置具有不可替代的价值。实操心得警惕“数据偏移”陷阱在最初的实验中我仅使用APOKASC-2样本进行训练然后在TESS SCVZ样本上测试发现模型性能显著下降。这暴露了一个机器学习中的经典问题——数据偏移。开普勒场和TESS场在银河系中的位置不同其恒星群体的化学、动力学属性可能存在系统性差异。用一个区域的样本训练出的模型在另一个区域上表现不佳。为了解决这个问题我果断将两个样本合并形成了MCK-APOKASC 合并样本。这样训练数据本身就涵盖了更广泛的银河系环境使得训练出的模型具有更好的泛化能力能够更可靠地应用于整个APOGEE巡天数据。2.2 特征工程为模型挑选最有效的“年龄指针”特征选择是模型构建的灵魂。我们需要从APOGEE提供的数十个恒星参数中筛选出那些与年龄物理关联最强、且能有效被模型利用的参数。这个过程不是简单的相关性排序而是基于天体物理学理解的深思熟虑。核心化学时钟[Mg/Ce]这是本次工作的一个关键创新点。传统上[α/Fe]α元素与铁的比例被用作“化学时钟”因为α元素主要来自大质量恒星的核心坍缩超新星爆发而铁元素还来自Ia型超新星两者的时标不同。然而在远离太阳邻域的区域[α/Fe]的弥散很大作为时钟的可靠性下降。 我们系统地计算了APOGEE DR17中20种校准后的化学丰度与年龄的斯皮尔曼相关系数。结果发现镁与铈的比例 [Mg/Ce] 与年龄的相关性最强且本征弥散最小。镁是α过程元素铈是s-过程元素主要发生在渐近巨星支恒星内部时标较长。它们的比值能更干净地追踪银河系不同时期的化学富集历史是一个更优的“化学时钟”。这个选择得到了近期文献如Casali et al. 2020的支持他们发现α元素与s-过程元素的组合是最有效的化学时钟。银河系成分分离器[α/Fe]尽管[α/Fe]作为直接时钟在远处效果不佳但它仍然是区分银河系不同化学成分族群即“厚盘”和“薄盘”最有效的工具之一。厚盘恒星通常[α/Fe]较高形成较早薄盘恒星[α/Fe]较低形成较晚且持续至今。决策树模型能够利用这一特征识别数据中隐藏的不同化学演化历史的子群体从而更精细地预测年龄。我们最终采用[Si/Fe]和[Mg/Fe]的平均值作为[α/Fe]。恒星演化示踪器[CI/N]碳氮比对于红巨星表面碳氮比是其内部核合成和物质混合如第一次挖掘效应的重要指标与恒星初始质量进而年龄相关。然而仅凭[CI/N]预测单颗恒星的年龄误差很大因为它还受到金属丰度等多种因素影响。但将其与其它参数结合能为模型提供关于恒星演化阶段的关键补充信息。恒星质量的代理有效温度 (Teff) 和光度 (L)恒星在主序阶段的寿命强烈依赖于其质量。质量越大寿命越短。对于红巨星其有效温度与质量通过星震学标度关系相联系。光度更是恒星演化状态最直观的体现。因此这两个参数是预测年龄的物理基础。在测试中我们发现使用光度L比使用表面重力log g能更好地抑制年龄预测残差的极端异常值。银河系结构的探针垂直银盘距离 (Z)这是一个看似与年龄无直接强相关但对模型精度提升至关重要的特征。银河系盘中的恒星质量分布在垂直方向上有梯度年轻恒星更集中在银盘附近。模型能够学习到这种空间分布与年龄群体之间的关联。事实上在特征重要性分析中Z的排名非常靠前。一个深思熟虑的舍弃[Fe/H]金属丰度你可能注意到恒星最基础的参数——金属丰度[Fe/H]没有被纳入模型。这是经过慎重考虑的。对于像我们这样年龄弥散很大的样本年龄-金属丰度关系是模糊的统计上相关性不显著。同时当把[Fe/H]加入模型时其夏普利值衡量特征贡献的指标远低于其他特征。它的信息实际上已经通过[α/Fe]作为金属丰度的代理被间接包含了进来。最终我们确定的特征集为[CI/N], [Mg/Ce], [α/Fe], Teff, L, Z。这个组合在物理上涵盖了化学演化、恒星内部演化、银河系结构等多个维度为模型提供了全面且互补的信息。3. 模型构建与优化实战从数据到可靠预测器有了高质量的数据和精心挑选的特征下一步就是搭建并“调教”我们的CatBoost模型使其成为一个稳健的年龄预测器。这个过程充满了工程细节和策略抉择。3.1 数据预处理为模型训练扫清障碍年龄的对数变换恒星的年龄分布通常是右偏的即年轻恒星多年老恒星少。直接使用线性年龄单位Gyr作为预测目标会导致模型过度关注数量稀少但数值很大的年老恒星从而损害对大多数年轻恒星的预测精度。我们对年龄进行对数变换压缩了高值区间的范围使分布更接近正态。实测表明这能将平均残差误差从33%降低到28%极大提升了整体性能。异常值剔除训练样本中存在少量年龄超过宇宙年龄137.7亿年的恒星。这些年龄主要是恒星模型系统误差所致并非真实物理值。如果将其纳入训练模型会“学会”预测这些不真实的年龄从而在应用时产生虚假的古老恒星预测。因此我们果断将这些数据点从训练集中移除。缺失值与数据一致性处理对于MCK样本我们统一使用APOGEE DR17提供的有效温度并通过回归分析确认其与原始SkyMapper温度尺度一致保证了特征空间的一致性。计算光度时我们采用了与Mackereth et al. (2021)相同的方法使用Ks波段的测光数据、盖亚Gaia卫星的精确视差、以及3D星际消光图MWDust进行消光校正并剔除了视差误差过大的恒星确保光度数据的可靠性。3.2 解决样本不平衡让模型“公平”对待所有年龄段即使经过对数变换训练集中年老恒星10 Gyr的数量仍远少于年轻恒星。在机器学习中这种类别不平衡会导致模型对多数类年轻星过拟合而对少数类年老星预测能力差。我们观察到模型对最年老恒星的预测误差确实偏大。 为了解决这个问题我采用了随机过采样技术。具体来说我将年龄大于10 Gyr的恒星定义为“少数类”然后使用Imbalance-Learn库中的RandomOverSampler在训练集中随机复制这些年老恒星的数据直到它们与年轻恒星的数量达到一个更平衡的比例我通过网格搜索确定10 Gyr为最佳阈值。关键点在于过采样只应用于训练集验证集和测试集保持原样这样才能真实评估模型对原始数据分布的泛化能力。这一操作显著提升了模型在整个年龄范围内的预测准确性。3.3 模型训练与超参数优化我们使用CatBoostRegressor作为回归器。整个训练流程遵循标准的监督学习范式数据集划分将MCK-APOKASC合并样本随机划分为训练集90%和测试集10%。测试集全程不参与任何训练和调优仅用于最终评估模型在“从未见过”的数据上的表现。交叉验证与网格搜索在训练集上采用10折交叉验证结合网格搜索GridSearchCV来优化模型超参数。这个过程可以理解为交叉验证把训练集分成10份轮流用其中9份训练1份验证循环10次。这能更稳健地评估模型性能避免因一次特殊的训练-验证划分带来的偶然性。网格搜索我们预设一组超参数如树的最大深度、学习率、L2正则化强度等的可能值让算法尝试所有组合并选择在交叉验证中平均表现最好的那一组。我们优化的关键超参数包括learning_rate学习率控制每棵树对残差的修正幅度。depth树的最大深度控制模型的复杂度。l2_leaf_regL2正则化项防止过拟合。random_strengthCatBoost特有的参数控制树分裂时的随机性有助于提升泛化能力。随机种子优化机器学习算法中涉及大量随机性如数据划分、树节点分裂。即使超参数固定不同的随机种子也可能导致最终模型性能的微小波动。为了获得最稳定、最优的模型我们运行了1000次不同随机种子涵盖数据划分、模型初始化、过采样的配置最终选取了在测试集上表现最佳的那个模型。3.4 性能评估与过拟合/欠拟合判断我们使用均方根误差RMSE作为主要的评估指标但更关注其相对值。判断过拟合比较模型在训练集和验证集上的RMSE。如果验证集RMSE显著大于训练集RMSE说明模型可能记住了训练数据的噪声而未能学到通用规律即过拟合。我们设定了一个经验阈值模型方差(RMSE_验证 - RMSE_训练) / RMSE_训练需小于5%。我们最终的优化模型方差为4.77%表明过拟合得到了有效控制。判断欠拟合我们建立了一个“基线模型”——仅使用最重要的单个特征[Mg/Ce]训练一个简单的CatBoost模型。如果我们的完整模型在测试集上的RMSE高于这个基线模型说明增加更多特征和复杂度并没有带来提升模型可能欠拟合太简单。我们的完整模型性能远优于基线模型排除了欠拟合的可能。最终我们的优化模型在测试集上达到了中值相对年龄误差为20.8%的性能。对于不同年龄段的恒星精度如下年龄 3 Gyr中值相对误差 7% - 23%1 Gyr 年龄 3 Gyr中值相对误差 26% - 28%年龄 1 Gyr值相对误差 43%可以看到模型对年老恒星的预测更为精准这与训练样本中年老星经过过采样以及年老星的化学时钟信号更明显有关。对年轻星的误差较大部分原因是年轻星的化学丰度演化尚未充分分化信号较弱。4. 模型解析与结果应用解读银河系的“年龄地图”模型训练完成并验证有效后我们将其应用于整个APOGEE DR17的主红巨星样本生成了包含125,445颗恒星年龄的星表。接下来我们需要深入理解模型是如何做出预测的以及这些预测结果揭示了怎样的天体物理图景。4.1 特征重要性分析谁在主导年龄预测我们使用夏普利值SHAP值来分析每个特征对模型预测的贡献。与基于基尼不纯度的内置特征重要性相比SHAP值基于博弈论能更公平、更可靠地分配每个特征的贡献。下图展示了我们模型中各特征的SHAP重要性排序基于测试集计算特征SHAP值 (重要性)物理含义[Mg/Ce]0.387核心化学时钟追踪银河系化学演化时标。光度 (L)0.063恒星演化状态和质量的直接指示。垂直距离 (Z)0.062反映银河系结构与恒星群体年龄分布相关。[α/Fe]0.061区分厚盘/薄盘等化学族群。有效温度 (Teff)0.060与恒星质量相关影响主序寿命。[CI/N]0.058恒星内部混合过程的示踪剂。结果解读[Mg/Ce] 一骑绝尘其SHAP值远高于其他特征这强力证实了我们将其作为首要化学时钟的选择是正确的。它是模型预测年龄的最主要依据。其他特征贡献均衡光度、垂直距离、[α/Fe]、有效温度和[CI/N]的贡献度非常接近。这说明模型并非依赖单一物理过程而是综合了化学演化、恒星内部演化、银河系动力学结构等多方面信息来做出判断。例如一颗高[Mg/Ce]、低光度、位于银盘附近、低[α/Fe]的恒星很可能被模型预测为相对年轻的薄盘恒星。4.2 生成最终星表与质量过滤将训练好的模型应用于APOGEE DR17的全体红巨星时我们施加了一个关键的质量过滤器只保留光度不确定性小于30%的恒星。这是因为输入质量决定输出质量光度(L)是我们模型的重要输入特征之一。如果光度的观测误差很大那么基于它做出的年龄预测必然不可靠。30%的阈值是一个在数据量和精度之间的平衡选择。避免机器学习“幻觉”机器学习模型会忠实地学习训练数据中的模式包括错误。如果输入有噪声或系统误差的数据模型会产生无意义的预测即“垃圾进垃圾出”。严格的光度筛选是为了确保输入模型的数据处于一个相对可靠的范围内从而保证输出年龄星表的质量。经过筛选最终星表包含了125,445颗恒星这为银河系考古学研究提供了一个前所未有的、大规模且经过校准的年龄样本。4.3 科学发现初探年龄星表揭示的银河系故事利用这个新生成的年龄星表我们进行了一些初步的科学分析验证了其合理性并发现了一些有趣的现象年轻银盘的外区增厚我们确认了先前研究中的发现即银河系年轻薄盘在远离银河中心的外区存在“增厚”或“翘曲”现象。年轻恒星并非完全集中在完美的薄盘上在外区其分布有向上或向下扩展的趋势。银盘内的年轻星年龄梯度在银盘Z≈0内我们发现最年轻的恒星群体存在径向年龄梯度即距离银河中心不同距离的年轻恒星其平均年龄有系统性差异。这反映了银河系内部恒星形成活动传播的历史。贫金属年轻恒星群我们识别出了一小群特殊的恒星它们金属丰度很低[Fe/H] -1但却很年轻年龄 20亿年。按照经典理论贫金属通常意味着古老。这些“年轻贫金属星”具有相似的奇特化学丰度和晕星般的运动学特征。一个可能的解释是它们来源于大约27亿年前发生在太阳附近区域的、预测中的第三次也是最近一次气体吸积事件。这次事件将原始贫金属气体带入银河系触发了新一轮的恒星形成从而产生了这些化学上“原始”但动力学上年轻的恒星。这些发现不仅证明了我们年龄星表的科学价值也展示了将机器学习模型与大规模巡天数据结合在揭示银河系细致结构和历史方面的巨大潜力。5. 经验总结、局限性与未来展望回顾整个项目从数据准备、特征工程、模型调优到结果分析每一步都充满了挑战和抉择。以下是一些在论文中未必会详述但对实际复现或开展类似工作至关重要的经验。5.1 核心实操心得与避坑指南“化学时钟”的选择需要实证而非盲从文献最初我们理所当然地认为[α/Fe]应是最佳时钟。但通过系统计算APOGEE DR17中所有元素丰度与年龄的相关性发现[Mg/Ce]的相关性更强、弥散更小。教训在大数据时代即使有成熟理论也应用数据驱动的方式重新验证特征的有效性。天体物理参数众多可能存在比传统认知更优的关联组合。数据一致性高于一切合并不同来源的数据集如APOKASC-2和MCK时必须确保同一物理量如有效温度、光度的测量尺度、计算方法一致。我们通过回归分析验证了温度尺度的一致性并对光度采用了统一的计算管道。如果忽略这一步模型学到的将是系统误差而非真实的物理关系。过采样技巧的应用时机对于回归问题中的样本不平衡过采样是一个有效工具但必须谨慎使用。一定要在数据划分之后仅对训练集进行过采样。如果在划分前就过采样会导致训练集和测试集的数据分布不一致严重干扰模型泛化能力的评估。同时过采样的阈值如我们用的10 Gyr需要通过交叉验证来优化而非随意设定。理解模型的“黑箱”SHAP值不可或缺树模型虽然是“白箱”可以查看分裂节点但对于成百上千棵树组成的CatBoost直观理解仍困难。SHAP值分析不仅告诉我们哪个特征重要还能展示特征如何影响预测例如[Mg/Ce]越高预测年龄是越大还是越小。这是将机器学习结果转化为天体物理解释的关键桥梁。为预测结果设置“安全围栏”模型可以给任何符合格式的输入数据输出一个年龄即使这个输入在物理上是不合理或误差极大的。因此在应用模型生成最终产品时必须根据输入特征的质量设置严格的过滤条件如我们30%的光度误差上限。这能极大减少产出垃圾结果的可能性提升星表的整体可信度。5.2 当前模型的局限性没有任何模型是完美的清醒认识其局限是科学应用的前提训练样本的偏差我们的训练样本完全由红巨星构成且主要来自银河系盘。因此该模型不适用于主序星、白矮星等其他演化阶段的恒星也不适用于银河系晕、核球等化学和动力学环境迥异的区域。在这些区域应用该模型预测结果将不可靠。系统误差的传递模型年龄的精度上限受限于训练样本中星震学年龄的系统误差。尽管星震学年龄随机误差很小~5%但恒星演化模型本身的系统误差如对流、不透明度、核反应率等可能更大且难以量化。这些系统误差被模型“继承”了下来。对极端参数区域外推能力弱机器学习模型在训练数据覆盖的参数空间内表现良好但对于参数空间边缘或之外的恒星例如极端贫金属或异常高光度的恒星预测行为不确定可能产生不合理的结。无法提供完整的误差分析模型给出的预测误差主要反映了其内部的随机不确定性如数据噪声、模型方差。它无法包含输入参数如光谱测量误差传递的系统性误差也无法包含因训练样本选择偏差带来的系统性误差。完整的年龄误差棒需要结合贝叶斯方法或蒙特卡洛模拟进行更复杂的估计。5.3 未来可能的改进方向这项工作只是一个起点未来可以从多个维度进行深化扩充训练样本的多样性与体积随着TESS、PLATO等后续星震学任务产出更多、空间分布更广的高精度年龄样本可以不断更新和扩充训练集使模型能覆盖更广泛的银河系成分如晕、棒、旋臂并进一步提升精度。引入更复杂的特征与架构可以尝试将恒星的全光谱而非仅提取的参数作为输入使用卷积神经网络CNN等模型直接从光谱中提取与年龄相关的深层特征。也可以探索物理信息神经网络PINN将恒星演化方程作为约束融入模型提升预测的物理一致性。发展概率化预测与误差估计将当前的确定性回归模型升级为能够输出完整年龄概率分布函数的模型如使用分位数回归、贝叶斯神经网络或高斯过程。这样不仅能给出最佳估计年龄还能提供更可靠的置信区间对后续科学研究至关重要。构建多任务学习模型同时预测年龄、质量、半径等多个恒星参数。这些参数之间存在物理关联多任务学习可以利用这种关联可能提升每个单独任务的预测性能。这个项目让我深刻体会到在现代天文学中机器学习已远不止是一个辅助工具。它成为了一种新的“望远镜”能够帮助我们从海量、多维度的观测数据中挖掘出那些隐藏的、连接恒星现状与其漫长历史的深层规律。将扎实的领域知识天体物理与强大的数据工具机器学习相结合是解锁宇宙奥秘的下一代钥匙。