Adv Sci（IF=14.1）上海同济大学上海交通大学医学院等团队：HiST：通过多尺度融合深度学习利用组织学图像重建肿瘤空间转录组

01文献学习今天分享的文献是由上海同济大学、上海交通大学医学院等团队于2026年3月在《Advanced Science》中科院1区top。IF14.1上发表的研究”HiST: Histological Images Reconstruct Tumor Spatial Transcriptomics via MultiScale Fusion Deep Learning“即HiST通过多尺度融合深度学习利用组织学图像重建肿瘤空间转录组该研究提出一个名为HiST的多尺度融合深度学习框架旨在利用常规HE染色组织学图像重建肿瘤的空间转录组spatial transcriptomics, ST。HiST通过提取组织图像中的形态学特征预测肿瘤区域和空间基因表达谱GEPs并在多个癌种中实现了高精度预测。该模型在肿瘤区域识别、空间基因表达重建、患者预后分层、免疫治疗反应预测等方面均表现出优越性能显著优于现有方法。创新点①提出多尺度融合卷积框架HiST通过改进U-Net与ConvMixer模块高效捕捉全局空间上下文与局部形态特征。②预测精度显著超越现有模型平均Pearson相关系数达0.74较第二名提升约两倍实现高保真空间转录组重建。③首次实现从组织学图像预测免疫治疗疗效并整合预后分析与肿瘤异质性评估拓展了HE图像的分子信息挖掘能力。临床价值①规避空间转录组高昂成本仅用常规HE染色图像即可推断高精度基因表达谱降低临床应用门槛。②支持患者预后分层与免疫治疗反应预测为个性化治疗决策提供可解释的分子依据。③从组织图像中识别肿瘤异质性与关键通路辅助病理诊断与精准肿瘤学分析提升诊疗一体化能力。图 1HiST框架示意图a预处理模块Preprocess ModuleHE组织学全切片→按空间转录组斑点位置切分为5120个图像块→经预训练Swin TransformerCTranspath提取特征→重构为768×80×64空间特征图b预测模块Prediction Module基于改进U-Net架构编码器5层卷积下采样解码器对称上采样加入多尺度注意力门跳跃连接与ConvMixer模块双输出肿瘤区域识别二分类掩码空间基因表达谱逐基因空间表达矩阵c应用模块Application Module基于ConvNeXt-V2输入HiST预测的空间转录组特征临床数据输出患者预后风险分层免疫检查点阻断ICB治疗响应预测02研究背景和目的研究背景随着肿瘤精准医疗的发展传统病理诊断仅依赖苏木精-伊红HE染色图像虽能揭示组织结构与细胞形态却难以全面反映肿瘤微环境中复杂的分子调控异质性且诊断结果易受病理医师经验与主观性影响。空间转录组学ST技术通过将基因表达与组织空间坐标相结合为解析肿瘤异质性、免疫微环境及疾病机制提供了关键分子视角但其高昂成本与长周期限制了其作为临床常规工具的应用。近年来人工智能AI方法尝试从HE图像中直接预测空间基因表达谱GEPs以替代昂贵的ST检测。然而现有模型如ST‑Net、HisToGene、Hist2ST及IGI‑DL等存在明显局限一方面基于Vision TransformerViT或图神经网络GNN的架构参数量大、易过拟合尤其在小规模ST数据集上表现不佳另一方面它们对全局空间上下文与局部形态特征的融合不足导致基因表达预测精度较低平均皮尔逊相关系数仅约0.34。此外现有方法普遍未充分验证预测结果在下游临床任务如预后分层、免疫治疗响应评估中的可靠性限制了其临床转化潜力。研究目的针对上述挑战本研究旨在开发一个名为HiSTHistological Images reconstructs Tumor Spatial Transcriptomics的新型深度学习框架其核心目标是从HE染色组织学图像中高精度重建肿瘤空间转录组谱并系统验证其在肿瘤区域识别、异质性分析及临床预后预测中的实用性。HiST通过多尺度融合卷积架构创新性地整合了三个模块预处理模块利用Swin Transformer提取图像斑块特征并重构空间特征图以保留全局空间关系与局部形态信息预测模块基于改进的U‑Net与ConvMixer实现肿瘤斑点分割和空间基因表达回归应用模块采用ConvNeXt‑V2将预测的GEPs用于患者生存分析和免疫治疗响应预测。研究在五种癌症类型乳腺癌、结直肠癌、肝癌、肾癌、卵巢癌的102张ST切片上开展通过留一法交叉验证与多个公开模型对比旨在证明HiST在基因表达预测精度预期平均皮尔逊相关系数超0.70、计算效率及临床任务表现预后C-index达0.78免疫响应预测准确率近0.80上均显著优于现有方法从而为将常规病理图像转化为可解释的分子图谱、推动空间信息辅助的精准肿瘤诊疗提供技术支撑。03数据和方法研究数据训练与验证数据102张ST切片涵盖5种癌种乳腺癌BRCA42例结直肠癌CRC25例肝细胞癌HCC13例肾透明细胞癌KIRC14例卵巢癌OV8例外部验证TCGA数据库中的HE图像与RNA-seq数据免疫治疗数据131例HCC患者29例响应者102例非响应者的HE图像与临床数据。技术方法HiST框架结构预处理模块提取HE图像中的补丁使用Swin Transformer提取特征构建空间特征图预测模块基于改进的U-Net结构引入多尺度注意力门控和ConvMixer模块用于肿瘤区域分割和空间基因表达回归应用模块基于ConvNeXt-V2结构用于预后预测和免疫治疗反应预测。模型训练策略小数据集留一法交叉验证LOOCV大数据集5折交叉验证使用MSE损失基因表达和二元交叉熵损失肿瘤区域。评估指标Pearson相关系数、Spearman相关系数AUC、IOU、Dice、F1、精度、召回率等C-index用于生存分析。04实验结果肿瘤区域识别AUC最高达0.96BRCA各癌种平均准确率 0.80预测结果与病理学家注释高度一致。空间基因表达预测平均Pearson相关系数为0.74优于现有模型如EGNv2仅为0.28在ACTB、FTL、UBC等关键基因上预测精度高达0.96以上在HER2和cSCC等非Visium平台上也表现优异。肿瘤异质性分析HiST预测的GEPs可区分不同肿瘤亚克隆与真实ST的CNV模式高度一致。预后预测HiST预测的GEPs在TCGA五个癌种中均能显著分层高风险与低风险患者C-index最高达0.78BRCA优于Swin Transformer和ResNet50。免疫治疗反应预测预测免疫治疗响应者的准确率为0.79F1为0.81识别的差异基因与真实ST数据高度一致重叠率44%-46%。图 2多癌种肿瘤区域预测结果图 3空间转录组基因表达谱重构性能图 4五癌种预后预测性能图 5肝癌免疫治疗疗效预测05研究结论该研究提出的HiST框架通过多尺度融合深度学习成功从HE染色组织学图像中高精度重建肿瘤空间转录组。其核心结论包括①在肿瘤区域识别上HiST在多种癌症类型中表现优异如乳腺癌AUC达0.96与病理学家注释高度一致②在空间基因表达预测方面HiST的平均皮尔逊相关系数达0.74较现有模型提升约两倍且计算效率更高③预测的空间转录组谱能有效揭示肿瘤异质性如区分不同CNV亚克隆并在预后分层如乳腺癌C-index达0.78和免疫治疗响应预测准确率0.79中展现出显著临床应用价值④HiST在多种独立数据集和平台上的泛化能力强其预测表达与真实RNA-seq高度一致为缺乏空间转录组数据的临床场景提供了低成本、可解释的分子替代方案。总体而言HiST实现了从形态学到空间分子信息的跨尺度建模为精准肿瘤学的临床转化提供了新工具。参考文献Li W, Zhang D, Peng E, Shen S, Alinejad-Rokny H, Liu Y, Zheng J, Jiang C, Ye Y. HiST: Histological Images Reconstruct Tumor Spatial Transcriptomics via MultiScale Fusion Deep Learning. Adv Sci (Weinh). 2026 Mar;13(13):e14351. doi: 10.1002/advs.202514351.