人工智能与光学系统的深度融合：大模型在光学设计与成像中的应用~！

Nature重磅超表面硬件融合物理AI开创定量相位成像新范式https://mp.weixin.qq.com/s/M5151pe1Kns5s89Hy9eEAA点击此链接查看详情专题三大模型光学设计专题学习目标本课程旨在系统性培养学生利用大语言模型LLM进行光学器件设计的理论基础、系统构建与工程实践能力具体目标如下(1)掌握大语言模型的基本结构与工作原理包括 Transformer 架构、Token 表达与生成式建模机制(2)理解光学结构的语义描述体系学会将自然语言与结构参数进行映射与对齐熟悉 Prompt 工程的设计原则具备基于指令生成光学结构的能力(3)能够通过多轮对话控制与优化结构设计流程完成结构→ 仿真 → 优化的循环式学习(4)掌握大语言模型与FDTD仿真平台的集成方式实现语言驱动的自动化全波仿真(5)掌握结构数据集构建、多模态建模与语图融合机制(6)能够设计并实现语言 工具多模块交互的结构设计 Agent(7)具备独立开发语言驱动光学设计系统如 metalens 设计助手的工程能力(8)通过专题项目训练具备将先进 AI 技术迁移至科学建模与工程优化任务中的综合素养(9)培养跨领域系统思维与未来面向自然语言交互的工程设计范式意识。主讲老师人工智能大模型光学设计主讲老师毕业于国家“985 工程”“211 工程”重点高校。目前在国外光学顶尖高校课题组擅长深度学习、大模型与几何光学、波动光学、电磁建模与计算光学成像的交叉研究领域。近年来发表SCI论文15篇包括TCI, TMM, TCSVT, TETCI, ICLR等授权三项发明专利。研究方向包括深度学习方法、大语言模型、深度光学设计、几何光学、波动光学、图像处理与计算机视觉、物理驱动的光学成像、跨模态成像研究等。担任TCSVT、TCI、SIVP等多个国际期刊审稿人。专题三大模型光学设计专题第一部分光学成像基础与大模型课程导论第一讲课程导入与学科发展概览1.1 光学设计与智能成像的发展背景1.2 大模型驱动下的光学设计新范式1.3 课程整体结构与学习目标1.4 光学设计、计算成像与人工智能的关系1.5 典型应用场景与案例引入第二讲几何光学与成像系统基础2.1 几何光学基本原理2.2 成像系统的基本组成2.3 焦距、孔径、视场与分辨率2.4 光线传播与像形成机制2.5 常见成像系统结构分析第三讲像质评价与成像退化建模3.1 点扩散函数与光学传递函数3.2 调制传递函数与系统分辨能力3.3 像差、散焦与噪声来源3.4 成像退化机理分析3.5 光学系统性能评价指标第四讲传统光学设计流程与工具基础4.1 传统光学设计基本流程4.2 光学系统参数化表达4.3 顺序光学设计与优化思想4.4 光学仿真软件基础认知4.5 从传统设计走向智能设计第五讲大模型在光学与成像中的角色定位5.1 大模型的基本概念与技术特征5.2 大模型在视觉与成像任务中的应用5.3 大模型辅助光学设计的基本思路5.4 数据、模型与物理先验的协同关系第二部分计算成像建模与数据驱动表征第一讲计算成像系统基本原理1.1 计算成像的概念与发展脉络1.2 光学编码与信息获取机制1.3 前向成像模型的建立1.4 反演重建问题的提出1.5 典型计算成像系统示例第二讲图像形成模型与反问题基础2.1 成像方程与观测模型2.2 卷积、采样与离散化表达2.3 逆问题的病态性分析2.4 正则化与先验约束思想2.5 成像重建的基本求解框架第三讲数据集构建与成像数据表征3.1 光学成像数据的类型与特点3.2 数据采集、标注与预处理3.3 成像任务中的训练集与测试集构建3.4 多模态数据与跨域数据组织方式3.5 面向大模型的数据表示形式第四讲深度学习成像重建基础4.1 卷积神经网络在成像中的应用4.2 编码器—解码器结构4.3 UNet及其在图像重建中的作用4.4 感知损失与重建损失设计4.5 从重建网络到生成式模型第五讲物理建模与数据驱动融合框架5.1 物理模型嵌入式网络结构5.2 模型驱动与数据驱动方法对比5.3 可解释性与泛化性问题5.4 光学参数与网络参数的耦合关系5.5 计算成像中的智能优化趋势第三部分大模型方法在光学设计与成像中的应用第一讲视觉大模型基础1.1 深度模型到大模型的发展路径1.2 Transformer基本结构1.3 注意力机制与视觉表征能力1.4 视觉基础模型与预训练思想1.5 大模型在低层视觉中的迁移应用第二讲生成模型与成像重建2.1 生成式建模基础2.2 自编码器与变分自编码器2.3 对抗生成网络在成像中的应用2.4 扩散模型在图像恢复中的应用2.5 生成先验与物理一致性约束第三讲多模态大模型与成像理解3.1 多模态建模基本框架3.2 图像—文本联合表征机制3.3 多模态提示驱动的成像任务3.4 大模型辅助成像分析与解释3.5 多模态系统的工程实现思路第四讲大模型辅助光学系统设计4.1 光学结构参数空间表示4.2 神经代理模型与快速性能预测4.3 大模型驱动的设计空间搜索4.4 光学器件逆向设计思路4.5 光学设计自动化与智能化流程第五讲典型案例分析5.1 超表面与金属透镜智能设计5.2 镜头系统优化中的学习方法5.3 无透镜成像与深度重建案例5.4 显微成像中的大模型应用5.5 医学成像与工业检测中的相关实践第四部分光学设计—成像重建联合优化方法第一讲联合优化问题的提出1.1 光学设计与算法设计分离的局限性1.2 端到端联合优化的基本思想1.3 光学层与网络层协同设计框架1.4 任务驱动型光学系统设计1.5 联合优化中的关键挑战第二讲可微光学与端到端建模2.1 可微光学的基本概念2.2 光传播过程的可微表达2.3 可微PSF建模与参数更新机制2.4 光学元件的可微参数化表示2.5 可微仿真平台与实现思路第三讲联合损失函数与优化策略3.1 成像质量损失设计3.2 感知一致性与语义保持损失3.3 物理约束与正则化项设计3.4 多目标联合优化框架3.5 稳定训练与收敛问题分析第四讲仿真平台与实验流程4.1 光学仿真工具链4.2 数据生成与仿真数据集构建4.3 网络训练流程设计4.4 实验评价与结果可视化4.5 仿真到真实系统迁移问题第五讲系统级案例分析5.1 端到端成像系统设计案例5.2 自由曲面与超表面设计案例5.3 面向分类任务的光学编码设计5.4 面向重建任务的联合优化设计第五部分基于LLM的计算光学成像第一讲LLM与计算光学成像的交叉基础1.1 大语言模型的基本原理与发展脉络1.2 计算光学成像的任务特点与技术需求1.3 LLM介入计算成像任务的基本模式1.4 从视觉重建到语言引导成像的范式转变1.5 LLM与物理模型协同的总体框架第二讲LLM驱动的成像建模与物理先验表达2.1 光学成像过程的语言化描述方式2.2 成像退化机理与物理约束的语义表达2.3 基于提示词的成像任务建模方法2.4 物理先验、结构先验与语义先验的统一表征2.5 LLM辅助下的成像模型理解与配置生成第三讲LLM辅助的计算成像重建与优化3.1 LLM辅助重建任务定义与流程设计3.2 LLM在反问题求解中的先验注入机制3.3 面向重建网络的提示生成与参数建议3.4 LLM辅助损失函数设计与优化策略选择3.5 LLM与生成模型结合的成像恢复框架第四讲LLM在光学系统设计与实验流程中的应用4.1 LLM辅助光学系统方案生成4.2 LLM辅助实验脚本与仿真代码生成4.3 LLM支持的光学参数配置与调试分析4.4 LLM在实验数据整理与结果解释中的作用4.5 LLM驱动的计算成像自动化工作流第五讲基于LLM的计算光学成像前沿专题5.1 多模态大模型与计算成像融合趋势5.2 LLM在可解释成像与智能反演中的应用前景5.3 面向显微成像、无透镜成像与智能传感的拓展5.4 基于LLM的科研辅助与系统级设计新范式5.5 课程总结从计算光学成像到语言驱动智能成像