基于GEE云平台一种快速修复Landsat影像条带色差的方法
这是之前关于去除遥感影像条带的另一篇文章,因为出版商推迟了一年发布,所以让大家久等了。这篇文章的主要目的是对Landsat系列卫星因为条带拼接或者镶嵌产生的条带来进行的一种在线修复方式。
原文连接
一种快速修复Landsat影像条带色差的方法
题目:
一种快速修复Landsat影像条带色差的方法
A Rapid Method for Stripe Chromatic Aberration Correction in Landsat Image

摘要
Landsat卫星影像已经成为世界范围内长时间序列生态监测研究中最广泛使用的数据源。在大中尺度区域的遥感应用研究中,因季节、光照、气候等条件以及卫星重返周期和传感器的不同,多景遥感影像拼接、镶嵌后会存在斑块效应和色调不均匀现象。在遥感云计算技术高速发展的今天,探索快速且高效地基于云平台的Landsat色差条带修复方法具有重要意义。提出了一种在Google Earth Engine(GEE)云平台上实现的基于随机森林算法的直方图影像均质化方法,将1986年—2020年山西省Landsat Top of Atmosphere(TOA)和Surface Reflectance(SR)(Landsat 5 TM/7 ETM+/8 OLI)反演后的归一化植被指数影像NDVI作为研究数据,以MOD13Q1(250 m分辨率)、MOD13A1(500 m分辨率)和MOD13A2(1 km分辨率)MODIS数据集作为2000年后的验证数据,分别对比影像修复前后的1986年—2020年山西省NDVI影像。研究结果表明:(1)在35年的逐年影像分析中有20年的影像存在条带色差问题。以1994年为例,修复后的Landsat TOA和Landsat SR影像与修复前相比,影像修复区的NDVI平均值分别增加了32.6%和29.03%,剖面分析显示拟合度分别增加了0.162 3和0.118 0;(2)1986年—2020年一元线性回归趋势性分析结果表明,修复后影像的拟合度更高,长时序分析后逐年影像的波动幅度更小。其中,Landsat TOA和SR影像修复后的斜率分别下降了0.006 2和0.006 7,R2分别提高了0.024 8和0.008 4;(3)对Landsat和MODIS影像进行Pearson相关性分析发现,修复后的Landsat SR和TOA图像的相关系数平均提高了0.049和0.061(p<0.05),其中,修复后的Landsat SR和TOA影像与MOD13Q1、MOD13A1、MOD13A2影像相关系数分别提高了0.050、0.047、0.049和0.066、0.060和0.059;(4)2000年—2020年Landsat和MODIS影像的时序分析结果显示,修复后的Landsat影像整体趋势与MODIS影像更趋近,修复后的Landsat TOA和SR影像的拟合度分别提升了0.058 6和0.031 9。所提出的基于GEE云平台随机森林算法的快速影像修复方法,实现了对长时间序列遥感影像NDVI反演结果的精确评估,应用本方法可快速、高效地解决影像镶嵌所造成的色差斑块和条带效应。
关键词
生态监测;Google Earth Engine;影像拼接;影像修复;随机森林;直方图匹配
Abstract
Landsat satellite images have become the most widely used data source in large-scale ecological monitoring studies worldwide. In remote sensing application studies of large and medium scale areas, due to seasonal, lighting and climatic conditions and different satellite re-entry cycles and sensors, patchy effects and chromatic unevenness may exist after stitching the mosaic of multi-scene remote sensing images. With the rapid development of remote sensing cloud computing technology, exploring a fast and efficient method to repair Landsat chromatic stripes based on cloud platform is important. In this paper, we propose a histogram image homogenization method based on a random forest algorithm implemented on the Google Earth Engine (GEE) cloud platform, which homogenizes the Landsat Top of Atmosphere (TOA) and Surface Reflectance (SR) of Shanxi Province from 1986 to 2020 (Landsat 5 TM/7 ETM+/8 OLI) normalized vegetation index (NDVI) images after inversion were used as the study data, and MOD13Q1 (250 m resolution), MOD13A1 (500 m resolution) and MOD13A2 (1 km resolution) MODIS datasets were used as the validation data after 2000. The NDVI images of Shanxi Province from 1986 to 2020 before and after image restoration were compared separately, and the results of the study showed that (1) 20 years of the 35-year image analysis had strip color difference problems, and in 1994, for example, the restored Landsat TOA and Landsat SR images compared with those before restoration, the mean NDVI values of the restored areas increased by 32.6% and 29.03% respectively, and the profile analysis showed that the fit increased by 0.162 3 and 0.118 0 respectively; (2) The results of the trend analysis of the 1986—2020 one-dimensional linear regression showed that the fit of the restored images was high and the fluctuation of the year-by-year images was smaller after the long time series analysis. Among them, the slopes of the restored Landsat TOA and SR images decreased by 0.006 2 and 0.006 7, and theR2 improved by 0.024 8 and 0.008 4 respectively; (3) Pearson correlation analysis of Landsat and MODIS images found that the correlation coefficients of the restored Landsat SR and TOA images improved by an average of 0.049 and 0.061 (p<0.05), where the correlation coefficients of restored Landsat SR and TOA images and MOD13Q1, MOD13A1, and MOD13A2 images increased by 0.050, 0.047, 0.049, 0.066, 0.060, and 0.059, respectively; (4) 2000—2020 Landsat and MODIS image time series analysis results show that the overall trend of the restored Landsat images is more similar to MODIS images, and the fit of the restored Landsat TOA and SR images is improved by 0.058 6 and 0.031 9, respectively. The proposed GEE cloud platform-based stochastic The proposed fast image restoration method based on the GEE cloud platform random forest algorithm achieves the accurate evaluation of NDVI inversion results of long time series remote sensing images, and the application of this method can quickly and efficiently solve the chromatic patch and banding effects caused by image mosaic.
流程图
Landsat 和MODIS系列影像数据获取均来自于GEE云平台公共数据集。图2为技术流程,主要分为数据预处理、影像匹配和验证分析三个部分。数据预处理过程主要包括:上传山西省矢量边界;逐年影像时间筛选(每年1月1日至12月31日)和波段选择("Red"、"NIR"和"pixel_qa");"pixel_qa"波段去云和NDVI波段计算;最后,按照qualityMosaic函数进行影像拼接和镶嵌。影像匹配部分,首先,通过目视解译的方法,判断逐年NDVI影像是否需要进行影像匀光处理,将需影像修复的部分作为目标影像,参考影像为目标影像相邻的区域,目的是让目标影像获取和相邻影像的一致的色调;其次,分别统计参考影像和目标影像 NDVI的 DN (digital number)值,进而计算概率密度函数和累积分布函数,按照随机森林方法进行直方图匹配,从而获得匀光处理目标影像。验证分析分为三个部分:第一,山西省逐年NDVI影像修复前后对比;第二,1986年-2020年匀光处理前后NDVI影像的时序分析;第三,匀光处理后的NDVI影像和2000年后MODIS影像对比分析。
山西省边界远超出单景影像的覆盖范围,因此在影像拼接中将由多幅不同轨迹的影像组成,目标影像选取的原则是按照小于研究区总面积的50%进行修复,以最大程度的减小匀光处理后影像对原始数据的影响。经统计,所有年份的目标影像面积占比均小于总研究区的 30%,参考影像色差所选取的区域均为目标影像的衔接条带。

主要实验结果

1994 年影像修复前后 NDVI 剖面的对比分析如图 4 所示,修复后的NDVI影像能平稳的反映该区域的NDVI值。修复前Landsat TOA影像的拟合度为0.008 4,修复后为0.170 7;修复前的Landsat SR影像的拟合仅有0.002 4,修复后为0.1204,结果表明,修复后的影像拟合度更高,表明修复后的影像比修复前更加符合影像的整体过度。
为了验证影像修复前后对于山西省 34 年间 NDVI的影响,分别对影像修复前后的NDVI值进行时序分析,如图5所示。元线性回归的趋势性分析结果表明:Landsat TOA影像修复后的NDVI值斜率为0.0062小于影像修复前,拟合度R2为0.810 6高于修复前;Landsat SR影像修复前的NDVI 斜率为 0.007 1,而修复后的斜率为 0.006 7,且拟合优度R2值0.8363大于修复前的0.829 3,表明影像修复后的拟合度更高。整体上看Landsat影像修复后的结果在长时间序列的变化波动性更小,趋势更加平滑。修复后的Lansat SR影像比Laodsat TOA影像提升幅度更明显。

多源影像对比分析
为了验证影像修复后的准确性,将2000年后修复的Landsat图像分别与MODIS系列数据(250 m、500 m 和1km)进行相关性分析。结果显示,2000 年、2003年、2005 年、2011 年和 2017 年的影像都有明显改善。图 6 和图 7 分别显示了 2003 年影像修复前后的 Landsat SR 和 TOA影像与 MODIS(250 m、500 m 和 1 km)影像。直方图方法修复后的Landsat影像能更好地反映色彩平衡,整体视觉效果更加。
结论
目前,在影像修复过程中,现有的研究多是在研究区的影像镶嵌和NDVI计算之前完成,这大大限制了影像的处理速度。本工作针对归一化植被指数 NDVI影像拼接后存在的影像带状斑块效应和色彩不均匀问题,以山西省作为研究区,利用GEE平台调用随机森林函数提出一种基于云端快速进行直方图影像匀光处理的方法,极大的提高了影像修复的效率。
基于同源影像的直方图匹配能最大程度地保留当期原始影像的DN值和色彩亮度,且在长时序研究中使当期影像的NDVI反演结果更加准确,经过该方法处理后影像的色彩致性较好,同时无需考虑研究区的地理差异和空间异质性。
此外,通过对比1986年—2020年逐年影像修复前后的结果,经过本方法修复后的影像在长时间序列的植被监测过程中能更精确、可靠的得出影像的修复结果,有效减少NDVI值在长时间序列的突变,提高长时间序列分析的准确性和稳定性。本方法能有效改善影像条带色差较大的区域,但对于影像条带边界不明显的区域识别仍需提升,后续研究的重点将围绕影像色差边界的自动识别和修复展开。
影像修复APP
这个影像修复的APP因为中文期刊的缘故,不让提供连接,所以这里给大家补上,大家可以去尝试修复你所需要的区域。
Landsat 5 ndvi影像修复

引用本文: |
| 闫星光,李 晶,闫萧萧,马天跃,苏怡婷,邵嘉豪,张 瑞. 一种快速修复Landsat影像条带色差的方法[J]. 光谱学与光谱分析, 2023, 43(11): 3483-3491. YAN Xing-guang, LI Jing, YAN Xiao-xiao, MA Tian-yue, SU Yi-ting, SHAO Jia-hao, ZHANG Rui. A Rapid Method for Stripe Chromatic Aberration Correction in Landsat Images. SPECTROSCOPY AND SPECTRAL ANALYSIS, 2023, 43(11): 3483-3491. |
相关文章:
基于GEE云平台一种快速修复Landsat影像条带色差的方法
这是之前关于去除遥感影像条带的另一篇文章,因为出版商推迟了一年发布,所以让大家久等了。这篇文章的主要目的是对Landsat系列卫星因为条带拼接或者镶嵌产生的条带来进行的一种在线修复方式。 原文连接 一种快速修复Landsat影像条带色差的方法 题目&a…...
云栖大会 | 科技改变生活,移远通信实力引领智能未来
科技对生活的改变体现在出行方式、娱乐方式、支付方式等多个方面,已经融入了我们的日常生活,为我们带来了便捷、高效、舒适的体验。 10月31日—11月2日,云栖大会在杭州盛大召开。本次大会以“计算,为了无法计算的价值”为主题&…...
FMC子卡解决方案:FMC214-基于FMC兼容1.8V IO的Full Camera Link 输出子卡
FMC214-基于FMC兼容1.8V IO的Full Camera Link 输出子卡 一、板卡概述 基于FMC兼容1.8V IO的Full Camera Link 输出子卡支持Base、Middle、Full Camera link信号输出,兼容1.8V、2.5V、3.3V IO FPGA信号输出。适配xilinx不同型号开发板和公司内部各FMC载板。北…...
stm32 模拟spi
目录 简介 spi物理层 连接方式 框图 协议层: 数据处理 传输模式 模式0 起始和停止信号 发送和接收数据 模式1 模式2 模式3 总结 简介 spi物理层 SPI( Serial Peripheral Interface, 串行外设接口)是一种全双工同步…...
小程序https证书
小程序通常需要与服务器进行数据交换,包括用户登录信息、个人资料、支付信息等敏感数据。如果不使用HTTPS,这些数据将以明文的方式在网络上传输,容易被恶意攻击者截获和窃取。HTTPS通过数据加密来解决这个问题,确保数据在传输过程…...
《python深度学习》笔记(二十):神经网络的解释方法之CAM、Grad-CAM、Grad-CAM++、LayerCAM
原理优点缺点GAP将多维特征映射降维为一个固定长度的特征向量①减少了模型的参数量;②保留更多的空间位置信息;③可并行计算,计算效率高;④具有一定程度的不变性①可能导致信息的损失;②忽略不同尺度的空间信息CAM利用…...
Python中文件copy模块shutil
高级的 文件、文件夹、压缩包 处理模块 shutil.copyfileobj(fsrc, fdst[, length])将文件内容拷贝到另一个文件中 import shutil shutil.copyfileobj(open(old.xml,r), open(new.xml, w)) shutil.copyfile(src, dst)拷贝文件 shutil.copyfile(f1.log, f2.log) #目标文件无需…...
机器学习快速入门教程 Scikit-Learn实现
机器学习是什么? 机器学习是一帮计算机科学家想让计算机像人一样思考所研发出来的计算机理论。他们曾经说过,人和计算机其实本没有差别,同样都是一大批互相连接的信息传递和存储元素所组成的系统。所以有了这样的想法,加上他们得天独厚的数学功底,机器学习的前身也就孕育而生…...
【向生活低头】win7打印机共享给win11使用,win11无法连接问题的解决
打印机是跟win7的电脑连接的,然后试了很多方法,win11都没法添加该打印机去使用。 网上的方法乱七八糟啥都有,但试了以后,发现基本没什么用。 刚刚发现知乎上的一个回答是有用的,这里做记录以备后用。 1.打开控制面板的…...
HarmonyOS鸿蒙原生应用开发设计- 元服务(原子化服务)图标
HarmonyOS设计文档中,为大家提供了独特的元服务图标,开发者可以根据需要直接引用。 开发者直接使用官方提供的元服务图标内容,既可以符合HarmonyOS原生应用的开发上架运营规范,又可以防止使用别人的元服务图标侵权意外情况等&…...
rhcsa-vim
命令行的三种模式 将ets下的passwd文件复制到普通用户下面 编辑模式的快捷方式 a--光标后插入 A--行尾插入 o--光标所在上一行插入 O--光标所在上一行插入 i--光标前插入 I--行首插入 s--删除光标所在位然后进行插入模式 S--删除光标所在行然后进行插入 命令模式的快捷…...
Rocky9 上安装 redis-dump 和redis-load 命令
一、安装依赖环境 1、依赖包 dnf -y install perl gcc gcc-c zlib-devel2、编译openssl 1.X ### 下载编译 wget https://www.openssl.org/source/openssl-1.1.1t.tar.gz tar xf openssl-1.1.1t.tar.gz cd openssl-1.1.1t ./config --prefix/usr/local/openssl make make ins…...
Azure机器学习 - 使用与Azure集成的Visual Studio Code实战教程
本文介绍如何启动远程连接到 Azure 机器学习计算实例的 Visual Studio Code。 借助 Azure 机器学习资源的强大功能,使用 VS Code 作为集成开发环境 (IDE)。 在VS Code中将计算实例设置为远程 Jupyter Notebook 服务器。 关注TechLead,分享AI全维度知识。…...
内网渗透-域信息收集
域环境 虚拟机应用:vmware17 域控主机:win2008 2r 域成员主机:win2008 2r win7 一.域用户和本地用户区别 使用本地用户安装程序时,可以直接安装 使用域用户安装程序时,需要输入域控管理员的账号密码才能安装。总结…...
三国志14信息查询小程序(历史武将信息一览)制作更新过程02-基本架构
0,前期准备 (1)一台有公网IP的云服务器,服务器上安装MySQL数据库,启用IIS服务。出入端口号配置运行(服务器和平台都要配置),IIS服务器上安装SSL证书 (2)域名…...
【51单片机】LED与独立按键(学习笔记)
一、点亮一个LED 1、LED介绍 LED:发光二极管 补:电阻读数 102 > 10 00 1k 473 > 47 000 2、Keil的使用 1、新建工程:Project > New Project Ctrl Shift N :新建文件夹 2、选型号:Atmel-AT89C52 3、xxx…...
package.json(2)
发布配置 和npm 项目包发布相关的配置。 private private 字段可以防止我们意外地将私有库发布到 npm 服务器。只需要将该字段设置为 true: "private": true preferGlobal preferGlobal 字段表示当用户不把该模块安装为全局模块时,如果设…...
Docker(2)——Docker镜像的基本命令
目录 一、简介 二、基本命令 1. Docker命令官方文档 2. 展示镜像 3. 搜索镜像 4. 下载镜像 5. 删除镜像 一、简介 本篇文章是Docker专栏的第二章,主要用于介绍Docker镜像的一些基本命令 二、基本命令 1. Docker命令官方文档 本篇博客仅记录常用的Docker镜…...
IT技术发展背景下的就业趋势:哪个领域最受欢迎?
IT技术发展背景下的就业趋势:哪个领域最受欢迎? 随着科技的不断进步和互联网的普及,IT行业正以惊人的速度蓬勃发展。在这个数字化时代,IT技术已经渗透到各个行业和领域中,为人们带来了巨大的便利和机遇。那么…...
日本移动支付Merpay QA团队的自动化现状
Merpay是日本最大的网购平台之一Mercari的无现金支付系统。Merpay 的主要功能是让用户在 Mercari的网站上购物,也可以在日本的许多实体店和餐厅使用它,也可以理解为日本的“支付宝”。以下为Merpay QA 团队在自动化方面的一些思考: 这几年&am…...
转转集团旗下首家二手多品类循环仓店“超级转转”开业
6月9日,国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解,“超级…...
智能仓储的未来:自动化、AI与数据分析如何重塑物流中心
当仓库学会“思考”,物流的终极形态正在诞生 想象这样的场景: 凌晨3点,某物流中心灯火通明却空无一人。AGV机器人集群根据实时订单动态规划路径;AI视觉系统在0.1秒内扫描包裹信息;数字孪生平台正模拟次日峰值流量压力…...
RNN避坑指南:从数学推导到LSTM/GRU工业级部署实战流程
本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在聚客AI学院。 本文全面剖析RNN核心原理,深入讲解梯度消失/爆炸问题,并通过LSTM/GRU结构实现解决方案,提供时间序列预测和文本生成…...
是否存在路径(FIFOBB算法)
题目描述 一个具有 n 个顶点e条边的无向图,该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序,确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数,分别表示n 和 e 的值(1…...
Spring是如何解决Bean的循环依赖:三级缓存机制
1、什么是 Bean 的循环依赖 在 Spring框架中,Bean 的循环依赖是指多个 Bean 之间互相持有对方引用,形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路,例如: 双向依赖:Bean A 依赖 Bean B,同时 Bean B 也依赖 Bean A(A↔B)。链条循环: Bean A → Bean…...
脑机新手指南(七):OpenBCI_GUI:从环境搭建到数据可视化(上)
一、OpenBCI_GUI 项目概述 (一)项目背景与目标 OpenBCI 是一个开源的脑电信号采集硬件平台,其配套的 OpenBCI_GUI 则是专为该硬件设计的图形化界面工具。对于研究人员、开发者和学生而言,首次接触 OpenBCI 设备时,往…...
Bean 作用域有哪些?如何答出技术深度?
导语: Spring 面试绕不开 Bean 的作用域问题,这是面试官考察候选人对 Spring 框架理解深度的常见方式。本文将围绕“Spring 中的 Bean 作用域”展开,结合典型面试题及实战场景,帮你厘清重点,打破模板式回答,…...
Linux安全加固:从攻防视角构建系统免疫
Linux安全加固:从攻防视角构建系统免疫 构建坚不可摧的数字堡垒 引言:攻防对抗的新纪元 在日益复杂的网络威胁环境中,Linux系统安全已从被动防御转向主动免疫。2023年全球网络安全报告显示,高级持续性威胁(APT)攻击同比增长65%,平均入侵停留时间缩短至48小时。本章将从…...
深入浅出WebGL:在浏览器中解锁3D世界的魔法钥匙
WebGL:在浏览器中解锁3D世界的魔法钥匙 引言:网页的边界正在消失 在数字化浪潮的推动下,网页早已不再是静态信息的展示窗口。如今,我们可以在浏览器中体验逼真的3D游戏、交互式数据可视化、虚拟实验室,甚至沉浸式的V…...
React父子组件通信:Props怎么用?如何从父组件向子组件传递数据?
系列回顾: 在上一篇《React核心概念:State是什么?》中,我们学习了如何使用useState让一个组件拥有自己的内部数据(State),并通过一个计数器案例,实现了组件的自我更新。这很棒&#…...
