当前位置： 首页 > news >正文

Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器

news 2026/5/12 6:18:16

        在上一篇 文章中，我们Fast.ai 在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到 96% 的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如 Keras、Fast.ai 甚至 PyTorch）中的大多数语义分割模型都是为处理 RGB 图像而设计的，并带有预先训练好的权重。除此之外，这些库中的视觉模块也仅限于 RGB 文件。这就是我们在前面的故事中忽略近红外通道，只使用 RGB patchs的原因。

        这促使我采用了一种完全不同的方法，从头开始构建我自己的 U-Net，而不是使用视觉库来准备数据集。本篇我将介绍如何使用简单的 PyTorch 函数创建数据集，而下一篇将继续介绍如何创建一个简单的U-NET分割模型，并对其进行训练以获得结果。

1、数据准备

       在上一篇文章中我们使用的数据集，是由 8400 个大小为 384x384 的训练片段组成（适合深度学习）。还有一组 9201 个图像块patchs用于测试，但我们暂时不处理它们。这些patchs分别位于红、绿、蓝和近红外（NIR）通道的目录中，另外还有一个用于参考掩膜（真实值ground truth*_gt）的目录。

2、PyTorch 数据集类

        在上一篇文章中，我们在磁盘中创建了 rgb_patch*.tif 文件，并使用 PIL 将条带合并为 384x`384x3

相关文章：

Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器

在上一篇 文章中，我们Fast.ai 在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到 96% 的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如 Keras、Fast.ai 甚至 PyTorch）中的大多数语…...

编程日记 2023/12/29 19:11:16

韩版传奇 2 源码分析与 Unity 重制（三）客户端渲染管线

专题介绍 该专题将会分析 LOMCN 基于韩版传奇 2，使用 .NET 重写的传奇源码（服务端 + 客户端），分析数据交互、状态管理和客户端渲染等技术，此外笔者还会分享将客户端部分移植到 Unity 和服务端用现代编程语言重写的全过程。 概览 在这一篇文章中，我们将开始分析传奇客户…...

编程日记 2023/12/29 19:10:15

深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第三节 栈与堆，值类型与引用类型

深入浅出图解C#堆与栈 C# Heaping VS Stacking 第三节 栈与堆，值类型与引用类型 [深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第一节 理解堆与栈](https://mp.csdn.net/mdeditor/101021023)[深入浅出图解C#堆与栈 C# Heap(ing) VS Stack(ing) 第二节 栈基本工…...

编程日记 2023/12/29 19:09:14

分享好用的chatgpt

1.在vscode中，点击这个： 2.搜索：ChatGPT - 中文版，个人觉得这个更好用： 3.下载完成之后，左侧会多出来这个： 点击这个图标就能进入chatgpt界面了 4.如果想使用tizi访问国外的chatgpt&#xf…...

编程日记 2023/12/29 19:08:12

【小白专用】C# 压缩文件 ICSharpCode.SharpZipLib.dll效果：

插件描述： ICSharpCode.SharpZipLib.dll 是一个完全由c#编写的Zip, GZip、Tar 、 BZip2 类库,可以方便地支持这几种格式的压缩解压缩, SharpZipLib 的许可是经过修改的GPL，底线是允许用在不开源商业软件中，意思就是免费使用。具体可访问ICSha…...

编程日记 2023/12/29 19:06:11

Protobuf 编码规则及c++使用详解

Protobuf 编码规则及c使用详解 Protobuf 介绍 Protocol Buffers (a.k.a., protobuf) are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data Protocol Buffers（简称为protobuf）是谷歌的语言无关、…...

编程日记 2023/12/29 19:05:10

Kafka优异的性能是如何实现的？

Apache Kafka是一个分布式流处理平台，设计用来处理高吞吐量的数据。它被广泛用于构建实时数据管道和流式应用程序。Kafka之所以能够提供优秀的性能和高吞吐量，主要得益于以下几个方面的设计和实现： 1. 分布式系统设计 Kafka是一个分布式系统…...

编程日记 2023/12/29 19:04:09

（二）MaterializedMySQL具体实施步骤举例

要将 MySQL 中的 test 数据库实时同步到位于同一台服务器（IP 地址为 192.168.197.128）上的 ClickHouse，您可以使用 MaterializedMySQL 引擎。以下是详细的步骤： 1. 准备工作 确保您的 MySQL 和 ClickHouse 服务都在运行&#xf…...

编程日记 2023/12/29 19:02:08

日志框架简介-Slf4j+Logback入门实践 | 京东云技术团队

前言 随着互联网和大数据的迅猛发展，分布式日志系统和日志分析系统已广泛应用，几乎所有应用程序都使用各种日志框架记录程序运行信息。因此，作为工程师，了解主流的日志记录框架非常重要。虽然应用程序的运行结果不受日志的有无影…...

编程日记 2023/12/29 19:01:06

c 语言， 随机数，一个不像随机数的随机数

c 语言， 随机数，一个不像随机数的随机数 使用两种方式获取随机数，总感觉使用比例的那个不太像随机数。 方法一： rand() 获取一个随机数，计算这个随机数跟最大可能值 RAND_MAX（定义在 stdlib.h 中&#xf…...

编程日记 2023/12/29 18:46:53

Git三种方法从远程仓库拉取指定分支

克隆指定分支 git clone -b dev开发分支 https://github.com/521/springboot-rabbitmq.git切换到远程分支 git checkout -b dev开发分支 origin/dev开发分支参考 Git三种方法从远程仓库拉取指定的某一个分支...

编程日记 2023/12/29 18:44:50

7.6分割回文串（LC131-M）

算法： 有很多分割结果，按照for循环去做肯定做不来 这个时候就要想到回溯！那就要画树！ 画树 分割的画树过程其实和组合很像。 例如对于字符串aab： 组合问题：选取一个a之后，在ab中再去选取第…...

编程日记 2023/12/29 18:43:49

stata回归结果输出中，R方和F值到底是用来干嘛的？

先直接回答问题，R方表示可决系数，反映模型的拟合优度，也就是模型的解释能力如何，也可以理解为模型中的各个解释变量联合起来能够在多大程度上解释被解释变量；F值用于模型整体的统计显著性，对应的P值越小&am…...

编程日记 2023/12/29 18:42:48

Windows搭建RTMP视频流服务（Nginx服务器版）

文章目录 引言1、安装FFmpeg2、安装Nginx服务器3、实现本地视频推流服务4、使用VLC或PotPlayer可视化播放器播放视频5、RTSP / RTMP系列文章 引言 RTSP和RTMP视频流的区别 RTSP （Real-Time Streaming Protocol）实时流媒体协议。 RTSP定义流格式&#xff…...

编程日记 2023/12/29 18:41:47

IP地址SSL证书

IP地址SSL证书是一种专门针对公网IP地址颁发的数字证书。与常规的域名SSL证书类似，其主要目标是提供数据加密和身份验证。以下几点概述了IP地址SSL证书的重要特性及其申请过程： 1. 保护直接IP访问： 当用户直接通过IP地址访问服务时&#xff…...

编程日记 2023/12/29 18:39:45

关于“Python”的核心知识点整理大全49

目录 16.2.10 加亮颜色主题 16.3 小结 第１7 章 使用API 17.1 使用 Web API 17.1.1 Git 和 GitHub 17.1.2 使用 API 调用请求数据 17.1.3 安装 requests 17.1.4 处理 API 响应 python_repos.py 注意 17.1.5 处理响应字典 python_repos.py import json i…...

编程日记 2023/12/29 18:37:43

爬虫学习(1)--requests模块的使用

前言 什么是爬虫 爬虫是一种自动化工具，用于从互联网或其他计算机网络上获取数据。它可以模拟人的行为，自动访问网页，提取感兴趣的数据，并将其存储到本地计算机或数据库中。爬虫通常用于搜索引擎、数据分析、信息聚合等领域&…...

编程日记 2023/12/29 18:34:41

【Vue2 + ElementUI】el-table中校验表单

一. 案例 校验金额 阐述&#xff1a;校验输入的金额是否正确。如下所示&#xff0c;点击【编辑图标】会变为input输入框当&#xff0c;输入金额。当输入框失去焦点时&#xff0c;若正确则调用接口更新金额且变为不可输入状态&#xff0c;否则返回不合法金额提示 <templat…...

编程日记 2023/12/29 18:33:40

PgSQL技术内幕 - ereport ERROR跳转机制

PgSQL技术内幕 - ereport ERROR跳转机制 使用客户端执行SQL的时候经常遇到报ERROR错误&#xff0c;然后SQL语句就退出了。当然&#xff0c;事务也会回滚掉。本文我们看下它是如何做到退出SQL语句并回滚事务的。 1、以insert一个numeric类型值为例 表一个字段为numeric(10,2)类型…...

编程日记 2023/12/29 18:32:39

【验证概括 SV的数据类型_2023.12.18】

验证概括 验证的过程是保证芯片实现符合规格说明书&#xff08;Specification&#xff0c;spec&#xff09;的过程 验证的两项任务&#xff1a; RTL sim&#xff1a;前仿真&#xff0c;验证功能 GLS-Gate (Level Simulation)&#xff1a;后仿真&#xff0c;验证功能和时序 验…...

编程日记 2023/12/29 18:28:34

婚宴座位规划中的优化算法：量子与经典方法对比

1. 婚宴座位规划中的优化算法对决&#xff1a;量子与经典方法谁更胜一筹&#xff1f;筹备婚礼时&#xff0c;最令人头疼的任务之一就是安排座位。去年我为自己婚礼设计座位表时&#xff0c;尝试了各种方法——从手工调整Excel表格到使用专业活动策划软件&#xff0c;结果都不尽…...

编程新知 2026/5/12 5:50:16

神经科学启发的边缘AI持续学习：从突触修剪到双记忆系统的架构设计

1. 项目概述&#xff1a;为什么我们需要一个“会学习”的边缘大脑&#xff1f;想象一下&#xff0c;你家里的扫地机器人&#xff0c;第一天它学会了绕过餐桌腿&#xff0c;第二天你搬来一把新椅子&#xff0c;它却一头撞了上去&#xff0c;然后彻底忘记了怎么绕过餐桌腿。这听起…...

编程新知 2026/5/12 5:23:04

技术栈选择的跟风陷阱：新潮技术与稳定性的平衡

在软件测试行业&#xff0c;技术迭代的速度如同飞驰的列车&#xff0c;新的测试框架、自动化工具、性能分析平台等层出不穷。从早期的Selenium到如今的Playwright&#xff0c;从JUnit到TestNG&#xff0c;再到新兴的Cypress、Pytest等&#xff0c;每一种新技术的出现都伴随着行…...

编程新知 2026/5/12 4:00:09

VRM-VRChat双向转换引擎：打破虚拟角色平台壁垒的技术解决方案

VRM-VRChat双向转换引擎&#xff1a;打破虚拟角色平台壁垒的技术解决方案 【免费下载链接】VRMConverterForVRChat 项目地址: https://gitcode.com/gh_mirrors/vr/VRMConverterForVRChat VRM格式转换、VRChat SDK3兼容、Unity编辑器扩展、虚拟角色迁移、跨平台角色转换…...

编程新知 2026/5/12 2:28:10

加州自动驾驶测试报告解读：数据背后的技术演进与行业趋势

1. 从加州数据看自动驾驶的“成绩单”&#xff1a;2021年测试报告深度解读每年年初&#xff0c;自动驾驶圈子里不少人都会习惯性地去翻看一份来自美国加州的“成绩单”——加州机动车辆管理局发布的年度自动驾驶车辆测试报告。这份报告就像一份公开的“期中考试”排名&#xff…...

编程新知 2026/5/11 23:11:07

Honey Select 2一站式智能优化方案：HS2-HF Patch高效整合200+插件

Honey Select 2一站式智能优化方案&#xff1a;HS2-HF Patch高效整合200插件 【免费下载链接】HS2-HF_Patch Automatically translate, uncensor and update HoneySelect2! 项目地址: https://gitcode.com/gh_mirrors/hs/HS2-HF_Patch 还在为《Honey Select 2》的翻译不…...

编程新知 2026/5/11 22:59:03

3分钟掌握Windows与Office智能激活：KMS_VL_ALL_AIO终极解决方案

3分钟掌握Windows与Office智能激活&#xff1a;KMS_VL_ALL_AIO终极解决方案 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为Windows和Office的激活问题烦恼吗&#xff1f;KMS_VL_ALL_AIO作…...

编程新知 2026/5/11 22:59:02

别再让专利证书变废纸！手把手教你用6步法写出能维权的权利要求书

从技术到法律&#xff1a;6步打造高价值专利权利要求的实战指南 刚拿到专利证书的工程师小王&#xff0c;在展会上发现竞争对手的产品几乎照搬了自己的发明。他信心满满地提起诉讼&#xff0c;却因权利要求书中"数据传输模块"的表述过于宽泛而败诉——法院认为该描述…...

编程新知 2026/5/11 22:26:00

从Kaggle竞赛到实战：基于XGBoost的Otto多分类产品识别系统构建

1. 从Kaggle竞赛到真实业务场景的跨越 第一次接触Otto数据集是在2015年的Kaggle竞赛上&#xff0c;当时只觉得这是个典型的多分类问题。直到去年为某跨境电商平台搭建商品自动分类系统时&#xff0c;我才真正理解这个案例的实战价值——90%的参赛者只关注模型精度&#xff0c;而…...

编程新知 2026/5/11 20:31:17

【研报 A111】中国生命科学AI行业发展蓝皮书：三阶段演进，2026年进入创造应用期

摘要&#xff1a;生命科学领域的AI赋能正迎来产业跃迁&#xff0c;AI4LS作为AIforScience最核心的应用场景&#xff0c;凭借处理多维复杂数据的天然优势&#xff0c;破解生命科学研发周期长、数据庞杂的痛点。当前行业正处于2.0预测阶段向3.0创造阶段的过渡期&#xff0c;Alpha…...

编程新知 2026/5/11 20:10:47