当前位置: 首页 > news >正文

93、Dehazing-NeRF: Neural Radiance Fields from Hazy Images

简介

论文:https://arxiv.org/pdf/2304.11448.pdf
在这里插入图片描述
从模糊图像输入中恢复清晰NeRF

使用大气散射模型模拟有雾图像的物理成像过程,联合学习大气散射模型和干净的NeRF模型,用于图像去雾和新视图合成

通过将NeRF 3D场景的深度估计与大气散射模型相结合,提出的模型在保持几何一致性的同时,突破了单幅图像去雾的不适定问题

为了缓解信息丢失导致的图像质量下降,在模型训练过程中解决了软边缘一致性正则化、大气一致性和对比度判别损失等问题

  • 提出了一种新的无监督视图合成框架,该框架可以从模糊输入中恢复清晰的NeRF。利用三维场景的深度信息来补充ASM的不确定参数,解决了单幅图像去雾的不适定问题。
  • 为了在保证重建图像一致性的同时,缓解模糊图像量化带来的信息丢失问题,提出了一种软边缘一致性正则化方法。
  • 实验验证了该方法能够去除图像中的雾霾,合成清晰的新视图图像。

实现流程

在这里插入图片描述
(a)模糊图像重建分支,估计ASM的参数。它结合了来自新视图合成分支的清晰图像和深度图来生成重建的朦胧图像。其中A为大气光,β为描述介质散射能力的散射系数。
(b)生成估计清晰图像的新视图合成分支;

ASM

大气中粒子的散射作用是造成雾霾的主要原因,雾霾图像的低能见度是由于大气中悬浮粒子对光的吸收和散射
在这里插入图片描述

大气散射模式对雾霾天气下的成像过程进行了物理模拟,并分析了雾霾天气下图像退化的两个原因

  • 物体反射的光被悬浮粒子吸收散射而衰减
  • 环境光,如阳光被悬浮粒子散射形成背景光
    在这里插入图片描述
    I(x)为观测到的模糊图像,J(x)为待恢复的清晰图像,t(x)为透射图,β为大气散射系数,A为大气光或空气光,d(x)为目标物与相机之间的距离。其中(x)表示逐像素计算

Hazy image reconstruction branch

分支(a)的核心是图像退化的物理模型。采用ASM算法重建模糊图像的退化过程。ASM中存在三个未知参数,分别是大气散射系数β、大气光强 A和深度图 D ^ \hat{D} D^。为了解决图像去雾的不确定问题,减少需要估计的参数数量,使用分支(b)预测的深度图像 j ^ \hat{j} j^,同时保证了重建清晰场景的几何一致性

为了解决样本少的问题,分支(a)使用预训练好的DNN来预测 β 和 a 这两个参数。从上述参数和分支(b)估计的清晰图像,使用ASM重建估计的模糊图像

重建的朦胧图像应与真实的朦胧图像 I 一致

Novel View Synthesis Branch
分支(b)的输入为对应视角的方向和位置,输出为估计的清晰图像 j ^ \hat{j} j^,视角的方向和位置对应于分支(a)输入的真实模糊图像 I。与原始NeRF在整个图像中随机采样不同,该框架分支(a)输入的真实模糊图像是按等间隔下采样的,采样偏移是随机产生的。这样可以保证采样结果与图像一致,然后在大规模数据集上使用预训练的模型,避免ASM中由于样本数量少而难以估计参数的问题。同时,下采样减少了整个框架消耗的GPU内存

Soft Margin Reconstruction Consistency

模糊图像与无模糊图像的像素直方图存在巨大差异,模糊图像的像素值往往被压缩到更小的范围

数字图像的量化序列通常为256,而朦胧图像的大部分像素值对应的量化序列都大大减小,使得图像中有相当数量的信息丢失
在这里插入图片描述
提出了一种软边缘一致性正则化方法。量化不是将信号 q 分配给单个值,而是一个区间 ( b i , b i + 1 ) (b_i, b_{i+1}) (bi,bi+1),没有严格约束真实图像与重建图像完全相同,而是允许两者之间有细微的差异,这是由量化水平的大小决定的
在这里插入图片描述
其中 I 为真实模糊图像, I ^ \hat{I} I^为重建模糊图像,‖·‖SMRC为提出的软边缘重建一致性正则化
在这里插入图片描述
其中u为像素的预测值,b为像素的实值, ( b i , b i + 1 ) (b_i, b_{i+1}) (bi,bi+1) 为量化区间,λ为0 ~ 1之间的系数

loss function

Atmospheric consistency loss

为了保证同一场景不同视点图像估算的大气参数值的一致性,该算法依赖于静态朦胧场景假设的先验。它有助于NeRF的收敛,避免在朦胧的场景中丢失细节
在这里插入图片描述
β i β_i βi A i A_i Ai 分别为DNN估算的第 i 幅图像的大气散射系数和大气光强。N是多视图图像的个数

Contrast discriminative loss
用于保证模糊和清晰图像的区别,避免琐碎的解决方案
在这里插入图片描述
Lc(·)用于计算图像的局部对比度
在这里插入图片描述
其中I表示输入图像,upsample(·)表示上采样,Avgpool(·)表示均值池化,其中上采样放大倍数与均值卷积的步长和核大小相同

Total Variation loss
为了避免新视图合成结果的噪声并保证其平滑性,加入总变差损失来约束图像像素值的梯度
在这里插入图片描述
其中 D u D_u Du 是图像的邻域, u x = ∂ u ∂ x u_x =\frac{∂_u}{∂_x} ux=xu, y = ∂ u ∂ y y =\frac{∂_u}{∂_y} y=yu。该框架的总损失函数为SMRC、大气一致性损失、对比度辨别损失和总变差损失之和,即:
在这里插入图片描述
其中 λ 1 λ 2 λ 3 λ_1 λ_2 λ_3 λ1λ2λ3 是用来平衡不同损失的系数。 L r e c 、 L c o n s L_{rec}、L_{cons} LrecLcons L c d L_{cd} Lcd分别为软边缘重建一致性、大气一致性损失、对比度判别损失和总变化损失。

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章:

93、Dehazing-NeRF: Neural Radiance Fields from Hazy Images

简介 论文:https://arxiv.org/pdf/2304.11448.pdf 从模糊图像输入中恢复清晰NeRF 使用大气散射模型模拟有雾图像的物理成像过程,联合学习大气散射模型和干净的NeRF模型,用于图像去雾和新视图合成 通过将NeRF 3D场景的深度估计与大气散射模…...

JAVA子类与继承

目录 JAVA子类与继承 一、子类与父类: 二、子类与对象 三、成员变量的隐藏和方法重写 四、super关键字(P122) 五、final关键字 六、对象的上转型对象(P126) 七、继承与多态(P128) 八、abstract类和…...

62 openEuler 22.03-LTS 搭建MySQL数据库服务器-管理数据库

文章目录 62 openEuler 22.03-LTS 搭建MySQL数据库服务器-管理数据库62.1 创建数据库示例 62.2 查看数据库示例 62.3 选择数据库示例 62.4 删除数据库示例 62.5 备份数据库示例 62.6 恢复数据库示例 62 openEuler 22.03-LTS 搭建MySQL数据库服务器-管理数据库 62.1 创建数据库…...

【分布式搜索引擎ES01】

分布式搜索引擎ES 分布式搜索引擎ES1.elasticsearch概念1.1.ES起源1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引 1.3.es的一些概念1.3.1.文档和字段1.3.2.索引和映射1.3.3.mysql与elasticsearch 1.4.1安装es、kibana、IK分词器1.4.2扩展词词典与停用词词典 2.索引库操作2.1.mappi…...

1.3 鞅、停时和域流-鞅(布朗运动与随机计算【习题解答】)

Let X = ( x n , F n ) , n = 1 , ⋯   , N X=\left(x_n, \mathcal{F}_n\right), n=1, \cdots, N X...

十、ElasticSearch 实战 - 源码运行

一、概述 想深入理解 Elasticsearch,了解其报错机制,并有针对性的调整参数,阅读其源码是很有必要的。此外,了解优秀开源项目的代码架构,能够提高个人的代码架构能力 阅读 Elasticsearch 源码的第一步是搭建调试环境&…...

GPT-3 论文阅读笔记

GPT-3模型出自论文《Language Models are Few-Shot Learners》是OpenAI在2020年5月发布的。 论文摘要翻译:最近的工作表明,通过对大量文本进行预训练,然后对特定任务进行微调(fine-tuning),在许多NLP任务和基准测试上…...

方案解析丨数字人主播如何成为电商直播新标配

浙江省政府办公厅近日印发《关于进一步扩大消费促进高质量发展若干举措》支持电子商务直播发展。抢抓电子商务直播快速发展机遇,发展数字人虚拟主播、元宇宙新消费场景等新业态新模式。 随着电商直播快速发展,企业怎么高效地实现引流获客,成为…...

Python最全迭代器有哪些?

python中迭代器的使用是最广泛的,凡是使用for语句,其本质都是迭代器的应用。 从代码角度看,迭代器是实现了迭代器协议的对象或类。迭代器协议方法主要是两个: __iter__()__next__() __iter__()方法返回对象本身,他是…...

ESP32 网络计时器,包含自动保存

简介 本代码是基于ESP32开发板实现的一个计时器功能,具备倒计时、计时器时长选择、显示当前时间、有源蜂鸣器报警等功能。代码中使用了WiFi网络连接、NTP时间同步、EEPROM存储等功能。通过按钮控制计时器的开始、停止和计时器时长的选择。 运行原理概述 在ESP32开…...

【ChatGPT】阿里版 ChatGPT 突然官宣意味着什么?

Yan-英杰的主页 悟已往之不谏 知来者之可追 C程序员,2024届电子信息研究生 目录 阿里版 ChatGPT 突然官宣 ​ ChatGPT 技术在 AI 领域的重要性 自然语言生成 上下文连续性 多语言支持 ChatGPT 未来可能的应用场景 社交领域 商业领域 ​编辑 医疗领域…...

IPEmotion控制模块-PID循环应用

IPEmotion专业版、开发版支持控制模块,并且该模块支持函数发生器、PID控制器、路由器、序列控制和序列控制块以及参考曲线生成器。本文主要针对PID(P:Proportional control 比例控制;I:Integral control 积分控制&…...

【元分析研究方法】学习笔记2.检索文献(含100种学术文献搜索清单链接)

检索文献 该步骤的作用该步骤中需要注意的问题该步骤中部分知识点我的收获 参考来源:库珀 (Cooper, H. M. )., 李超平, & 张昱城. (2020). 元分析研究方法: A step-by step approach. 中国人民大学出版社. 该步骤的作用 1.识别相关文献的来源; 2.识别…...

题目:16版.自由落体

1、实验要求 本实验要求:模拟物体从10000米高空掉落后的反弹行为。 1-1. 创建工程并配置环境: 1-1.1. 限制1. 工程取名:SE_JAVA_EXP_E009。 1-1.2. 限制2. 创建包,取名:cn.campsg.java.experiment。 1-1.3. 限制3. 创建…...

视频可视化搭建项目,通过简单拖拽方式快速生产一个短视频

一、开源项目简介 《视搭》是一个视频可视化搭建项目。您可以通过简单的拖拽方式快速生产一个短视频,使用方式就像易企秀或百度 H5 等 h5 搭建工具一样的简单。目前行业内罕有关于视频可视化搭建的开源项目,《视搭》是一个相对比较完整的开源项目&#…...

network-1 4 layer internet model

4layer model applicationtransport tcp: transmission control protocol enable correct in-order delivery of data, running on top of the network layer service.udp: user datagram protocolnetwork packet:data、from、tonetwork->linkiplink source en…...

计算机网络笔记(横向)

该笔记也是我考研期间做的整理。一般网上的笔记是按照章节纪录的,我是按照知识点分类纪录的,大纲如下: 文章目录 1. 各报文1.1 各报文头部详解1.2 相关口诀 2. 各协议2.1 各应用层协议使用的传输层协议与端口2.2 各协议的过程2.2.1 数据链路层…...

0.redis-实践

1.redis内存设置多少,默认是0&#xff0c;不限制 2.如何配置&#xff0c;修改内存大小 1) 查看最大占用内存 # maxmeory <bytes> 或者 config get maxmemory 2) 默认内存多少可以用: 64位系统下不限制&#xff0c;32位下最多3G 3) 如何配置: 默认总内存的3/4 4) 如何修改…...

Redux的基本使用,从入门到入土

目录 一、初步使用Redux 1.安装Redux 2.配置状态机 二、Redux的核心概念 1.工作流程 2.工作流程 三、优化Redux 1.对action进行优化 2.type常量 3.reducer优化 四、react-redux使用 1.安装react-redux 2.全局注入store仓库 3.组件关联仓库 五、状态机的Hook 1.u…...

GDOUCTF2023-部分re复现

目录 [GDOUCTF 2023]Check_Your_Luck [GDOUCTF 2023]Tea [GDOUCTF 2023]doublegame [GDOUCTF 2023]Check_Your_Luck 打开题目是一串代码&#xff0c;明显的z3约束器求解 直接上脚本 import z3 from z3 import Reals z3.Solver() vReal(v) xReal(x) yReal(y) wReal(w) zRea…...

SkyWalking 10.2.0 SWCK 配置过程

SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外&#xff0c;K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案&#xff0c;全安装在K8S群集中。 具体可参…...

简易版抽奖活动的设计技术方案

1.前言 本技术方案旨在设计一套完整且可靠的抽奖活动逻辑,确保抽奖活动能够公平、公正、公开地进行,同时满足高并发访问、数据安全存储与高效处理等需求,为用户提供流畅的抽奖体验,助力业务顺利开展。本方案将涵盖抽奖活动的整体架构设计、核心流程逻辑、关键功能实现以及…...

Xshell远程连接Kali(默认 | 私钥)Note版

前言:xshell远程连接&#xff0c;私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...

多模态商品数据接口:融合图像、语音与文字的下一代商品详情体验

一、多模态商品数据接口的技术架构 &#xff08;一&#xff09;多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如&#xff0c;当用户上传一张“蓝色连衣裙”的图片时&#xff0c;接口可自动提取图像中的颜色&#xff08;RGB值&…...

ios苹果系统,js 滑动屏幕、锚定无效

现象&#xff1a;window.addEventListener监听touch无效&#xff0c;划不动屏幕&#xff0c;但是代码逻辑都有执行到。 scrollIntoView也无效。 原因&#xff1a;这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作&#xff0c;从而会影响…...

iview框架主题色的应用

1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题&#xff0c;无需引入&#xff0c;直接可…...

探索Selenium:自动化测试的神奇钥匙

目录 一、Selenium 是什么1.1 定义与概念1.2 发展历程1.3 功能概述 二、Selenium 工作原理剖析2.1 架构组成2.2 工作流程2.3 通信机制 三、Selenium 的优势3.1 跨浏览器与平台支持3.2 丰富的语言支持3.3 强大的社区支持 四、Selenium 的应用场景4.1 Web 应用自动化测试4.2 数据…...

python爬虫——气象数据爬取

一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用&#xff1a; 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests&#xff1a;发送 …...

tauri项目,如何在rust端读取电脑环境变量

如果想在前端通过调用来获取环境变量的值&#xff0c;可以通过标准的依赖&#xff1a; std::env::var(name).ok() 想在前端通过调用来获取&#xff0c;可以写一个command函数&#xff1a; #[tauri::command] pub fn get_env_var(name: String) -> Result<String, Stri…...

【UE5 C++】通过文件对话框获取选择文件的路径

目录 效果 步骤 源码 效果 步骤 1. 在“xxx.Build.cs”中添加需要使用的模块 &#xff0c;这里主要使用“DesktopPlatform”模块 2. 添加后闭UE编辑器&#xff0c;右键点击 .uproject 文件&#xff0c;选择 "Generate Visual Studio project files"&#xff0c;重…...