SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution
- CVPR2024 香港理工大学&OPPO&bytedance
- https://github.com/cswry/SeeSR?tab=readme-ov-file#-license
- https://arxiv.org/pdf/2311.16518#page=5.80
- 问题引入
- 因为有些LR退化情况比较严重，所以超分之后的结果会出现语义的不一致的情况，所以本文训练了degradationaware prompt extractor来提取soft and hard semantic prompts辅助超分模型；
- 在inference的过程中LR也参与了；
- methods
- 分为两个阶段，第一个阶段训练DAPE来从LR中提取对应的语义特征，包含soft(feature和hard(tag两个级别，训练的目标是使HR和LR对应的输出尽可能相似；第二个阶段是使用得到的语义信息来进行超分任务；
- 对应HR-LR数据对 x , y x,y x,y，其中 y y y是对 x x x进行degradation得到的，之后分别输入到DAPE模型中得到 f x r e p , f x l o g i t s , f y r e p , f y l o g i t s f_x^{rep},f_x^{logits},f_y^{rep},f_y^{logits} fxrep,fxlogits,fyrep,fylogits，DAPE模型是从tag预训练模型初始化而来，最后的损失是 L D A P E = L r ( f y r e f , f x r e p ) + λ L l ( f y l o g i t s , f x l o g i t s ) L_{DAPE}=L_r(f_y^{ref},f_x^{rep}) + \lambda L_l(f_y^{logits},f_x^{logits}) LDAPE=Lr(fyref,fxrep)+λLl(fylogits,fxlogits)， L r L_r Lr是MSE损失， L l L_l Ll是cross entropy损失，两部分损失中logits部分损失受到模型thresh值设定的影响，所以使用representation部分进行补充；
- 超分网络在原始SD模型的基础上新增了representation和image作为条件，分别对应representation cross attention模块和controlnet模块，其中representation cross attention添加到text cross attn模块后面；
- LR Embedding in Inference：推理的时候往常是随机初始化的噪声，但是本文是对LR添加噪声来进行噪声初始化；
- 实验
相关文章：
SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution
CVPR2024 香港理工大学&OPPO&bytedancehttps://github.com/cswry/SeeSR?tabreadme-ov-file#-licensehttps://arxiv.org/pdf/2311.16518#page5.80 问题引入 因为有些LR退化情况比较严重，所以超分之后的结果会出现语义的不一致的情况，所以本文训…...
七月论文审稿GPT第5版：拿我司七月的早期paper-7方面review数据集微调LLama 3
前言 llama 3出来后，为了通过paper-review的数据集微调3，有以下各种方式 不用任何框架 工具 技术，直接微调原生的llama 3，毕竟也有8k长度了 效果不期望有多高，纯作为baseline通过PI，把llama 3的8K长度扩展…...
盘古5.0，靠什么去解最难的题？
文｜周效敬 编｜王一粟 当大模型的竞争开始拼落地，商业化在B端和C端都展开了自由生长。 在B端，借助云计算向千行万业扎根；在C端，通过软件App和智能终端快速迭代。 在华为，这家曾经以通信行业起…...
2.3章节Python中的数值类型
1.整型数值 2.浮点型数值 3.复数 Python中的数值类型清晰且丰富，主要分为以下几种类型，每种类型都有其特定的用途和特性。 一、整型数值 1.定义：整数类型用于表示整数值，如1、-5、100等。 2.特点： Python 3中的…...
每日Attention学习7——Frequency-Perception Module
模块出处 [link] [code] [ACM MM 23] Frequency Perception Network for Camouflaged Object Detection 模块名称 Frequency-Perception Module (FPM) 模块作用 获取频域信息，更好识别伪装对象 模块结构 模块代码 import torch import torch.nn as nn import to…...
【从0实现React18】 (五) 初探react mount流程 完成核心递归流程
更新流程的目的： 生成wip fiberNode树标记副作用flags 更新流程的步骤： 递：beginWork归：completeWork 在 上一节 ，我们探讨了 React 应用在首次渲染或后续更新时的整体更新流程。在 Reconciler 工作流程中ÿ…...
0-30 VDC 稳压电源，电流控制 0.002-3 A
怎么运行的 首先，有一个次级绕组额定值为 24 V/3 A 的降压电源变压器，连接在电路输入点的引脚 1 和 2 上。（电源输出的质量将直接影响与变压器的质量成正比）。变压器次级绕组的交流电压经四个二极管D1-D4组成的电桥整流。桥输出端…...
HTML5+CSS3+JS小实例：图片九宫格
实例：图片九宫格 技术栈：HTML+CSS+JS 效果： 源码： 【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1…...
湘潭大学软件工程数据库总结
文章目录 前言试卷结构给学弟学妹的一些参考自己的一些总结 前言 自己可能很早很早之前就准备复习了，但是感觉还是没有学到要点，主要还是没啥紧迫的压力，我们是三月份开学，那时候实验室有朋友挺认真开始学习数据库了，…...
Codeforces Testing Round 1 B. Right Triangles 题解 组合数学
Right Triangles 题目描述 You are given a n m nm nm field consisting only of periods (‘.’) and asterisks (‘*’). Your task is to count all right triangles with two sides parallel to the square sides, whose vertices are in the centers of ‘*’-cells. …...
怎样将word默认Microsoft Office，而不是WPS
设置——>应用——>默认应用——>选择"word"——>将doc和docx都选择Microsoft Word即可...
C语言之进程的学习2
Env环境变量（操作系统的全局变量）...
web使用cordova打包Andriod
一.安装Gradel 1.下载地址 Gradle Distributions 2.配置环境 3.测试是否安装成功 在cmd gradle -v 二.创建vite项目 npm init vitelatest npm install vite build 三.创建cordova项目 1.全局安装cordova npm install -g cordova 2. 创建项目 cordova create cordova-app c…...
内卷情况下，工程师也应该了解的项目管理
简介：大家好，我是程序员枫哥，🌟一线互联网的IT民工、📝资深面试官、🌹Java跳槽网创始人。拥有多年一线研发经验，曾就职过科大讯飞、美团网、平安等公司。在上海有自己小伙伴组建的副业团队&…...
【解锁未来：深入了解机器学习的核心技术与实际应用】
解锁未来：深入了解机器学习的核心技术与实际应用 💎1.引言💎1.1 什么是机器学习？ 💎2 机器学习的分类💎3 常用的机器学习算法💎3.1 线性回归（Linear Regression）…...
1-3.文本数据建模流程范例
文章最前： 我是Octopus，这个名字来源于我的中文名–章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的…...
【FFmpeg】avformat_alloc_output_context2函数
【FFmpeg】avformat_alloc_output_context2函数 1.avformat_alloc_output_context21.1 初始化AVFormatContext（avformat_alloc_context）1.2 格式猜测（av_guess_format）1.2.1 遍历可用的fmt（av_muxer_iterate࿰…...
Flask 缓存和信号
Flask-Caching Flask-Caching 是 Flask 的一个扩展，它为 Flask 应用提供了缓存支持。缓存是一种优化技术，可以存储那些费时且不经常改变的运算结果，从而加快应用的响应速度。 一、初始化配置 安装 Flask-Caching 扩展： pip3 i…...
基于weixin小程序农场驿站系统的设计
管理员账户功能包括：系统首页，个人中心，农场资讯管理，用户管理，卖家管理，用户分享管理，分享类型管理，商品信息管理，商品类型管理 开发系统：Windows 架构模式…...
JAVA将List转成Tree树形结构数据和深度优先遍历
引言： 在日常开发中，我们经常会遇到需要将数据库中返回的数据转成树形结构的数据返回，或者需要对转为树结构后的数据绑定层级关系再返回，比如需要统计当前节点下有多少个节点等，因此我们需要封装一个ListToTree的工具类…...
01-VMware16虚拟机详细安装
官网地址：https://www.vmware.com/cn.html 1.1 打开下载好的 .exe 文件， 双击安装。 1.2 点击下一步 1.3 先勾选我接受许可协议中的条款，然后点击下一步 1.4 自定义安装路径，注意这里的文件路径尽量不要包含中文，完成…...
ES海量数据更新及导入导出备份
一、根据查询条件更新字段 from elasticsearch import Elasticsearch import redis import json# 替换下面的用户名、密码和Elasticsearch服务器地址 username elastic password password es_host https://127.0.0.2:30674# 使用Elasticsearch实例化时传递用户名和密码 es…...
深入解析Java21核心新特性（虚拟线程，分代 ZGC，记录模式模式匹配增强）
文章目录 前言一、虚拟线程 (Virtual Threads - JEP 444) - 并发的革命1.1 解决的核心问题🎯1.2 工作原理与核心机制⚙️1.3 使用详解与最佳实践🛠️1.4 注意事项⚠️1.5 总结 📚 二、分代 ZGC (Generational ZGC - JEP 439) - 低延迟新高度2…...
树莓派系统中设置固定 IP
在基于 Ubuntu 的树莓派系统中，设置固定 IP 地址主要有以下几种方法： 方法一：使用 Netplan 配置（Ubuntu 18.04 及以上版本默认使用 Netplan） 查看网络接口名称 在终端输入ip link或ip a命令，查看当前所使…...
MS8312A 车规 精密、低噪、CMOS、轨到轨输入输出运算放大器，用于传感器、条形扫描器
MS8312A 车规 精密、低噪、CMOS、轨到轨输入输出运算放大器，用于传感器、条形扫描器 简述 MS8312A 是双通道的轨到轨输入输出单电源供电运放。它们具有低的失调电压、低的输入电压电流噪声和宽的信号带宽。 低失调、低噪、低输入偏置电流和宽带宽的特性结合使得 …...
【八股消消乐】如何解决SQL线上死锁事故
😊你好，我是小航，一个正在变秃、变强的文艺倾年。 🔔本专栏《八股消消乐》旨在记录个人所背的八股文，包括Java/Go开发、Vue开发、系统架构、大模型开发、具身智能、机器学习、深度学习、力扣算法等相关知识点ÿ…...
【深入学习Linux】System V共享内存
目录 前言 一、共享内存是什么？ 共享内存实现原理 共享内存细节理解 二、接口认识 1.shmget函数——申请共享内存 2.ftok函数——生成key值 再次理解ftok和shmget 1）key与shmid的区别与联系 2）再理解key 3）通过指令查看/释放系统中…...
【Latex】Windows/Ubuntu 绘制 eps 矢量图通用方法（drawio），支持插入 Latex 数学公式
一直感觉 Visio 或者 PPT 中 Mathtype 对 latex 公式渲染效果不好，且在 Ubuntu 下的支持不好，最近重新调研发现一个好用的工具 drawio。 在线使用 https://app.diagrams.net/?srcabout 也有桌面版的应用，Windows 就下载 exe 安装器&#x…...
moon游戏服务器-demo运行
下载地址 https://github.com/sniper00/MoonDemo redis安装 Redis-x64-3.0.504.msi 服务器配置文件 D:\gitee\moon_server_demo\serverconf.lua 貌似不修改也可以的，redis不要设置密码 windows编译 安装VS2022 Community 下载premake5.exe放MoonDemo\server\moon 双…...
Python读取阿里法拍网的html+解决登录cookie
效果图 import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from lxml import etreedef get_taobao_auct…...