当前位置：首页 > news >正文

【论文阅读】如何给模型加入先验知识

news 2026/3/30 11:51:30

如何给模型加入先验知识

1. 基于pretain模型给模型加入先验

把预训练模型的参数导入模型中，这些预训练模型在另一个任务中已经p retrain好了模型的weight,往往具备了一些基本图片的能力

2. 基于输入给模型加入先验

比如说鸟类的头部是一个重要的区分部分，那么可以把模型设计的输入设计为两路输入，再把两路输入的信息融合，这样既关注了局部，又关注了整体

3. 基于模型重现给模型加入先验

尝试让模型自己发现先验知识

给鸟类的头部更多的attention

4. 基于CAM激活限制给模型加入先验

鸟出现的背景也是一个重要的参考

基于激活图，通过限制激活图的激活区域，加入目标先验

5. 基于辅助学习给模型加入先验知识

把任务分成主任务和辅助任务

总结

可以通过多种方式来选择加入自己的先验信息

给神经网络的黑盒子里加入一些认为设定的先验知识，这样往往能给task带来一定程度的提升

不过具体的task需要加入怎样的先验知识，需要如何加入先验知识还需要自己探索

https://mp.weixin.qq.com/s/r-eh7XXon96YFqSJ7xYEgw

【论文阅读】如何给模型加入先验知识

如何给模型加入先验知识 1. 基于pretain模型给模型加入先验把预训练模型的参数导入模型中，这些预训练模型在另一个任务中已经p retrain好了模型的weight,往往具备了一些基本图片的能力 2. 基于输入给模型加入先验比如说鸟类的头部是一个重要的区分部分&#x…...

编程日记 2023/5/14 7:03:53

arm系列交叉编译器各版本区别

目录交叉编译器命名规则具体编译器举例crosstool-ng交叉编译工具样本arm交叉编译器举例几个概念ABI与EABIgnueabi与gnueabihf参考交叉编译器命名规则交叉编译器的命名规则：arch [-vendor] [-os] [-(gnu)eabi] [-language] arch - 体系架构， 如arm&…...

编程日记 2023/5/24 1:48:30

随笔记录工作日志

工作中遇到的问题随笔记录 1、将map集合中的key/value数据按照一定的需求过滤出来，并将过滤出来的map的key值存到list集合中首先想到的是stream流，但是我对stream流的用法基本不熟，记不住方法，如果坚持用stream流去实现这个需求…...

编程日记 2023/5/28 18:58:36

LinkedHashMap源码分析以及LRU的应用

LinkedHashMap源码分析以及LRU的应用 LinkedHashMap简介 LinkedHashMap我们都知道是在HashMap的基础上，保证了元素添加时的顺序；除此之外，它还支持LRU可以当做缓存中心使用源码分析目的分析保持元素有序性是如何实现的 LRU是如何实现的…...

编程日记 2023/5/17 1:26:11

【每日一题Day166】LC1053交换一次的先前排列 | 贪心

交换一次的先前排列【LC1053】给你一个正整数数组 arr（可能存在重复的元素），请你返回可在一次交换（交换两数字 arr[i] 和 arr[j] 的位置）后得到的、按字典序排列小于 arr 的最大排列。如果无法这么操作，…...

编程日记 2023/5/17 10:17:27

Canal增量数据订阅和消费——原理详解

文章目录简介工作原理MySQL主备复制原理canal 工作原理Canal-HA机制应用场景同步缓存 Redis /全文搜索 ES下发任务数据异构简介 canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存…...

编程日记 2023/5/17 21:52:41

为什么要使用线程池

Java线程的创建非常昂贵，需要JVM和OS（操作系统）配合完成大量的工作： (1)必须为线程堆栈分配和初始化大量内存块，其中包含至少1MB的栈内存。 (2)需要进行系统调用，以便在OS（操作系统）…...

编程日记 2023/5/15 20:53:29

在云服务部署前后端以及上传数据库

1.上传数据库(sql文件) 首先建立一个目录，用于存放要部署的sql文件，然后在此目录中进入mysql 进入后建立一个数据库，create database 数据库名完成后，通过select * from 表名可以查到数据说明导入成功。 2.部署Maven后端将Ma…...

编程日记 2023/5/22 12:42:30

Onedrive for Business迁移方案 | 分享一

文章目录前言一、Onedrive for Business迁移方案应用范围？ 1.准备目标平台 2.导出源平台数据 <...

编程日记 2023/4/29 4:05:06

pt01数据类型、语句选择

python01 pycharm常用快捷键 (1) 移动到本行开头：home键 (2) 移动到本行末尾：end键盘 (3) 注释代码：ctrl / (4) 复制行：ctrl d #光标放行上 (5) 删除行：shift delete (6) 选择列：shift alt 鼠标左键…...

编程日记 2023/5/27 14:21:17

ChatGPT 存在很大的隐私问题

当 OpenAI 发布时 2020 年 7 月的 GPT-3，它提供了用于训练大型语言模型的数据的一瞥。根据一篇技术论文，从网络、帖子、书籍等中收集的数百万页被用于创建生成文本系统。在此数据中收集的是您在网上分享的一些关于您自己的个人信息,这些数据现在让 O…...

编程日记 2023/5/26 20:09:47

图的迭代深度优先遍历

图的深度优先遍历（或搜索）类似于树的深度优先遍历（DFS）。这里唯一的问题是，与树不同，图可能包含循环，因此一个节点可能会被访问两次。为避免多次处理一个节点，请使用布尔访问数组。例子：输入： n = 4, e = 6 0 -> 1, 0 -> 2, 1 -> 2, 2 -> 0, …...

编程日记 2023/5/15 20:55:52

华为OD机试-开放日活动-2022Q4 A卷-Py/Java/JS

某部门开展Family Day开放日活动，其中有个从桶里取球的游戏，游戏规则如下:有N个容量一样的小桶等距排开，且每个小桶都默认装了数量不等的小球， 每个小桶装的小球数量记录在数组 bucketBallNums 中,游戏开始时，要求所有…...

编程日记 2023/5/13 21:28:33

两亲性聚合物：Lauric acid PEG Maleimide，Mal-PEG-Lauric acid，月桂酸PEG马来酰亚胺，试剂知识分享

Lauric acid PEG Maleimide，Lauric acid PEG Mal| 月桂酸PEG马来酰亚胺 | CAS：N/A | 端基取代率：95%一、试剂参数信息： 外观（Appearance）：灰白色/白色固体或粘性液体取决于分子量溶解性&am…...

编程日记 2023/4/28 4:09:26

FB使用入口点函数例子

一、DLL的入口点 1.1 VFB的自带DLL模式入口 FB是把代码转成C（GCC编译）或者汇编（GAS编译）后编译的，本身就有一个main函数，所以在程序里其实不需要入口点，直接写就可以顺序执行，而有的…...

编程日记 2023/5/14 17:21:01

文章目录前言文献阅读摘要简介方法结论时间序列预测总结前言本周阅读文献《Improving LSTM hydrological modeling with spatiotemporal deep learning and multi-task learning: A case study of three mountainous areas on the Tibetan Plateau》，文章主要基于…...

编程日记 2023/5/25 6:09:04

49天精通Java，第14天，Java泛型方法的定义和使用

目录一、基本介绍1、Java泛型的基本语法格式为：2、在使用泛型时，还需要注意以下几点：二、泛型的优点1、类型安全2、消除强制类型转换3、更高的效率4、潜在的性能收益三、常见泛型字母含义四、使用泛型时的注意事项五、泛型的使用1、泛型类2、…...

编程日记 2023/5/22 12:45:21

20230402英语学习

reasonable adj.合理的；通情达理的；明智的，理智的 abstract adj.抽象的，理论的 reflection n.反射; 映像, 倒影; 反映; 表达, 抒发; (长相等)酷似的人; 惟妙惟肖的事物; 深思; 考虑 instruction n.教授; 教导, 指导; 指示, 命令…...

编程日记 2023/5/22 12:45:37