当前位置： 首页 > news >正文

机器学习：提取问题答案

news 文章来源：https://blog.csdn.net/uncle_ll/article/details/131990791 2025/5/5 17:04:08

在这里插入图片描述

模型BERT

在这里插入图片描述

任务：提取问题和答案

在这里插入图片描述

问题的起始位置和结束位置。

数据集

在这里插入图片描述
数据集 DRCD+ODSQA
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
先分词，然后tokenize
在这里插入图片描述
在这里插入图片描述
文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 O ( n 2 ) O(n^2) O(n2),所以无法将长的整篇文章送进去处理。

Train

在这里插入图片描述
以正确答案为中心，以固定长度的windows去找问题。关键字，答案一般在关键字附近，在答案的附近画一个window，越大越好。然后将这些片段进行tokenizer，再去训练。

在这里插入图片描述

Hints

在这里插入图片描述
在这里插入图片描述

  • Linear Learning rate decay
    在这里插入图片描述

在这里插入图片描述
overlapping window， 因为分割可能会看不到，重叠一些部分。 修改doc stride参数。

在这里插入图片描述
正确答案不一定是在窗户正中心。

在这里插入图片描述
不同的预训练模型，建议使用中文预训练模型。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
自动混合精度，有的时候不需要那么高的精度Float32，仅部分卡支持，以加速训练。

在这里插入图片描述
如果GPU内存不够的话，可以使用Gradient accumulation，累计参数一次更新。

在这里插入图片描述

Kaggle项目

在这里插入图片描述

在这里插入图片描述
套件：pip install transformers
在这里插入图片描述

相关文章：

机器学习：提取问题答案

模型BERT 任务：提取问题和答案 问题的起始位置和结束位置。 数据集 数据集 DRCDODSQA 先分词，然后tokenize 文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 O ( n 2 ) O(n^2) O(n…...

编程日记 2023/7/29 13:58:52

【Ansible】

目录 一、Ansible简介二、ansible 环境安装部署1、管理端安装 ansible 三、ansible 命令行模块（重点）1．command 模块2．shell 模块3、cron 模块4．user 模块5．group 模块6．copy 模块（重…...

编程日记 2023/7/29 13:57:50

分布式版本控制系统git详解

git 是目前世界上最先进的分布式版本控制系统 补充说明 git命令 很多人都知道，Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。 Linus虽然创建了Linux，但Linux的壮大是靠…...

编程日记 2023/7/29 13:56:49

如何使用Python进行数据挖掘？

使用Python进行数据挖掘需要掌握以下几个关键步骤： 数据收集：首先，你需要获取你要进行数据挖掘的数据。可以从公共数据集、API、数据库等各种来源收集数据。 数据清洗：清洗数据是一个重要的步骤，它包括去除重复数据、…...

编程日记 2023/7/29 13:55:47

若依-前台无法正常启动，npm run dev失败

问题场景： 使用若依Vue前端分离版-基于SpringBoot的权限管理系统进行实战。 问题描述与解决 拉取若依项目后，根据官方开发文档（项目readme文档）进行依赖下载安装后，启动失败。 出现以下几个问题： 运行n…...

编程日记 2023/7/29 13:54:46

Spring之IoC源码分析及设计思想(一)——BeanFactory

关于Spring的IOC Spring 是一个开源的 Java 平台，它提供了一种简化应用程序开发的框架。它是一个分层的框架，包括两个主要的内核：控制反转（IOC）和面向切面编程（AOP）。IOC 允许应用程序将组件之…...

编程日记 2023/7/29 13:53:45

⛳ 面向对象面试题

面向对象面试题目录 ⛳ 面向对象面试题🚜 一，成员变量，局部变量，类变量存储在内存的什么地方？🐾 1.1，类变量（静态成员变量）📝 1.2，成员变量⭐ 1.3…...

编程日记 2023/7/29 13:52:44

Java中使用Gson操作json数据

Java中使用Gson操作json数据 引入依赖 <dependency><groupId>com.google.code.gson</groupId><artifactId>gson</artifactId><version>2.9.0</version></dependency>Gson工具类 package cn.test.util;import com.google.gso…...

编程日记 2023/7/29 13:51:43

Verilog语法学习——LV10_使用函数实现数据大小端转换

LV10_使用函数实现数据大小端转换 题目来源于牛客网 [牛客网在线编程_Verilog篇_Verilog快速入门 (nowcoder.com)](https://www.nowcoder.com/exam/oj?page1&tabVerilog篇&topicId301) 题目 描述 在数字芯片设计中&#xff0c;经常把实现特定功能的模块编写成函数&…...

编程日记 2023/7/29 13:50:42

Leetcode-每日一题【剑指 Offer II 009. 乘积小于 K 的子数组】

题目 给定一个正整数数组 nums和整数 k &#xff0c;请找出该数组内乘积小于 k 的连续的子数组的个数。 示例 1: 输入: nums [10,5,2,6], k 100输出: 8解释: 8 个乘积小于 100 的子数组分别为: [10], [5], [2], [6], [10,5], [5,2], [2,6], [5,2,6]。 需要注意的是 [10,5,2]…...

编程日记 2023/7/29 13:49:41

html/javascript-表格的创建和使用

html中表格的创建和使用 一 摘要二 使用html table标签创建表格&#xff08;在html文件中&#xff09;三 使用javascript创建表格&#xff08;在js文件中&#xff09;四 表格属性的设置&#xff1a;4.1. 右边框的设置&#xff1a;4.2. 只给表格单元格加右边框4.3. 动态设置右边…...

编程日记 2023/7/29 13:48:40

[点微]同城原生微信小程序 小程序原生版 1.0.7(tom_xiaofenlei)

注意！！！这是点微后出的原生版小程序！！！ 依赖点微同城分类主插件、点微同城小程序后端插件！！！ 【以下为模块路径】 同城首页 pages/index/index 个人中心 pages/index/my 好店首页 pages/module/tcshop 商城首页 pages/module/tcmall 抢购首页 pages/module/tcqianggou…...

编程日记 2023/7/29 13:47:37

JDBC Some Templates

JDBCTemplate 是Spring对JDBC的封装&#xff0c;使用JDBCTemplate方便实现对数据的操作。 <!-- orm:Object relationship mapping m对象 关系 映射-->引入依赖 <!-- 基于Maven依赖的传递性&#xff0c;导入spring-content依赖即可导入当前所需的所有…...

编程日记 2023/7/29 13:46:36

dubbo启动指定ip不使用docker虚拟网络ip

java -D 配置系统属性 # 启动时加参数 -DDUBBO_IP_TO_REGISTRY 192.168.1.1 该ip为dubbo所在服务器的公网ip即可。 java -jar myDubboRpc-api.jar -DDUBBO_IP_TO_REGISTRY 192.168.1.1 # xjar启动 nohup ./xjar java -DDUBBO_IP_TO_REGISTRY11.22.33.44 -XX:UseG1GC -jar …...

编程日记 2023/7/29 13:45:35

Bobo String Construction

登录—专业IT笔试面试备考平台_牛客网 题目大意&#xff1a;给出一字符串t&#xff0c;求一个长为n的字符串&#xff0c;使tst中包含且仅包含两个t 1<n<1000;测试样例组数<1000 思路&#xff1a;一开始很容易想到如果t里有1&#xff0c;s就全0&#xff0c;否则s就全…...

编程日记 2023/7/29 13:44:34

基于java在线个人网站源码设计与实现

摘 要 随着社会及个人社交应用平台的飞速发展&#xff0c;人们的沟通成本逐渐降低&#xff0c;互联网信息的普及也进一步提升了人们对于信息的需求度&#xff0c;通过建立个人网站的方式来展示自己的生活信息同时利用平台结交新的朋友&#xff0c;借助个人网站平台的搭建不仅可…...

编程日记 2023/7/29 13:43:32

Ubuntu18.04下编译qgc源码

写在前面 在下载前必须说明&#xff0c;根据你的qgc源码版本进行下载&#xff0c;有的源码必须要求Qt是5.15版本以上。 个人所使用开发软件 版本QT5.12.9qgc源码V4.0Ubuntu18.04 QT下载 &#xff08;1&#xff09;我们可以去官网下载官网下载地址具体的下载方法这里不用多说&a…...

编程日记 2023/7/29 13:42:31

Ros2_windows_install的学习笔记

Ros2_windows_install安装 Iron安装 iex ((New-Object System.Net.WebClient).DownloadString(https://raw.githubusercontent.com/scottcandy34/ros2_windows_install/main/ros2_iron.ps1))启动Iron C:\dev\ros2_iron\local_setup.bat...

编程日记 2023/7/29 13:41:30

5、Kubernetes核心技术 - Controller控制器工作负载

目录 一、Deployments - 控制器应用 二、Deployment升级回滚和弹性收缩 2.1、创建一个 1.14 版本的 pod 2.2、应用升级 2.3、查看升级状态 2.4、查看历史版本 2.5、应用回滚 2.6、弹性伸缩 三、StatefulSet - 有状态应用 四、DaemonSet - 守护进程 五、Job - 单次任…...

编程日记 2023/7/29 13:40:29

【java设计模式】创建型模式介绍（工厂模式、抽象工厂模式、单例模式、建造者模式、原型模式）

文章目录 简介一、工厂模式介绍案例 二、抽象工厂模式介绍案例 三、单例模式介绍案例 四、建造者模式介绍案例 五、原型模式介绍案例 简介 本文介绍Java设计模式中创建型模式的五种 一、工厂模式 工厂模式&#xff08;Factory Pattern&#xff09;是 Java 中最常用的设计模式…...

编程日记 2023/7/29 13:39:27

Redis系列：Redis 的事务机制

1 复习下何为事务机制&#xff1f; Transaction&#xff08;事务&#xff09;是计算机的特有术语&#xff0c;它一般指单个逻辑工作单位&#xff0c;由一系列的操作组合而成&#xff0c;在这些操作执行的时候&#xff0c;要么都执行成功&#xff0c;要么都不执行&#xff0c;防…...

编程日记 2023/7/29 13:38:25

动静态网页、Django创建表关系、Django框架的请求生命周期流程图

一、request对象的几个方法 在视图函数中写方法的时候&#xff0c;都会有一个形参requestdef index(request):passrequest.method # GET POST request.GET.get() # 它获取最后一个元素值 request.GET.getlist() # 获取到所有的request.POST.get() # 它获取最后一个元素值 req…...

编程日记 2023/7/29 13:37:24

神经网络的初始化方法

文章目录 1、随机初始化2、Xavier初始化3、He初始化4、权重预训练初始化5、零初始化 对于神经网络的训练过程中&#xff0c;合适的参数初始化方法有助于更好的处理梯度消失和梯度爆炸问题。通常有以下几种初始化方法&#xff1a; 1、随机初始化 随机初始化&#xff08;Random…...

编程日记 2023/7/29 13:36:22

【SQL Server】DBCC CHECKDB只是一个数据库维护命令吗？

日期&#xff1a;2023年7月27日 作者&#xff1a;Commas 签名&#xff1a;(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释&#xff1a;如果您觉得有所帮助&#xff0c;帮忙点个赞&#xff0c;也可以关注我&#xff0c;我们一起成长&#xff1b;如果有不对的地方&#xf…...

编程日记 2023/7/29 13:35:19

三、Web安全相关知识

请勿用于非法用途 文章目录 一、Web源码框架二、目录结构1、静态资源2、WEB-INF&#xff08;1&#xff09;classes&#xff08;2&#xff09;lib&#xff08;3&#xff09;web.xml 二、web脚本语言1、脚本种类&#xff08;1&#xff09;ASP&#xff08;2&#xff09;ASP.NET&am…...

编程日记 2023/7/29 13:34:17

Android系统服务之AMS

目录 概述 重点和难点问题 启动方式 main入口&#xff1a; run方法&#xff1a; BootstrapSevices 小结&#xff1a; 与其他线程的通信原理 参考文档&#xff1a; 概述 AMS是Android系统主要负责四大组件的启动&#xff0c;切换&#xff0c;调度以及应用程序进程管理和调度等工…...

编程日记 2023/7/29 13:33:16

Unity UGUI的EventTrigger (事件监听器)组件的介绍及使用

Unity UGUI的EventTrigger (事件监听器)组件的介绍及使用 1. 什么是EventTrigger组件&#xff1f; EventTrigger是Unity UGUI中的一个组件&#xff0c;用于监听和响应UI元素的各种事件&#xff0c;例如点击、拖拽、进入、离开等。通过EventTrigger组件&#xff0c;我们可以方…...

编程日记 2023/7/29 13:32:15

Matlab的SimuLink对FS32K144编程--内部数据存储Flash

​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ 前言 Flah擦写是由寿命的&#xff0c;应当减免无效的擦写&#xff0c;如数据值不变不进行擦写 1、新建工程完成后&#xff0c;拖出Flash的存储控制初始化…...

编程日记 2023/7/29 13:31:13

【MySQL】centos 7下MySQL的环境搭建

从本期博客开始我们正式进入到数据库的学习&#xff0c;在学习数据库时所用到的工具是Linux环境下的MySQL 目录 一、检查环境中是否装有MySQL 二、获取MySQL官方yum源 三、配置MySQL官方yum源 四、一键安装MySQL 五、启动mysql服务 六、登录MySQL 七、修改mysql配置文件…...

编程日记 2023/7/29 13:30:10

【SpringCloud Alibaba】（四）使用 Feign 实现服务调用的负载均衡

在上一文中&#xff0c;我们实现了服务的自动注册与发现功能。但是还存在一个很明显的问题&#xff1a;如果用户微服务和商品微服务在服务器上部署多份的话&#xff0c;之前的程序无法实现服务调用的负载均衡功能。 本文就带着大家一起实现服务调用的负载均衡功能 1. 负载均衡…...

编程日记 2023/7/29 13:29:10