当前位置： 首页 > news >正文

机器学习：提取问题答案

news 2026/3/29 12:10:41

在这里插入图片描述

模型BERT

在这里插入图片描述

任务：提取问题和答案

在这里插入图片描述

问题的起始位置和结束位置。

数据集

在这里插入图片描述
数据集 DRCD+ODSQA
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
先分词，然后tokenize
在这里插入图片描述
在这里插入图片描述
文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 O ( n 2 ) O(n^2) O(n2),所以无法将长的整篇文章送进去处理。

Train

在这里插入图片描述
以正确答案为中心，以固定长度的windows去找问题。关键字，答案一般在关键字附近，在答案的附近画一个window，越大越好。然后将这些片段进行tokenizer，再去训练。

在这里插入图片描述

Hints

在这里插入图片描述
在这里插入图片描述

  • Linear Learning rate decay
    在这里插入图片描述

在这里插入图片描述
overlapping window， 因为分割可能会看不到，重叠一些部分。 修改doc stride参数。

在这里插入图片描述
正确答案不一定是在窗户正中心。

在这里插入图片描述
不同的预训练模型，建议使用中文预训练模型。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
自动混合精度，有的时候不需要那么高的精度Float32，仅部分卡支持，以加速训练。

在这里插入图片描述
如果GPU内存不够的话，可以使用Gradient accumulation，累计参数一次更新。

在这里插入图片描述

Kaggle项目

在这里插入图片描述

在这里插入图片描述
套件：pip install transformers
在这里插入图片描述

相关文章：

机器学习：提取问题答案

模型BERT 任务：提取问题和答案 问题的起始位置和结束位置。 数据集 数据集 DRCDODSQA 先分词，然后tokenize 文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 O ( n 2 ) O(n^2) O(n…...

编程日记 2023/7/29 13:58:52

【Ansible】

目录 一、Ansible简介二、ansible 环境安装部署1、管理端安装 ansible 三、ansible 命令行模块（重点）1．command 模块2．shell 模块3、cron 模块4．user 模块5．group 模块6．copy 模块（重…...

编程日记 2023/7/29 13:57:50

分布式版本控制系统git详解

git 是目前世界上最先进的分布式版本控制系统 补充说明 git命令 很多人都知道，Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。 Linus虽然创建了Linux，但Linux的壮大是靠…...

编程日记 2023/7/29 13:56:49

如何使用Python进行数据挖掘？

使用Python进行数据挖掘需要掌握以下几个关键步骤： 数据收集：首先，你需要获取你要进行数据挖掘的数据。可以从公共数据集、API、数据库等各种来源收集数据。 数据清洗：清洗数据是一个重要的步骤，它包括去除重复数据、…...

编程日记 2023/7/29 13:55:47

若依-前台无法正常启动，npm run dev失败

问题场景： 使用若依Vue前端分离版-基于SpringBoot的权限管理系统进行实战。 问题描述与解决 拉取若依项目后，根据官方开发文档（项目readme文档）进行依赖下载安装后，启动失败。 出现以下几个问题： 运行n…...

编程日记 2023/7/29 13:54:46

Spring之IoC源码分析及设计思想(一)——BeanFactory

关于Spring的IOC Spring 是一个开源的 Java 平台，它提供了一种简化应用程序开发的框架。它是一个分层的框架，包括两个主要的内核：控制反转（IOC）和面向切面编程（AOP）。IOC 允许应用程序将组件之…...

编程日记 2023/7/29 13:53:45

⛳ 面向对象面试题

面向对象面试题目录 ⛳ 面向对象面试题🚜 一，成员变量，局部变量，类变量存储在内存的什么地方？🐾 1.1，类变量（静态成员变量）📝 1.2，成员变量⭐ 1.3…...

编程日记 2023/7/29 13:52:44

Java中使用Gson操作json数据

Java中使用Gson操作json数据 引入依赖 <dependency><groupId>com.google.code.gson</groupId><artifactId>gson</artifactId><version>2.9.0</version></dependency>Gson工具类 package cn.test.util;import com.google.gso…...

编程日记 2023/7/29 13:51:43

Verilog语法学习——LV10_使用函数实现数据大小端转换

LV10_使用函数实现数据大小端转换 题目来源于牛客网 [牛客网在线编程_Verilog篇_Verilog快速入门 (nowcoder.com)](https://www.nowcoder.com/exam/oj?page1&tabVerilog篇&topicId301) 题目 描述 在数字芯片设计中&#xff0c;经常把实现特定功能的模块编写成函数&…...

编程日记 2023/7/29 13:50:42

Leetcode-每日一题【剑指 Offer II 009. 乘积小于 K 的子数组】

题目 给定一个正整数数组 nums和整数 k &#xff0c;请找出该数组内乘积小于 k 的连续的子数组的个数。 示例 1: 输入: nums [10,5,2,6], k 100输出: 8解释: 8 个乘积小于 100 的子数组分别为: [10], [5], [2], [6], [10,5], [5,2], [2,6], [5,2,6]。 需要注意的是 [10,5,2]…...

编程日记 2023/7/29 13:49:41

html/javascript-表格的创建和使用

html中表格的创建和使用 一 摘要二 使用html table标签创建表格&#xff08;在html文件中&#xff09;三 使用javascript创建表格&#xff08;在js文件中&#xff09;四 表格属性的设置&#xff1a;4.1. 右边框的设置&#xff1a;4.2. 只给表格单元格加右边框4.3. 动态设置右边…...

编程日记 2023/7/29 13:48:40

[点微]同城原生微信小程序 小程序原生版 1.0.7(tom_xiaofenlei)

注意！！！这是点微后出的原生版小程序！！！ 依赖点微同城分类主插件、点微同城小程序后端插件！！！ 【以下为模块路径】 同城首页 pages/index/index 个人中心 pages/index/my 好店首页 pages/module/tcshop 商城首页 pages/module/tcmall 抢购首页 pages/module/tcqianggou…...

编程日记 2023/7/29 13:47:37

JDBC Some Templates

JDBCTemplate 是Spring对JDBC的封装&#xff0c;使用JDBCTemplate方便实现对数据的操作。 <!-- orm:Object relationship mapping m对象 关系 映射-->引入依赖 <!-- 基于Maven依赖的传递性&#xff0c;导入spring-content依赖即可导入当前所需的所有…...

编程日记 2023/7/29 13:46:36

dubbo启动指定ip不使用docker虚拟网络ip

java -D 配置系统属性 # 启动时加参数 -DDUBBO_IP_TO_REGISTRY 192.168.1.1 该ip为dubbo所在服务器的公网ip即可。 java -jar myDubboRpc-api.jar -DDUBBO_IP_TO_REGISTRY 192.168.1.1 # xjar启动 nohup ./xjar java -DDUBBO_IP_TO_REGISTRY11.22.33.44 -XX:UseG1GC -jar …...

编程日记 2023/7/29 13:45:35

Bobo String Construction

登录—专业IT笔试面试备考平台_牛客网 题目大意&#xff1a;给出一字符串t&#xff0c;求一个长为n的字符串&#xff0c;使tst中包含且仅包含两个t 1<n<1000;测试样例组数<1000 思路&#xff1a;一开始很容易想到如果t里有1&#xff0c;s就全0&#xff0c;否则s就全…...

编程日记 2023/7/29 13:44:34

基于java在线个人网站源码设计与实现

摘 要 随着社会及个人社交应用平台的飞速发展&#xff0c;人们的沟通成本逐渐降低&#xff0c;互联网信息的普及也进一步提升了人们对于信息的需求度&#xff0c;通过建立个人网站的方式来展示自己的生活信息同时利用平台结交新的朋友&#xff0c;借助个人网站平台的搭建不仅可…...

编程日记 2023/7/29 13:43:32

Ubuntu18.04下编译qgc源码

写在前面 在下载前必须说明&#xff0c;根据你的qgc源码版本进行下载&#xff0c;有的源码必须要求Qt是5.15版本以上。 个人所使用开发软件 版本QT5.12.9qgc源码V4.0Ubuntu18.04 QT下载 &#xff08;1&#xff09;我们可以去官网下载官网下载地址具体的下载方法这里不用多说&a…...

编程日记 2023/7/29 13:42:31

Ros2_windows_install的学习笔记

Ros2_windows_install安装 Iron安装 iex ((New-Object System.Net.WebClient).DownloadString(https://raw.githubusercontent.com/scottcandy34/ros2_windows_install/main/ros2_iron.ps1))启动Iron C:\dev\ros2_iron\local_setup.bat...

编程日记 2023/7/29 13:41:30

5、Kubernetes核心技术 - Controller控制器工作负载

目录 一、Deployments - 控制器应用 二、Deployment升级回滚和弹性收缩 2.1、创建一个 1.14 版本的 pod 2.2、应用升级 2.3、查看升级状态 2.4、查看历史版本 2.5、应用回滚 2.6、弹性伸缩 三、StatefulSet - 有状态应用 四、DaemonSet - 守护进程 五、Job - 单次任…...

编程日记 2023/7/29 13:40:29

【java设计模式】创建型模式介绍（工厂模式、抽象工厂模式、单例模式、建造者模式、原型模式）

文章目录 简介一、工厂模式介绍案例 二、抽象工厂模式介绍案例 三、单例模式介绍案例 四、建造者模式介绍案例 五、原型模式介绍案例 简介 本文介绍Java设计模式中创建型模式的五种 一、工厂模式 工厂模式&#xff08;Factory Pattern&#xff09;是 Java 中最常用的设计模式…...

编程日记 2023/7/29 13:39:27

ComfyUI-WanVideoWrapper：让AI视频生成变得像搭积木一样简单

ComfyUI-WanVideoWrapper&#xff1a;让AI视频生成变得像搭积木一样简单 【免费下载链接】ComfyUI-WanVideoWrapper 项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper 你是否曾经想过&#xff0c;如果能把AI视频生成的复杂过程拆解成一个个简…...

编程新知 2026/3/29 11:59:54

浏览器指纹追踪：为什么网站能一眼认出你？

很多人都有过这种经历&#xff1a;明明把浏览器Cookie全清了、开了无痕模式&#xff0c;甚至换了个新账号登录&#xff0c;结果广告推送还是老样子&#xff0c;风控验证直接弹出来。感觉自己被网站“记住”了&#xff0c;却又说不清是怎么回事。其实&#xff0c;这里面很大一部…...

编程新知 2026/3/29 11:13:16

懒人精灵实战：用Lua脚本读写安卓手游内存（以libunity.so为例）

懒人精灵实战&#xff1a;用Lua脚本读写安卓手游内存&#xff08;以libunity.so为例&#xff09; 在移动游戏开发与逆向工程领域&#xff0c;内存读写技术一直是一个既神秘又实用的技能。对于想要深入了解游戏机制或进行自动化测试的开发者来说&#xff0c;掌握这项技术无疑会带…...

编程新知 2026/3/29 10:20:21

Qt 串口编程实战：keySight 34401A 万用表数据采集与存储

1. 项目背景与硬件准备 keySight 34401A 数字万用表是实验室常见的六位半高精度测量设备&#xff0c;支持GPIB和RS-232两种通信接口。在实际工业测量场景中&#xff0c;RS-232串口连接因其布线简单、成本低廉的特点&#xff0c;成为许多开发者的首选方案。我最近接手的一个电池…...

编程新知 2026/3/29 10:04:16

WIFI UDP广播数据实时发送的可靠性困境与底层协议探析

1. WIFI UDP广播为何总在关键时刻掉链子&#xff1f; 上周调试智能家居设备时&#xff0c;我遇到了一个典型场景&#xff1a;AP需要向20多个终端同时发送控制指令。最初直接使用UDP广播&#xff0c;结果总有设备"装聋作哑"。换成单播后问题消失&#xff0c;但CPU占用…...

编程新知 2026/3/29 9:28:03

开箱即用体验：Z-Image-Turbo文生图镜像实战教程

开箱即用体验&#xff1a;Z-Image-Turbo文生图镜像实战教程 1. 为什么你需要这个镜像&#xff1f;一个真正“零等待”的AI绘图方案 如果你曾经尝试过部署一个AI文生图模型&#xff0c;大概率经历过这样的痛苦&#xff1a;花几个小时配置环境&#xff0c;然后面对几十GB的模型…...

编程新知 2026/3/29 7:43:29

Qwen Pixel Art应用场景：独立音乐人专辑封面像素化视觉系统定制部署

Qwen Pixel Art应用场景&#xff1a;独立音乐人专辑封面像素化视觉系统定制部署 1. 项目背景与价值 独立音乐人常常面临专辑封面设计的挑战&#xff1a;专业设计成本高、风格匹配难、制作周期长。Qwen Pixel Art解决方案基于Qwen-Image-2512大模型与Pixel Art LoRA微调技术&a…...

编程新知 2026/3/29 7:39:27

基于STM32F103C8T6和LiuJuan20260223Zimage的物联网边缘智能网关

基于STM32F103C8T6和LiuJuan20260223Zimage的物联网边缘智能网关 最近在折腾一个智能农业的小项目&#xff0c;发现传感器数据一多&#xff0c;全往云上扔&#xff0c;不仅流量吃不消&#xff0c;响应也慢半拍。要是能先在本地处理一下&#xff0c;只把关键信息传上去&#xf…...

编程新知 2026/3/29 5:25:59

手把手教你部署GLM-4v-9B：9B参数多模态模型，单卡就能跑

手把手教你部署GLM-4v-9B&#xff1a;9B参数多模态模型&#xff0c;单卡就能跑 1. GLM-4v-9B模型简介 GLM-4v-9B是智谱AI于2024年开源的多模态大模型&#xff0c;具有以下核心特点&#xff1a; 参数规模&#xff1a;90亿参数&#xff0c;单张24GB显存的显卡即可运行多模态能…...

编程新知 2026/3/29 5:13:50

【Spring 面试突击 · 03】大厂高频面试题：从IoC容器底层原理到Spring Boot自动配置解析

目录 一、Spring Boot如何启动Tomcat&#xff1f; 二、Spring Boot配置文件加载顺序 三、MyBatis的优缺点 四、Hibernate与MyBatis的区别 五、Spring Context模块的理解 六、什么是Spring依赖注入&#xff1f; 七、什么是Spring Bean&#xff1f; 八、Spring AOP与Aspec…...

编程新知 2026/3/29 5:05:46