当前位置：首页 > news >正文

机器学习：提取问题答案

news 2025/11/5 18:58:56

在这里插入图片描述

模型BERT

在这里插入图片描述

任务：提取问题和答案

在这里插入图片描述

问题的起始位置和结束位置。

数据集

在这里插入图片描述
数据集 DRCD+ODSQA

在这里插入图片描述

在这里插入图片描述
先分词，然后tokenize

文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 $O(n^2)$ ,所以无法将长的整篇文章送进去处理。

Train

在这里插入图片描述
以正确答案为中心，以固定长度的windows去找问题。关键字，答案一般在关键字附近，在答案的附近画一个window，越大越好。然后将这些片段进行tokenizer，再去训练。

在这里插入图片描述

Hints

在这里插入图片描述

Linear Learning rate decay

在这里插入图片描述
overlapping window，因为分割可能会看不到，重叠一些部分。修改doc stride参数。

在这里插入图片描述
正确答案不一定是在窗户正中心。

在这里插入图片描述
不同的预训练模型，建议使用中文预训练模型。

在这里插入图片描述

自动混合精度，有的时候不需要那么高的精度Float32，仅部分卡支持，以加速训练。

在这里插入图片描述
如果GPU内存不够的话，可以使用Gradient accumulation，累计参数一次更新。

在这里插入图片描述

Kaggle项目

在这里插入图片描述

在这里插入图片描述
套件：pip install transformers

机器学习：提取问题答案

模型BERT 任务：提取问题和答案问题的起始位置和结束位置。数据集数据集 DRCDODSQA 先分词，然后tokenize 文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 O ( n 2 ) O(n^2) O(n…...

编程日记 2023/7/29 13:58:52

【Ansible】

目录一、Ansible简介二、ansible 环境安装部署1、管理端安装 ansible 三、ansible 命令行模块（重点）1．command 模块2．shell 模块3、cron 模块4．user 模块5．group 模块6．copy 模块（重…...

编程日记 2023/7/29 13:57:50

分布式版本控制系统git详解

git 是目前世界上最先进的分布式版本控制系统补充说明 git命令很多人都知道，Linus在1991年创建了开源的Linux，从此，Linux系统不断发展，已经成为最大的服务器系统软件了。 Linus虽然创建了Linux，但Linux的壮大是靠…...

编程日记 2023/7/29 13:56:49

如何使用Python进行数据挖掘？

使用Python进行数据挖掘需要掌握以下几个关键步骤： 数据收集：首先，你需要获取你要进行数据挖掘的数据。可以从公共数据集、API、数据库等各种来源收集数据。数据清洗：清洗数据是一个重要的步骤，它包括去除重复数据、…...

编程日记 2023/7/29 13:55:47

若依-前台无法正常启动，npm run dev失败

问题场景： 使用若依Vue前端分离版-基于SpringBoot的权限管理系统进行实战。问题描述与解决拉取若依项目后，根据官方开发文档（项目readme文档）进行依赖下载安装后，启动失败。出现以下几个问题： 运行n…...

编程日记 2023/7/29 13:54:46

Spring之IoC源码分析及设计思想(一)——BeanFactory

关于Spring的IOC Spring 是一个开源的 Java 平台，它提供了一种简化应用程序开发的框架。它是一个分层的框架，包括两个主要的内核：控制反转（IOC）和面向切面编程（AOP）。IOC 允许应用程序将组件之…...

编程日记 2023/7/29 13:53:45

⛳ 面向对象面试题

面向对象面试题目录 ⛳ 面向对象面试题🚜 一，成员变量，局部变量，类变量存储在内存的什么地方？🐾 1.1，类变量（静态成员变量）📝 1.2，成员变量⭐ 1.3…...

编程日记 2023/7/29 13:52:44

Java中使用Gson操作json数据

Java中使用Gson操作json数据引入依赖 <dependency><groupId>com.google.code.gson</groupId><artifactId>gson</artifactId><version>2.9.0</version></dependency>Gson工具类 package cn.test.util;import com.google.gso…...

编程日记 2023/7/29 13:51:43

Verilog语法学习——LV10_使用函数实现数据大小端转换

LV10_使用函数实现数据大小端转换题目来源于牛客网 [牛客网在线编程_Verilog篇_Verilog快速入门 (nowcoder.com)](https://www.nowcoder.com/exam/oj?page1&tabVerilog篇&topicId301) 题目描述在数字芯片设计中，经常把实现特定功能的模块编写成函数&…...

编程日记 2023/7/29 13:50:42

Leetcode-每日一题【剑指 Offer II 009. 乘积小于 K 的子数组】

题目给定一个正整数数组 nums和整数 k ，请找出该数组内乘积小于 k 的连续的子数组的个数。示例 1: 输入: nums [10,5,2,6], k 100输出: 8解释: 8 个乘积小于 100 的子数组分别为: [10], [5], [2], [6], [10,5], [5,2], [2,6], [5,2,6]。需要注意的是 [10,5,2]…...

编程日记 2023/7/29 13:49:41

html/javascript-表格的创建和使用

html中表格的创建和使用一摘要二使用html table标签创建表格（在html文件中）三使用javascript创建表格（在js文件中）四表格属性的设置：4.1. 右边框的设置：4.2. 只给表格单元格加右边框4.3. 动态设置右边…...

编程日记 2023/7/29 13:48:40

[点微]同城原生微信小程序小程序原生版 1.0.7(tom_xiaofenlei)

注意！！！这是点微后出的原生版小程序！！！依赖点微同城分类主插件、点微同城小程序后端插件！！！【以下为模块路径】同城首页 pages/index/index 个人中心 pages/index/my 好店首页 pages/module/tcshop 商城首页 pages/module/tcmall 抢购首页 pages/module/tcqianggou…...

编程日记 2023/7/29 13:47:37

JDBC Some Templates

JDBCTemplate 是Spring对JDBC的封装，使用JDBCTemplate方便实现对数据的操作。 引入依赖 <!-- 基于Maven依赖的传递性，导入spring-content依赖即可导入当前所需的所有…...

编程日记 2023/7/29 13:46:36

java -D 配置系统属性 # 启动时加参数 -DDUBBO_IP_TO_REGISTRY 192.168.1.1 该ip为dubbo所在服务器的公网ip即可。 java -jar myDubboRpc-api.jar -DDUBBO_IP_TO_REGISTRY 192.168.1.1 # xjar启动 nohup ./xjar java -DDUBBO_IP_TO_REGISTRY11.22.33.44 -XX:UseG1GC -jar …...

编程日记 2023/7/29 13:45:35

Bobo String Construction

编程日记 2023/7/29 13:44:34

基于java在线个人网站源码设计与实现

摘要随着社会及个人社交应用平台的飞速发展，人们的沟通成本逐渐降低，互联网信息的普及也进一步提升了人们对于信息的需求度，通过建立个人网站的方式来展示自己的生活信息同时利用平台结交新的朋友，借助个人网站平台的搭建不仅可…...

编程日记 2023/7/29 13:43:32

Ubuntu18.04下编译qgc源码

写在前面在下载前必须说明，根据你的qgc源码版本进行下载，有的源码必须要求Qt是5.15版本以上。个人所使用开发软件版本QT5.12.9qgc源码V4.0Ubuntu18.04 QT下载 （1）我们可以去官网下载官网下载地址具体的下载方法这里不用多说&a…...

编程日记 2023/7/29 13:42:31

Ros2_windows_install的学习笔记

Ros2_windows_install安装 Iron安装 iex ((New-Object System.Net.WebClient).DownloadString(https://raw.githubusercontent.com/scottcandy34/ros2_windows_install/main/ros2_iron.ps1))启动Iron C:\dev\ros2_iron\local_setup.bat...

编程日记 2023/7/29 13:41:30

5、Kubernetes核心技术 - Controller控制器工作负载

目录一、Deployments - 控制器应用二、Deployment升级回滚和弹性收缩 2.1、创建一个 1.14 版本的 pod 2.2、应用升级 2.3、查看升级状态 2.4、查看历史版本 2.5、应用回滚 2.6、弹性伸缩三、StatefulSet - 有状态应用四、DaemonSet - 守护进程五、Job - 单次任…...

编程日记 2023/7/29 13:40:29

【java设计模式】创建型模式介绍（工厂模式、抽象工厂模式、单例模式、建造者模式、原型模式）

文章目录简介一、工厂模式介绍案例二、抽象工厂模式介绍案例三、单例模式介绍案例四、建造者模式介绍案例五、原型模式介绍案例简介本文介绍Java设计模式中创建型模式的五种一、工厂模式工厂模式（Factory Pattern）是 Java 中最常用的设计模式…...

编程日记 2023/7/29 13:39:27

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...

编程新知 2025/9/6 5:44:49

微信小程序之bind和catch

这两个呢，都是绑定事件用的，具体使用有些小区别。官方文档： 事件冒泡处理不同 bind：绑定的事件会向上冒泡，即触发当前组件的事件后，还会继续触发父组件的相同事件。例如，有一个子视图绑定了b…...

编程新知 2025/10/29 2:48:15

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据准备一个容器,例如: …...

编程新知 2025/10/21 3:16:48

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持，不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

编程新知 2025/10/24 5:00:32

全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...

编程新知 2025/11/3 0:44:41