当前位置： 首页 > news >正文

【NLP pytorch】基于BERT_TextCNN新闻文本分类实战（项目详解）

news 2026/4/8 16:28:46

基于BERT_TextCNN新闻文本分类实战项目

  • 1 数据集介绍
  • 2 模型介绍
  • 3 数据预处理
    • 3.1 数据集加载
    • 3.2 统计文本长度分布
  • 4 BERT模型
    • 4.1 HuggingFace介绍
    • 4.2 HuggingFace使用
      • 4.2.1 加载预训练模型
      • 4.2.2 预训练模型的使用
    • 4.3 BERT模型使用
      • 4.3.1 编码和解码
      • 4.3.2 批处理
      • 4.3.3 词向量处理
  • 5 Dataset和DataLoader数据
    • 5.1 自定义Dataset
    • 5.2 DataLoder创建

相关文章：

【NLP pytorch】基于BERT_TextCNN新闻文本分类实战（项目详解）

基于BERT_TextCNN新闻文本分类实战项目 1 数据集介绍2 模型介绍3 数据预处理3.1 数据集加载3.2 统计文本长度分布4 BERT模型4.1 HuggingFace介绍4.2 HuggingFace使用4.2.1 加载预训练模型4.2.2 预训练模型的使用4.3 BERT模型使用4.3.1 编码和解码4.3.2 批处理4.3.3 词向量处理5…...

编程日记 2023/8/5 13:44:59

决策树与随机森林

目录 决策树是：Why：How：基本概念决策树生成举例决策树缺点参考 Demo 随机森林1.是：2.Why：3.How：参考 Demo 决策树 是： 1.一种有监督的分类（或预测）算法。 2.利用属性、…...

编程日记 2023/8/5 13:43:53

Nginx 网站服务

Nginx 稳定性高 （但是没有apache稳定) 版本号：1.12 1.20 1.22 系统资源消耗低 (处理http请求的并发能力很高，单台物理服务器可以处理30000-50000个并发请求) 稳定：一般在企业中，为了保持服务器稳定，并发量的…...

编程日记 2023/8/5 13:42:50

Python爬虫——爬虫时如何知道是否代理ip伪装成功？

前言 在进行爬虫时，我们可能需要使用代理IP来伪装自己的身份，以避免被网站封禁。如何判断代理IP是否伪装成功呢？本篇文章将围绕这个问题展开讲解，同时提供Python代码示例。 1. 确认代理IP地址 首先，我们需要确认代理…...

编程日记 2023/8/5 13:41:49

flink1.17 json_tuple udf 实现

使用效果 思路: flink1.17要求复杂类型必须通过hint指定每个字段类型, 只有固定个数,都是基础类型的flink才能自动推断. 这就导致json_tuple返回不定长参数无法搞定. 所以这里通过返回字符串数组来解决. 同时带来新的问题: 数组元素类型一样,导致fastjson2解析到的int也需要…...

编程日记 2023/8/5 13:40:48

Vue3实现6位验证码输入框,用户可以连续输入和删除

实现代码 可以随意填写删除 <template><div class"verification-container"><inputv-for"(code, index) in verificationCodes":key"index"v-model"verificationCodes[index]"input"handleInput(index, $event…...

编程日记 2023/8/5 13:39:46

如何在终端设置代理(设置jupyter notebook同理)

设置代理 在终端(我用的gitbash)下执行 set HTTP_PROXYhttp://<user>:<password><proxy server>:<proxy port> set HTTPS_PROXYhttp://<user>:<password><proxy server>:<proxy port>其中&#xff1a; user、password&#…...

编程日记 2023/8/5 13:38:43

git报错：Error merging: refusing to merge unrelated histories

碰对了情人&#xff0c;相思一辈子。 打命令&#xff1a;git pull origin master --allow-unrelated-histories 然后等一会 再push 切记不要有冲突的代码 需要改掉~...

编程日记 2023/8/5 13:37:42

QT-QLabel显示图片，按QLabel控件的大小自动缩放

要按照 QLabel 控件的大小调整并显示图片&#xff0c;你可以使用 scaled() 函数将 QPixmap 对象进行缩放&#xff0c;然后将缩放后的图片设置到 QLabel 上。下面是一个示例代码&#xff1a; #include <QApplication> #include <QLabel> #include <QPixmap>i…...

编程日记 2023/8/5 13:36:40

【JS代码调试技巧】你必须知道的Javascript技巧汇总

注&#xff1a;最后有面试挑战&#xff0c;看看自己掌握了吗 文章目录 使用控制台检查变量值控制台使用 type of 检查变量的类型捕获拼错的变量名和函数名捕获使用赋值运算符而不是相等运算符捕捉函数调用后缺少的左括号和右括号 &#x1f338;I could be bounded in a nutshel…...

编程日记 2023/8/5 13:35:39

JAVA-@Configuration注解属性proxyBeanMethods

Configuration注释中的proxyBeanMethods参数是springboot1.0&#xff0c;升级到springboot2.0之后新增的比较重要的内容&#xff0c;该参数是用来代理bean的。 理论 首先引出两个概念&#xff1a;Full 全模式&#xff0c;Lite 轻量级模式 Full(proxyBeanMethods true) :pro…...

编程日记 2023/8/5 13:34:37

锁策略, cas 和 synchronized 优化过程总结

目录 一、锁策略 1. 乐观锁和悲观锁 2. 读写锁 3. 重量级锁和轻量级锁 4. 自旋锁 5. 公平锁和非公平锁 6.可重入锁 vs 不可重入锁 二、CAS 1. CAS 是怎么实现的 1) 实现原子类 2) 实现自旋锁 3. CAS 的 ABA 问题 三、Synchronized 原理 1.Synchronized 加锁工作过程 3.1 偏向…...

编程日记 2023/8/5 13:33:35

正点原子HAL库入门1~GPIO

探索者F407ZGT6(V3) 理论基础 IO端口基本结构 F4/F7/H7系列的IO端口 F1在输出模式&#xff0c;禁止使用内部上下拉 F4/F7/H7在输出模式&#xff0c;可以使用内部上下拉不同系列IO翻转速度不同 F1系列的IO端口 施密特触发器&#xff1a;将非标准方波&#xff0c;整形为方波 当…...

编程日记 2023/8/5 13:32:34

华为VRP 系统基础配置

1.flash 相当于电脑的 硬盘 2.NVRAM 拿来专门存放系统配置文件 3.RAM 运行内存 4.ROM 系统引导 1.修改系统名[Huawei]sysname SWL1 2.配置登入信息 [SWL1]header shell information "Welocom to the learning" [SWL1]q <SWL1>q User interface con0 …...

编程日记 2023/8/5 13:31:33

面试热题（打家窃舍）

一个专业的小偷&#xff0c;计划偷窃沿街的房屋。每间房内都藏有一定的现金&#xff0c;影响小偷偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统&#xff0c;如果两间相邻的房屋在同一晚上被小偷闯入&#xff0c;系统会自动报警。 给定一个代表每个房屋存放金额的非负…...

编程日记 2023/8/5 13:30:32

【Deepsort】C++版本Deepsort编译(依赖opencv,eigen3)

目录 下载源码安装onnxruntime安装Eigen3编译opencv 下载源码 https://github.com/shaoshengsong/DeepSORT安装onnxruntime 安装方法参考博客 安装Eigen3 当谈及线性代数计算库时&#xff0c;Eigen3是一个强大而受欢迎的选择。Eigen3是一个C模板库&#xff0c;提供了许多用…...

编程日记 2023/8/5 13:29:31

Synchronized锁升级过程

无锁状态&#xff08;无锁&#xff09;&#xff1a;当一个线程访问一个没有被锁定的Synchronized代码块时&#xff0c;处于无锁状态。此时&#xff0c;线程可以直接进入临界区执行代码&#xff0c;不需要进行任何锁协调。 偏向锁状态&#xff08;偏向锁&#xff09;&#xff1…...

编程日记 2023/8/5 13:28:28

汽车电子功能安全

功能安全考虑 分析方法&#xff1a;FMEA&#xff0c;DFMEA&#xff08;设计潜在失效模式和影响分析&#xff09; 严重度&#xff08;Severity&#xff09;&#xff0c;暴露率&#xff08;Exposure&#xff09;&#xff0c;可控性&#xff08;Controllability&#xff09;评估…...

编程日记 2023/8/5 13:27:26

ARM进阶：内存屏障(DMB/DSB/ISB)的20个使用例子详解

在上一节内存屏障指令之DMB、DSB和ISB详解中&#xff0c;介绍了一下内存屏障的三个指令的作用并举了一些例子&#xff0c;对于内存屏障指令的使用时机&#xff0c;与处理器架构(比如Cortex-M和Cortex-A)和处理器的系统实现(同样的架构&#xff0c;有不同的实现&#xff0c;如ST…...

编程日记 2023/8/5 13:26:25

Cpp学习——模板

模板&#xff1f; 目录 模板&#xff1f; 1.介绍 2.函数模板的使用 3.函数模板的强制转换or显式调用 四,模板的分类 1.介绍 在Cpp3.0中&#xff0c;祖师爷便引入了模板的概念。这是一个重大的变革&#xff0c;为后来的Cpp标准化打下了铺垫。也正是因为有了模板&#xff0…...

编程日记 2023/8/5 13:25:23

注册获取阿里云qwen大模型api key

1.进入阿里云官网&#xff0c;然后注册登录并完善个人信息https://cn.aliyun.com/2.搜索框搜索api key 或点击模型&#xff0c;最下边的api key-->创建...

编程新知 2026/4/8 16:21:24

3步掌握抖音内容永久保存：douyin-downloader开源工具完全指南

3步掌握抖音内容永久保存&#xff1a;douyin-downloader开源工具完全指南 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallbac…...

编程新知 2026/4/8 15:11:50

Nano-Banana Studio入门：C语言扩展开发指南

Nano-Banana Studio入门&#xff1a;C语言扩展开发指南 1. 为什么需要C语言扩展&#xff1f; 如果你用过Nano-Banana Studio&#xff0c;可能会发现有些复杂算法运行起来有点慢。这就是C语言扩展发挥作用的时候了。用C语言重写关键部分的代码&#xff0c;能让你的程序跑得快上…...

编程新知 2026/4/8 15:05:48

告别复制粘贴！用Vue CLI插件一键集成Cesium到Vue2老项目

告别复制粘贴&#xff01;用Vue CLI插件一键集成Cesium到Vue2老项目 在Vue2项目中引入Cesium进行3D地理可视化开发时&#xff0c;传统的手动集成方式往往需要处理复杂的Webpack配置、静态资源管理和全局变量注入。这种"复制粘贴"式的集成不仅效率低下&#xff0c;还容…...

编程新知 2026/4/8 13:58:42

从漏洞到落地：OpenSSH 10.3 完整攻略（一文读懂本次更新的核心变革、行业影响与落地指南）

作为全球应用最广泛的SSH协议开源实现&#xff0c;OpenSSH是互联网远程访问基础设施的核心基石——从全球顶级云厂商的百万级服务器集群&#xff0c;到企业内网的网络设备、嵌入式终端&#xff0c;再到开发者的日常远程调试&#xff0c;几乎所有加密远程访问场景都依赖其构建安…...

编程新知 2026/4/8 11:31:40

Claude Code高级配置技巧：环境变量、主题定制和快捷键优化

Claude Code高级配置技巧&#xff1a;环境变量、主题定制和快捷键优化 【免费下载链接】claude-code-guide Claude Code Guide - Setup, Commands, workflows, agents, skills & tips-n-tricks go from beginner to power user! 项目地址: https://gitcode.com/gh_mirror…...

编程新知 2026/4/8 11:23:17

ModbusRTU上位机系统功能说明文档

C# ModbusRtu或者TCP协议上位机源码&#xff0c;包括存储&#xff0c;数据到SQL SERVER数据库&#xff0c;趋势曲线图&#xff0c;数据报表&#xff0c;实时和历史报警界面&#xff0c;有详细注释&#xff0c;需要哪个协议版本一、系统概述 ModbusRTU上位机系统是基于C#语言开发…...

编程新知 2026/4/8 10:19:31

windows下oracle 11g搭建主备

Oracle Data Guard 主备搭建 主库: 192.168.100.73 SIDorcl 备库: 192.168.100.74 SIDorcldg一、主库配置 (在73服务器执行) -- 1.1 开启归档模式 alter system set db_recovery_file_destC:\app\Administrator\flash_recovery_area scopeboth; alter system set db_recovery…...

编程新知 2026/4/8 9:08:47

云容笔谈·东方红颜与MATLAB联调：利用科学计算环境进行图像效果分析与优化

云容笔谈东方红颜与MATLAB联调&#xff1a;利用科学计算环境进行图像效果分析与优化 最近在尝试用“云容笔谈东方红颜”这类AI绘画工具生成一些特定风格的图像&#xff0c;效果确实挺惊艳的。但作为一个有点“数据控”倾向的人&#xff0c;我总在想&#xff1a;除了肉眼观察&a…...

编程新知 2026/4/8 8:49:39

AudioSeal实战案例：无障碍AI语音服务中水印与无障碍元数据共存方案

AudioSeal实战案例&#xff1a;无障碍AI语音服务中水印与无障碍元数据共存方案 1. 项目背景与价值 在AI语音服务快速发展的今天&#xff0c;如何平衡内容保护与无障碍访问成为一个重要课题。AudioSeal作为Meta开源的语音水印系统&#xff0c;为解决这一问题提供了创新方案。 …...

编程新知 2026/4/8 8:18:33