Spacy小笔记：zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别
Spacy小笔记
最近频繁用到spacy，就小记一下。
2024.11.29
zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别
首先，它们都是预训练的中文模型：
- zh_core_web_trf:395M
架构: 基于 Transformer 架构（bert-base-chinese）。
大小: 较大，通常在几十到几百 MB 之间。
性能: 最高，尤其在复杂的自然语言处理任务上表现优秀，如命名实体识别、依存关系解析等。
资源需求: 需要较多的计算资源和时间来加载和运行。
适用场景: 需要最高准确性的复杂任务，如情感分析、机器翻译等。 - zh_core_web_lg:575M
架构: 基于传统的统计方法。
大小: 较大，通常在几十 MB 到 100 MB 之间。
性能: 较好，适用于大多数常见的自然语言处理任务。
资源需求: 需要的计算资源比 trf 模型少，但比 md 模型多。
适用场景: 一般用途的任务，如文本分类、实体识别等。 - zh_core_web_md:74M
架构: 基于传统的统计方法。
大小: 中等，通常在几十 MB 之间。
性能: 适中，适用于大多数常见的自然语言处理任务。
资源需求: 需要的计算资源较少，适合资源受限的环境。
适用场景: 一般用途的任务，如文本分类、实体识别等。 - zh_core_web_sm:46M
架构: 基于传统的统计方法。
大小: 较小，通常在几 MB 到十几 MB 之间。
性能: 较低，但在某些简单任务上仍然有效。
资源需求: 需要的计算资源最少，适合资源非常有限的环境。
适用场景: 简单的任务，如基本的分词、词性标注等。
下载地址：https://github.com/explosion/spacy-models/
上面这些库下载后都通过pip安装，注意要和对应版本的spacy匹配！
实际使用过程中，发现md、lg、trf三者的区别并不大，也许md是性价比最高的选择？
相关文章：
Spacy小笔记：zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别
Spacy小笔记 最近频繁用到spacy，就小记一下。 2024.11.29 zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别 首先，它们都是预训练的中文模型： zh_core_web_trf:395M 架构: 基于 Transformer 架构（bert…...
第六届智能控制、测量与信号处理国际学术会议 (ICMSP 2024)
重要信息 2024年11月29日-12月1日 中国陕西西安石油大学雁塔校区 大会官网：www.icmsp.net 大会简介 第六届智能控制、测量与信号处理国际学术会议（ICMSP 2024）由西安石油大学、中海油田服务股份有限公司、浙江水利水电学院与中国石油装备…...
docker服务容器化
docker服务容器化 1 引言2 多个容器间网络联通2.1 单独创建关联2.2 创建时关联 3 服务搭建3.1 镜像清单3.2 容器创建 4 联合实战4.2 flink_sql之kafka到starrocks4.2 flink_sql之mysql到starrocks 5 文献借鉴 1 引言 利用docker可以很效率地搭建服务，本文在win1…...
【QT】控件8
1.QDial 通过调节旋钮位置来控制窗口的不透明度： void Widget::on_dial_valueChanged(int value) {qDebug()<<value;this->setWindowOpacity((double)value/100); }效果演示： 2.Date/Time Edit 计算两个日期的差值 ui界面设计 计算按钮按下…...
漫谈推理谬误——错误因果
相关文章 漫谈推理谬误——错误假设-CSDN博客文章浏览阅读736次，点赞22次，收藏3次。在日常生活中，我们会面临各种逻辑推理，有些看起来一目了然，有些非常的科学严谨，但也有很多似是而非，隐藏了陷…...
【数据结构】队列实现剖析：掌握队列的底层实现
在计算机科学中，**队列（Queue）**是一种常见的数据结构，它遵循先进先出（FIFO，First In First Out）的原则。队列的应用非常广泛，例如任务调度、资源管理、进程通信等。本篇文章旨在为计…...
【C++】IO库（二）：文件输入输出
8.2 文件输入输出 头文件 fstream 定义了三个类型来之支持文件IO，分别是： ifstream：从一个给定文件读取数据；ofstream：向一个给定文件写入数据；fstream：读写给定文件。 在 C 当中，…...
105.【C语言】数据结构之二叉树求总节点和第K层节点的个数
目录 1.求二叉树总的节点的个数 1.容易想到的方法 代码 缺陷 思考:能否在TreeSize函数内定义静态变量解决size的问题呢? 其他写法 运行结果 2.最好的方法:分而治之 代码 运行结果 2.求二叉树第K层节点的个数 错误代码 运行结果 修正 运行结果 其他写法 1.求二…...
力扣637. 二叉树的层平均值
给定一个非空二叉树的根节点 root , 以数组的形式返回每一层节点的平均值。与实际答案相差 10-5 以内的答案可以被接受。 提示： 树中节点数量在 [1, 104] 范围内-231 < Node.val < 231 - 1 代码： /*** Definition for a binary tree node.* stru…...
【前端】Next.js 服务器端渲染（SSR）与客户端渲染（CSR）的最佳实践
关于Next.js 服务器端渲染（SSR）与客户端渲染（CSR）的实践内容方面，我们按下面几点进行阐述。 1. 原理 服务器端渲染 (SSR): 在服务器上生成完整的HTML页面，然后发送给客户端。这使得用户在首次访问时能够…...
路径规划之启发式算法之一：A-Star（A*）算法
A*算法是一种启发式搜索算法，常用于解决路径规划问题。 一、A*算法的定义与原理 A*算法是一种用于在图形或网格中查找最短路径的算法。它在搜索过程中综合考虑了每个节点的实际距离（g值）和预估距离（h值），以…...
Android复习代码1-4章
public class RudioButton extends AppCompatActivity {Overrideprotected void onCreate(Nullable Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_rudio_button);// 找到RadioGroup和TextView的实例RadioGroup radioGrou…...
【问题】webdriver.Chrome()设置参数executable_path报不存在
场景1: 标红报错unresolved reference executable_path 场景2: 执行报错TypeError: __init__() got an unexpected keyword argument executable_path 原因： 上述两种场景是因为selenium4开始不再支持某些初始化参数。比如executable_path 解决： 方案…...
win10系统安装docker-desktop
1、开启Hyper-v ———————————————— Hyper-V 是微软提供的一种虚拟化技术，它允许你在同一台物理计算机上运行多个独立的操作系统实例。这种技术主要用于开发、测试、以及服务器虚拟化等领域。 —————————————————————— &#…...
小程序-基于java+SpringBoot+Vue的乡村研学旅行平台设计与实现
项目运行 1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境：IDEA，Eclipse,Myeclipse都可以。推荐IDEA; 3.tomcat环境：Tomcat 7.x,8.x,9.x版本均可 4.硬件环境：…...
事件使用$emit更新内容失败bug解决)
组件A底部栏(position: fixed )事件使用$emit更新内容失败bug解决
今天遇到一个很离奇的bug，记录一下 问题：在组件内底部栏使用$emit触发按钮事件但打印出来的值是初始化的值，更新的值被重置导致更新失败 原因：组件内底部使用了 position: fixed; 固定， 导致组件内插槽 this 与 保存按…...
数据结构——排序第三幕（深究快排（非递归实现）、快排的优化、内省排序，排序总结）超详细！！！！
文章目录 前言一、非递归实现快排二、快排的优化版本三、内省排序四、排序算法复杂度以及稳定性的分析总结 前言 继上一篇博客基于递归的方式学习了快速排序和归并排序 今天我们来深究快速排序，使用栈的数据结构非递归实现快排，优化快排（三路…...
C++的类功能整合
1. 类的基本概念 类是面向对象编程的核心，它封装了数据和操作数据的函数。 #include <iostream> using namespace std;class MyClass { public:int publicData;void publicFunction() {cout << "Public function" << endl;}private:i…...
《String类》
目录 一、定义与概述 二、创建字符串对象 2.1 直接赋值 2.2 使用构造函数 三、字符串的不可变性 四、常用方法 4.1 String对象的比较 4.1.1 比较是否引用同一个对象 4.1.2 boolean equals(Object anObject)方法：按照字典序比较 4.1.3 int compareTo(Strin…...
【docker】docker的起源与容器的由来、docker容器的隔离机制
Docker 的起源与容器的由来 1. 虚拟机的局限：容器的需求萌芽 在 Docker 出现之前，开发和部署软件主要依赖虚拟机（VMs）： 虚拟机通过模拟硬件运行操作系统，每个应用程序可以运行在自己的独立环境中。虽然虚…...
【Java学习笔记】Arrays类
Arrays 类 1. 导入包：import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序（自然排序和定制排序）Arrays.binarySearch()通过二分搜索法进行查找（前提：数组是…...
线程同步：确保多线程程序的安全与高效！
全文目录： 开篇语前序前言第一部分：线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分：synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分ÿ…...
大语言模型如何处理长文本？常用文本分割技术详解
为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...
基于Docker Compose部署Java微服务项目
一. 创建根项目 根项目（父项目）主要用于依赖管理 一些需要注意的点： 打包方式需要为 pom<modules>里需要注册子模块不要引入maven的打包插件，否则打包时会出问题 <?xml version"1.0" encoding"UTF-8…...
DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...
重启Eureka集群中的节点，对已经注册的服务有什么影响
先看答案，如果正确地操作，重启Eureka集群中的节点，对已经注册的服务影响非常小，甚至可以做到无感知。 但如果操作不当，可能会引发短暂的服务发现问题。 下面我们从Eureka的核心工作原理来详细分析这个问题。 Eureka的…...
嵌入式学习笔记DAY33（网络编程——TCP）
一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...
C++：多态机制详解
目录 一. 多态的概念 1.静态多态（编译时多态） 二.动态多态的定义及实现 1.多态的构成条件 2.虚函数 3.虚函数的重写/覆盖 4.虚函数重写的一些其他问题 1）.协变 2）.析构函数的重写 5.override 和 final关键字 1&#…...
Windows安装Miniconda
一、下载 https://www.anaconda.com/download/success 二、安装 三、配置镜像源 Anaconda/Miniconda pip 配置清华镜像源_anaconda配置清华源-CSDN博客 四、常用操作命令 Anaconda/Miniconda 基本操作命令_miniconda创建环境命令-CSDN博客...
LOOI机器人的技术实现解析：从手势识别到边缘检测
LOOI机器人作为一款创新的AI硬件产品，通过将智能手机转变为具有情感交互能力的桌面机器人，展示了前沿AI技术与传统硬件设计的完美结合。作为AI与玩具领域的专家，我将全面解析LOOI的技术实现架构，特别是其手势识别、物体识别和环境…...