【nlp】文本处理的基本方法
文本处理的基本方法
- 1 什么是分词
- 2 什么是命名实体识别
- 3 什么是词性标准
1 什么是分词
分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符。分词过程就是找到这样分界符的过程。
举个例子:
上海海事大学是一个以航运、物流、海洋为特色的安全管理高校['上海', '海事', '大学', '是', '一个', '以', '航运', '、', '物流', '、', '海洋', '为', '特色', '的', '安全', '管理', '高校']
-
分词的作用:
词作为语言语义理解的最小单元，是人类理解文本语言的基础。因此也是A解决NLP领域高阶任务，如自动问答，机器翻译，文本生成的重要基础环节。 -
流行中文分词工具jieba:
愿景：“结巴”中文分词，做最好的 Python 中文分词组件。jiieba的特性: -
支持多种分词模式
- 精确模式
- 全模式
- 搜索引擎模式
-
支持中文繁体分词
<
相关文章：
【nlp】文本处理的基本方法
文本处理的基本方法 1 什么是分词2 什么是命名实体识别3 什么是词性标准1 什么是分词 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形…...
C++17 std::filesystem
std::filesystem 是 C17 标准引入的文件系统库，提供了一套用于处理文件和目录的 API。它主要包括以下几个核心类： std::filesystem::path：用于表示文件系统路径。它提供了一系列方法，允许你对路径进行各种操作，如拼接…...
JVM在线分析-解决问题的工具一(jinfo,jmap,jstack)
1. jinfo (base) PS C:\Users\zishi\Desktop> jinfo Usage:jinfo <option> <pid>(to connect to a running process)where <option> is one of:-flag <name> to print the value of the named VM flag #输出对应名称的参数-flag [|-]<n…...
[深度学习]不平衡样本的loss
不平衡样本的loss ”softmax“、”weighted softmax“、”focal“、”class-balanced“ 和 ”balanced softmax“ 都是用于多类分类任务的损失函数。它们之间的区别在于如何处理类别不均衡的问题。 Softmax 是常用的多类分类损失函数。它将输出分布转换为概率分布，…...
【MySQL】表的增删改查(强化)
作者主页：paper jie_博客 本文作者：大家好，我是paper jie，感谢你阅读本文，欢迎一建三连哦。 本文录入于《MySQL》专栏，本专栏是针对于大学生，编程小白精心打造的。笔者用重金(时间和精力)打造&a…...
MyBatis-Plus--在xml中使用wrapper的方法
原文网址：MyBatis-Plus--在xml中使用wrapper的方法_IT利刃出鞘的博客-CSDN博客 简介 本文介绍MyBatis-Plus如何在xml中使用wrapper。 Service QueryWrapper<T> wrapper new QueryWrapper<T>(); wrapper.eq("r.room_id", vo.getRoomId())…...
Oracle RAC是啥？
Oracle RAC，全称是Oracle Real Application Cluster，翻译过来为Oracle真正的应用集群，它是Oracle提供的一个并行集群系统，由 Oracle Clusterware（集群就绪软件） 和 Real Application Cluster（RA…...
springboot中定时任务cron不生效，fixedRate指定间隔失效，只执行一次的问题
在调试计算任务的时候，手动重置任务为初始状态，但是并没有重新开始计算，检查定时任务代码： 从Scheduled(fixedRate 120000)可以看到，应该是间隔120秒执行一次该定时任务，查看后台日志，并没有重…...
苹果手机发热发烫是什么原因？看完这篇你就知道了！
苹果手机以其卓越的用户体验和优秀的性能得到了广大用户的喜爱和追捧。在日常使用苹果手机时，我们可能会遇到手机发热发烫的情况。那么，苹果手机发热发烫是什么原因呢？小编将为大家解析这一问题的原因，并为您提供相应的解决方案&a…...
民安智库（第三方满意度调研公司）：助力健身房提升客户满意度的秘密武器
在当今的健身行业，客户满意度已经成为衡量健身房竞争力的关键因素。为了准确了解客户的需求和反馈，某健身房委托民安智库对其进行客户满意度调查。 本次调查的主要目的是了解客户对健身房的满意度，包括对设施、课程、教练和服务的评价。调查…...
2011年09月01日 Go生态洞察：Go语言词法扫描与App Engine演示
🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…...
pytorch搭建squeezenet网络的整套工程（升级版）
上一篇当中，使用pytorch搭建了一个squeezenet，效果还行。但是偶然间发现了一个稍微改动的版本，拿来测试一下发现效果会更好，大概网络结构还是没有变，还是如下的第二个版本： 具体看网络结构代码：…...
222. 完全二叉树的节点个数
题目链接：222. 完全二叉树的节点个数 需复刷 全代码： class Solution { public:int getnums(TreeNode* Node){if(Node NULL){return 0;}int leftnums getnums(Node ->left);int rightnums getnums(Node ->right);int cns 1 leftnums righ…...
adb and 软件架构笔记
Native Service，这是Android系统里的一种特色，就是通过C或是C代码写出来的，供Java进行远程调用的Remote Service，因为C/C代码生成的是Native代码（机器代码），于是叫Native Service。 native服务…...
算术运算符、自增自减运算符、赋值运算符、关系运算符、逻辑运算符、三元运算符
1.算术运算符 public class OperatorDemo1 {public static void main(String[] args) {int a 10;int b 2;System.out.println(a b);System.out.println(a - b);System.out.println(a * b);System.out.println(a / b);System.out.println(5 / 2);System.out.println(5.0 / 2);…...
k8s 配置资源管理
配置资源管理 //Secret Secret 是用来保存密码、token、密钥等敏感数据的 k8s 资源，这类数据虽然也可以存放在 Pod 或者镜像中，但是放在 Secret 中是为了更方便的控制如何使用数据，并减少暴露的风险。 有三种类型： ●kubernetes.…...
expo + react native项目隐藏状态栏踩坑
我的app.tsx文件内容如下： import MainPage from "./screens/Main/index";export default function App() {return (<MainPage />); }需求：当屏幕方向旋转90度后，状态栏所在位置是处于顶部安全区域所在位置。需要忽略顶部安…...
若依：用sqlite3随便掰饬掰饬
“若依”这个开源项目，感觉是外包公司标配了啊，都在用。从README感觉像是某位阿里员工的工作之余的小整理。对于SprintBoot，个人感觉太重型，不过人家生态起来了，不是那么容易玩完。但是随着VMware被博通收购࿰…...
刚安装的MySQL使用Navicat操作数据库遇到的问题
刚安装的MySQL使用Navicat操作数据库遇到的问题 一、编辑连接保存报错二、打开数据表很慢三、MySQL的进程出现大量“sleep”状态的进程四、执行sql脚本报错，部分表导不进去五、当前MySQL配置文件 一、编辑连接保存报错 连接上了数据库，编辑连接保存报错…...
物奇平台耳机宕机恢复功能实现
是否需要申请加入数字音频系统研究开发交流答疑群(课题组)？可加我微信hezkz17, 本群提供音频技术答疑服务，群赠送语音信号处理降噪算法，蓝牙音频，DSP音频项目核心开发资料, 物奇平台耳机宕机恢复功能实现 一 需求与场景 1 使…...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
什么是EULA和DPA
文章目录 EULA（End User License Agreement）DPA（Data Protection Agreement）一、定义与背景二、核心内容三、法律效力与责任四、实际应用与意义 EULA（End User License Agreement） 定义： EULA即…...
pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)
目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关࿰…...
算法笔记2
1.字符串拼接最好用StringBuilder，不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...
Mysql8 忘记密码重置，以及问题解决
1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...
C++ 设计模式 《小明的奶茶加料风波》
👨🎓 模式名称：装饰器模式（Decorator Pattern） 👦 小明最近上线了校园奶茶配送功能，业务火爆，大家都在加料： 有的同学要加波霸 🟤，有的要加椰果…...
前端中slice和splic的区别
1. slice slice 用于从数组中提取一部分元素，返回一个新的数组。 特点： 不修改原数组：slice 不会改变原数组，而是返回一个新的数组。提取数组的部分：slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...
Linux-进程间的通信
1、IPC： Inter Process Communication（进程间通信）： 由于每个进程在操作系统中有独立的地址空间，它们不能像线程那样直接访问彼此的内存，所以必须通过某种方式进行通信。 常见的 IPC 方式包括&#…...
MySQL体系架构解析（三）：MySQL目录与启动配置全解析
MySQL中的目录和文件 bin目录 在 MySQL 的安装目录下有一个特别重要的 bin 目录，这个目录下存放着许多可执行文件。与其他系统的可执行文件类似，这些可执行文件都是与服务器和客户端程序相关的。 启动MySQL服务器程序 在 UNIX 系统中，用…...
echarts使用graphic强行给图增加一个边框（边框根据自己的图形大小设置）- 适用于无法使用dom的样式
pdf-lib https://blog.csdn.net/Shi_haoliu/article/details/148157624?spm1001.2014.3001.5501 为了完成在pdf中导出echarts图，如果边框加在dom上面，pdf-lib导出svg的时候并不会导出边框，所以只能在echarts图上面加边框 grid的边框是在图里…...