当前位置： 首页 > news >正文

中文分词工具jieba的使用

news 2026/4/2 20:11:51

1.jieba简介

在自然语言处理任务时中文文本需要通过分词获得单个的词语，这个时候就需要用到中文分词工具jieba

jieba分词是一个开源项目，地址为github.com/fxsjy/jieba

它在分词准确度和速度方面均表现不错。

2.jieba的安装

  1. 全自动安装
pip install jieba / pip3 install jieba

2.半自动安装

  • 先下载pypi.python.org/pypi/jieba/
  • 解压后运行 python setup.py install

3.手动安装：

  • 将 jieba 的整个目录放置于python的site-packages 目录中

3.jieba的分词原理分析

  • 初始化。加载词典文件，获取每个词语和它出现的词数
  • 切分短语。利用正则，将文本切分为一个个语句，之后对语句进行分词
  • 构建DAG。通过字符串匹配，构建所有可能的分词情况的有向无环图，也就是DAG
  • 构建节点最大路径概率，以及结束位置。计算每个汉字节点到语句结尾的所有路径中的最大概率，并记下最大概率时在DAG中对应的该汉字成词的结束位置

相关文章：

中文分词工具jieba的使用

1.jieba简介 在自然语言处理任务时中文文本需要通过分词获得单个的词语，这个时候就需要用到中文分词工具jieba jieba分词是一个开源项目，地址为github.com/fxsjy/jieba 它在分词准确度和速度方面均表现不错。 2.jieba的安装 全自动安装pip install jieba / pip3 install …...

编程日记 2023/8/10 2:32:18

CTF Stegano练习之隐写初探

今天要介绍的是CTF练习中的Stegano隐写题型 。做隐写题的时候，工具是很重要的，接下来介绍一些工具。 1、TrID TrID是一款根据文件二进制数据特征进行判断的文件类型识别工具。虽然也有类似的文件类型识别工具，但是大多数都是使用硬编码的识…...

编程日记 2023/8/10 2:31:17

大数据课程H2——TELECOM的电信流量项目实现

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解TELECOM项目的数据收集； ⚪ 了解TELECOM项目的数据清洗； ⚪ 了解TELECOM项目的数据导出； ⚪ 了解TELECOM项目的数据可视化； ⚪ 了解TELECOM项目的其他； 一、数据收集 1. 在实…...

编程日记 2023/8/10 2:30:16

Langchain module ‘hnswlib‘ has no attribute ‘Index‘ 错误解决

Langchain module hnswlib has no attribute Index 错误解决 使用 Langchain 操作 Chroma 向量数据库时，报一下错误信息， module hnswlib has no attribute Index试着重装了不同 hnswlib 版本没有解决，最后解决方法是，不要使用 h…...

编程日记 2023/8/10 2:29:15

HIVE学习

1.什么是HIVE 1.HIVE是什么? Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 大白话: HIVE就是一个类似于Navicat的可视化客户端, 2.HIVE本质 Hive是一个Hadoop客户端&a…...

编程日记 2023/8/10 2:28:14

逆了个天了，阿里开源自然语言写SQL的神器级别工具快用起来

Chat2DB 是一款有开源免费的多数据库客户端工具，支持windows、mac本地安装，也支持服务器端部署，web网页访问。和传统的数据库客户端软件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力，能够将自然语言转换为SQL，也可以…...

编程日记 2023/8/10 2:27:12

85. 最大矩形

题目描述 给定一个仅包含 0 和 1 、大小为 rows x cols 的二维二进制矩阵，找出只包含 1 的最大矩形，并返回其面积。 示例 1： 输入：matrix [["1","0","1","0","0"],["1…...

编程日记 2023/8/10 2:26:10

Vue [Day5]

自定义指令 全局注册 和 局部注册 inserted在指令所在的元素 被插入到页面中时，触发 main.js import Vue from vue import App from ./App.vueVue.config.productionTip false// 1.全局注册指令 Vue.directive(focus, {// inserted在指令所在的元素 被插入到页…...

编程日记 2023/8/10 2:25:06

备战大型攻防演练，“3+1”一套搞定云上安全

在重大活动保障期间，企业不仅要面对愈发灵活隐蔽的新型攻击挑战，还要在人员、精力有限的情况下应对不分昼夜的高强度安全运维任务。如何在这种多重压力下，从“疲于应付”迈向“胸有成竹”呢？ 知己知彼，百战不殆&#…...

编程日记 2023/8/10 2:24:05

网络_每日一学——网络的整体概述

今天我们将继续探讨网络相关的知识。网络是由许多设备互相连接而成的，可以传输数据的系统。通过网络，我们可以远程访问他人的计算机、浏览网页、发送电子邮件等。网络是信息时代中不可或缺的一部分。 在网络中，每个设备都有一个唯一的标识符…...

编程日记 2023/8/10 2:23:04

【ChatGPT 指令大全】怎么使用ChatGPT来帮我们写作

在数字化时代，人工智能为我们的生活带来了无数便利和创新。在写作领域，ChatGPT作为一种智能助手，为我们提供了强大的帮助。不论是作文、文章，还是日常函电，ChatGPT都能成为我们的得力助手，快速提供准确的文…...

编程日记 2023/8/10 2:22:03

Redis 如何解决缓存雪崩、缓存击穿、缓存穿透难题

前言 Redis 作为一门热门的缓存技术，引入了缓存层，就会有缓存异常的三个问题，分别是缓存击穿、缓存穿透、缓存雪崩。我们用本篇文章来讲解下如何解决！ 缓存击穿 缓存击穿: 指的是缓存中的某个热点数据过期了，但是此…...

编程日记 2023/8/10 2:21:00

SSRF(服务器端请求伪造)漏洞

CSRF漏洞与SSRF漏洞的主要区别在于伪造目标的不同。 一、SSRF是什么 SSRF漏洞：（Server-Side Request Forgery，服务器端请求伪造）是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。一般情况下，SSRF攻击的目标是从…...

编程日记 2023/8/10 2:19:59

【Axure动态面板】利用动态面板实现树形菜单的制作

利用动态面板，简单制作高保真的树形菜单。 一、先看效果 https://1poppu.axshare.com 二、实现思路 1、菜单无非就是收缩和展开，动态面板有个非常好的属性：fit to content，这个属性的含义是：面板的大小可以根据内容多少…...

编程日记 2023/8/10 2:18:58

Android 实现 RecyclerView下拉刷新，SwipeRefreshLayout上拉加载

上拉、下拉的效果图如下&#xff1a; 使用步骤 1、在清单文件中添加依赖 implementation ‘com.android.support:recyclerview-v7:27.1.1’ implementation “androidx.swiperefreshlayout:swiperefreshlayout:1.0.0” 2、main布局 <LinearLayout xmlns:android"http…...

编程日记 2023/8/10 2:17:58

使用MethodInterceptor和ResponseBodyAdvice做分页处理

目录 一、需求 二、代码实现 父pom文件 pom文件 配置文件 手动注册SqlSessionFactory&#xff08;MyBatisConfig &#xff09; 对象 实体类Users 抽象类AbstractQuery 查询参数类UsersQuery 三层架构 UsersController UsersServiceImpl UsersMapper UsersMapper.…...

编程日记 2023/8/10 2:16:55

WEB集群——LVS-DR 群集、nginx负载均衡

1、基于 CentOS 7 构建 LVS-DR 群集。 2、配置nginx负载均衡。 一、 LVS-DR 群集 1、LVS-DR工作原理 LVS-DR&#xff08;Linux Virtual Server Director Server&#xff09; 名称缩写说明 虚拟IP地址(Virtual IP Address) VIPDirector用于向客户端计算机提供服务的IP地址真实…...

编程日记 2023/8/10 2:15:54

倒计时87天！软考初级信息处理技术员2023下半年报名考试攻略

软考初级信息处理技术员2023下半年报名条件&#xff1a; 1、凡遵守中华人民共和国宪法和各项法律&#xff0c;恪守职业道德&#xff0c;具有一定计算机技术应用能力的人员&#xff0c;均可根据情况报名参加相应专业类别、级别的考试。 2、获准在中华人民共和国境内就业的外籍…...

编程日记 2023/8/10 2:14:53

【腾讯云 Cloud Studio 实战训练营】使用Cloud Studio构建SpringSecurity权限框架

1.Cloud Studio&#xff08;云端 IDE&#xff09;简介 Cloud Studio 是基于浏览器的集成式开发环境&#xff08;IDE&#xff09;&#xff0c;为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装&#xff0c;随时随地打开浏览器就能在线编程。 Clou…...

编程日记 2023/8/10 2:13:52

c语言每日一练(4)

五道选择题 1、有以下代码&#xff0c;程序的输出结果是( ) #include <stdio.h> int main() {int a 0, b 0;for (a 1, b 1; a < 100; a){if (b > 20) break;//1if (b % 3 1)//2{b b 3;continue;}b b-5;//3}printf("%d\n", a);return 0; } A.1…...

编程日记 2023/8/10 2:12:51

无线网络实战：从零配置AP与SSID，打通设备互联

1. 无线网络基础概念扫盲 刚接触无线网络时&#xff0c;我经常被各种专业术语搞得晕头转向。其实搭建一个简单的办公网络并不复杂&#xff0c;我们先来理清几个关键概念。**AP&#xff08;接入点&#xff09;**就像无线网络中的"信号中转站"&#xff0c;负责把有线网…...

编程新知 2026/4/2 19:41:43

OpenSSL实战指南：在VSCode中搭建C语言开发环境

1. 为什么要在VSCode中配置OpenSSL开发环境 OpenSSL作为业界广泛使用的加密工具库&#xff0c;几乎支撑着互联网安全通信的半壁江山。从HTTPS协议到数字证书验证&#xff0c;从数据加密到安全传输&#xff0c;OpenSSL的身影无处不在。对于C语言开发者来说&#xff0c;掌握OpenS…...

编程新知 2026/4/2 19:15:20

AI Memory 全景解析：让 Agent 真正“记住”你

AI Memory 全景解析&#xff1a;让 Agent 真正"记住"你 你有没有遇到过这种场景&#xff1a;明明昨天告诉 AI 助手你喜欢简洁的代码风格&#xff0c;今天它又开始写冗长的注释&#xff1b;或者你费心纠正了一个错误&#xff0c;下次对话它照犯不误。这就是 AI 没有记…...

编程新知 2026/4/2 19:03:05

COMSOL二维单管渗透注浆模拟：简单又强大

comsol二维单管渗透注浆模拟 可以模拟用于多种土层注浆扩散效果 模型简单易懂&#xff0c;注浆管周边网格进行细化 有模拟案例&#xff0c;有视频详细操作最近&#xff0c;我一直在研究注浆技术在土层加固中的应用&#xff0c;特别是在如何模拟注浆过程中的扩散效果。经过一段时…...

编程新知 2026/4/2 18:18:26

AIGC技术实操：AI生图、AI视频开发与工具集成

2026年&#xff0c;AIGC技术已从“玩具级应用”走向“产业级工具”&#xff0c;其中AI生图、AI视频成为开发者的热门布局领域&#xff0c;据统计&#xff0c;AIGC/传媒领域商业化进程最快&#xff0c;MCN行业人工智能渗透率超60%&#xff0c;广告行业渗透率达55%。对于开发者而…...

编程新知 2026/4/2 18:06:09

L-SHADE算法实战：如何用线性种群缩减提升优化性能（附Python代码）

L-SHADE算法实战&#xff1a;如何用线性种群缩减提升优化性能&#xff08;附Python代码&#xff09; 在优化算法的世界里&#xff0c;差分进化&#xff08;Differential Evolution, DE&#xff09;一直以其简单高效著称。但传统DE算法在面对高维复杂问题时&#xff0c;常常陷入…...

编程新知 2026/4/2 17:43:35

PlugY：重塑暗黑破坏神2单机体验的技术突破

PlugY&#xff1a;重塑暗黑破坏神2单机体验的技术突破 【免费下载链接】PlugY PlugY, The Survival Kit - Plug-in for Diablo II Lord of Destruction 项目地址: https://gitcode.com/gh_mirrors/pl/PlugY 一、问题篇&#xff1a;暗黑破坏神2单机模式的技术痛点 作为一…...

编程新知 2026/4/2 16:25:59

基于潜在扩散模型的高分辨率图像合成-CVPR2022

期刊&#xff1a;Conference on Computer Vision and Pattern Recognition (CVPR) 论文链接&#xff1a;[2112.10752] High-Resolution Image Synthesis with Latent Diffusion Models 年份&#xff1a;2022 关键词&#xff1a;扩散模型&#xff0c;图像生成 从像素空间走向…...

编程新知 2026/4/2 15:57:27

RyTuneX深度实战：Windows系统性能调优与隐私保护最佳实践

RyTuneX深度实战&#xff1a;Windows系统性能调优与隐私保护最佳实践 【免费下载链接】RyTuneX RyTuneX is a cutting-edge optimizer built with the WinUI 3 framework, designed to amplify the performance of Windows devices. Crafted for both Windows 10 and 11. 项目…...

编程新知 2026/4/2 14:44:15

通信协议：那些让硬件“说话“的规则

通信协议&#xff1a;那些让硬件"说话"的规则硬件工程师每天都在和协议打交道——调SPI、写驱动、配CAN报文。但很多人对协议的理解停留在"查手册配寄存器"层面&#xff0c;没有建立起系统感。这篇文章试着把这个系统搭起来&#xff1a;从最基本的"01…...

编程新知 2026/4/2 14:40:14