jieba-fenci 05 结巴分词之简单聊一聊

拓展阅读

DFA 算法详解

为了便于大家学习，项目开源地址如下，欢迎 fork+star 鼓励一下老马~

敏感词 sensitive-word

分词 segment

分词系列专题

jieba-fenci 01 结巴分词原理讲解 segment

jieba-fenci 02 结巴分词原理讲解之数据归一化 segment

jieba-fenci 03 结巴分词与繁简体转换 segment

jieba-fenci 04 结巴分词之词性标注实现思路 speechTagging segment

jieba-fenci 05 结巴分词之简单聊一聊

结巴分词

结巴分词（Jieba）是一个广泛使用的中文文本分词工具，因其高效和易用而受到欢迎。以下是结巴分词的一些关键特性和使用方法：

特性

1. 三种分词模式：

   • 精确模式：试图将句子最精确地切开，适合文本分析。
   • 全模式：把句子中所有的可能分词都找出来，速度较快，但不适合文本分析。
   • 搜索引擎模式：在精确模式的基础上，对长词再次切分，适合用于搜索引擎构建倒排索引。

2. 自定义词典：用户可以添加自己的词典，以提高分词的准确性。通过自定义词典，可以为一些特定领域的词汇提供更好的支持。

3. 词性标注：结巴分词不仅可以进行分词，还可以为每个词语进行词性标注，方便进一步的自然语言处理。

4. 支持多种编码：可以处理 UTF-8 和 GBK 编码的文本，适用于多种场景。

自定义词典

可以使用自定义词典来提升特定领域词汇的识别度。自定义词典的格式为每行一个词，格式为“词语 词频 词性”。

应用场景

• 文本分析：如情感分析、主题建模等。
• 搜索引擎：为搜索引擎提供分词支持，构建倒排索引。
• 推荐系统：通过对用户输入的文本进行分词，分析用户兴趣。

结巴分词因其灵活性和高效性，广泛应用于各种中文自然语言处理任务中。

java 结巴分词入门例子

要在 Java 中使用结巴分词（Jieba），可以通过引入结巴分词的 Java 实现库（如 jieba-analysis）来实现。

以下是一个简单的入门示例，包括 Maven 的依赖配置和代码示例。

1. Maven 依赖

在你的 Maven 项目的 pom.xml 文件中，添加以下依赖：

<dependencies><dependency><groupId>com.github.hankcs</groupId><artifactId>jieba-analysis</artifactId><version>7.0.0</version> <!-- 请检查最新版本 --></dependency>
</dependencies>

2. Java 代码示例

以下是一个简单的 Java 程序，演示如何使用结巴分词进行分词处理：

import com.hankcs.jieba.JiebaSegmenter;
import com.hankcs.jieba.WordDictionary;import java.util.List;public class JiebaExample {public static void main(String[] args) {// 初始化 Jieba 分词器JiebaSegmenter segmenter = new JiebaSegmenter();// 要分词的文本String text = "我爱自然语言处理";// 精确模式分词List<String> words = segmenter.sentenceProcess(text);System.out.println("精确模式分词: " + words);// 全模式分词List<String> allWords = segmenter.process(text, JiebaSegmenter.SegMode.SEARCH);System.out.println("全模式分词: " + allWords);// 添加自定义词典（可选）// WordDictionary.getInstance().add("自然语言处理");// List<String> customWords = segmenter.sentenceProcess(text);// System.out.println("自定义词典分词: " + customWords);}
}

结巴分词词性标注 HMM 示意代码

下面是一个基于动态规划和隐马尔可夫模型（HMM）进行词性标注的简化实现。

这个示例展示了基本的动态规划算法如何与 HMM 结合使用。

完整代码实现

import java.util.HashMap;
import java.util.List;
import java.util.Map;public class HMMPOSTagger {// 状态转移概率private static final Map<String, Map<String, Double>> transitionProbabilities = new HashMap<>();// 发射概率private static final Map<String, Map<String, Double>> emissionProbabilities = new HashMap<>();// 词典private static final String[] states = {"名词", "动词", "形容词", "代词", "副词"};static {// 状态转移概率（简化示例）transitionProbabilities.put("名词", Map.of("名词", 0.3, "动词", 0.2, "形容词", 0.1, "代词", 0.1, "副词", 0.1));transitionProbabilities.put("动词", Map.of("名词", 0.2, "动词", 0.3, "形容词", 0.1, "代词", 0.1, "副词", 0.2));// ... 更多状态转移概率// 发射概率（简化示例）emissionProbabilities.put("名词", Map.of("自然语言处理", 0.8, "计算机", 0.2));emissionProbabilities.put("动词", Map.of("爱", 1.0));emissionProbabilities.put("形容词", Map.of("好", 1.0));// ... 更多发射概率}public static String[] viterbi(List<String> words) {int n = words.size();int m = states.length;double[][] dp = new double[n][m];int[][] backpointer = new int[n][m];// 初始化for (int j = 0; j < m; j++) {String state = states[j];dp[0][j] = emissionProbabilities.getOrDefault(state, new HashMap<>()).getOrDefault(words.get(0), 0.0);}// 动态规划for (int i = 1; i < n; i++) {for (int j = 0; j < m; j++) {String state = states[j];double maxProb = 0.0;int bestState = 0;for (int k = 0; k < m; k++) {String prevState = states[k];double prob = dp[i - 1][k] * transitionProbabilities.getOrDefault(prevState, new HashMap<>()).getOrDefault(state, 0.0);if (prob > maxProb) {maxProb = prob;bestState = k;}}dp[i][j] = maxProb * emissionProbabilities.getOrDefault(state, new HashMap<>()).getOrDefault(words.get(i), 0.0);backpointer[i][j] = bestState;}}// 回溯找到最优路径double maxProb = 0.0;int bestLastState = 0;for (int j = 0; j < m; j++) {if (dp[n - 1][j] > maxProb) {maxProb = dp[n - 1][j];bestLastState = j;}}// 构建最优状态序列String[] result = new String[n];int currentState = bestLastState;for (int i = n - 1; i >= 0; i--) {result[i] = states[currentState];currentState = backpointer[i][currentState];}return result;}public static void main(String[] args) {List<String> words = List.of("我", "爱", "自然语言处理");String[] posTags = viterbi(words);// 输出结果for (int i = 0; i < words.size(); i++) {System.out.println(words.get(i) + ": " + posTags[i]);}}
}

实现细节

1. 状态转移概率（Transition Probabilities）：用于描述从一个状态（词性）转移到另一个状态的概率。
2. 发射概率（Emission Probabilities）：描述给定状态（词性）时，生成特定观察（词）的概率。
3. 动态规划（Viterbi Algorithm）：
   • 初始化 DP 表格。
   • 填充 DP 表，计算每个状态的最大概率。
   • 使用回溯表找到最优路径。
4. 词典：在实际应用中，应该加载更完整的状态转移和发射概率数据。

注意事项

• 这个示例中的概率数据是简化的，实际使用时应基于真实的训练数据进行统计。
• 代码为简化版本，未处理所有边界情况，实际应用中需进行完善。
• 可以考虑使用现成的 HMM 库，减少实现复杂度和错误。