利用tf-idf对特征进行提取

TF-IDF是一种文本特征提取的方法，用于评估一个词在一组文档中的重要性。 

一、代码

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as npdef print_tfidf_words(documents):"""打印TF-IDF矩阵中每个文档中非零值对应的单词及其概率。Parameters:- documents: list，包含文档的列表Returns:- None"""# 创建TF-IDF向量化器vectorizer = TfidfVectorizer()# 对文档集合进行拟合和转换tfidf_matrix = vectorizer.fit_transform(documents)# 获取特征词列表feature_names = vectorizer.get_feature_names_out()# 将TF-IDF矩阵转换为稠密矩阵# 在TF-IDF矩阵中，每一行代表一个文档，每一列代表一个特征词# 非零值对应的列索引  就是  该文档中的非零权重对应的单词  在特征词列表中的索引# dense_tfidf_matrix 是一个 NumPy 稠密矩阵，可以使用索引操作符 [row, column] 来获取矩阵中的特定元素dense_tfidf_matrix = tfidf_matrix.todense()# 打印每个文档中非零值对应的单词及其概率for i, document in enumerate(dense_tfidf_matrix):nonzero_indices = document.nonzero()[1]dic = {idx: document[0, idx] for idx in nonzero_indices}# 根据概率进行排序sorted_dic = dict(sorted(dic.items(), key=lambda x: x[1], reverse=True))words = {feature_names[k]: v for k, v in sorted_dic.items()}print(f"文档 {i + 1} 中的非零值对应的单词及其概率：{words}")# 打印特征词对应的索引print("Feature indices:", {feature: index for index, feature in enumerate(feature_names)})# 示例文档集合
documents = ["This is the first document.","This document is the second document.","And this is the third one.","Is this the first document?"
]# 调用函数打印结果
print_tfidf_words(documents)

二、结果