人工智能中的特征是什么？

什么是人工智能中的特征？

在人工智能中，特征（feature）是指从原始数据中提取出的、能够代表数据关键信息并用于模型训练的属性或变量。特征通常是对原始数据的抽象或转换，目的是捕捉数据中的模式、结构或相关性，从而帮助机器学习模型更有效地学习和预测。简单来说，特征是原始数据经过提炼后的结果，能够突出对任务有用的信息，同时去除冗余或无关的部分。

---

特征与原始数据的区别

• 原始数据：是指直接从数据源获取的未经处理的数据，例如图像的像素值、音频的波形、文本的原始字符等。原始数据往往包含大量冗余或噪声，直接使用可能导致模型训练效率低下或性能不佳。
• 特征：是从原始数据中经过处理、提取或转换后得到的更具代表性的数据。特征通常是原始数据的子集或高级表示，能够更直接地反映数据的关键属性，帮助模型更好地理解和学习。

区别总结：特征是对原始数据的“精炼”，旨在减少数据维度、去除噪声并增强模型的泛化能力，而原始数据则是未经加工的“原材料”。

---

举例说明

以下是五个不同领域的例子，具体展示特征与原始数据的区别：

1. 图像识别

• 原始数据：一张图像的像素值矩阵，例如RGB值（红、绿、蓝三通道的数值）。
• 特征：图像中的边缘、纹理、形状或颜色直方图等。这些特征可以通过边缘检测（如Sobel算子）或角点检测算法提取，突出图像的关键视觉信息，帮助模型识别物体。
• 区别：像素值是图像的完整描述，可能包含背景噪声，而特征聚焦于物体的轮廓或结构，更适合识别任务。

2. 文本分类

• 原始数据：一篇文档的完整文本内容，例如一篇文章的全部字符。
• 特征：文档中的词频、TF-IDF（词频-逆文档频率）值、词向量（如Word2Vec或BERT生成的嵌入）。这些特征捕捉文本的语义和关键词信息。
• 区别：原始文本可能是冗长的字符串，包含无意义的停用词，而特征提取后只保留对分类有意义的语义信息。

3. 语音识别

• 原始数据：音频文件的波形信号，即时间序列中的振幅数据。
• 特征：梅尔频率倒谱系数（MFCC）、频谱图或声学特征等。这些特征反映音频的音调、音色等声学特性。
• 区别：波形信号是连续的原始音频数据，信息量大但冗余，特征则提炼出与语音内容相关的关键属性。

4. 推荐系统

• 原始数据：用户的行为数据，例如点击记录、购买历史或浏览时间。
• 特征：用户的偏好向量、物品的属性向量（如类别、价格）或用户-物品交互矩阵。这些特征总结了用户的兴趣和物品特性。
• 区别：原始行为数据可能是零散的事件记录，而特征是基于这些事件计算出的结构化表示，便于预测用户喜好。

5. 金融风控

• 原始数据：用户的交易记录、信用历史或个人信息，例如每次交易的金额和时间。
• 特征：用户的信用评分、交易频率、平均交易金额或还款行为模式等。这些特征捕捉用户的信用风险特征。
• 区别：原始数据是详细的历史记录，可能包含无关细节，而特征是风险评估的关键指标。

---

总结

特征是从原始数据中提取的、能够代表数据关键信息的抽象表示。与原始数据相比，特征更简洁、更有针对性，能够提高模型的训练效率和预测准确性。在人工智能中，特征工程（feature engineering）是至关重要的一步，良好的特征设计往往直接决定模型的性能。通过上述五个例子，可以看出特征是如何从原始数据中“提炼”出来，并在不同场景中助力模型完成任务的。

具体案例

以下是几个个详细的例子，展示了如何从原始数据中抽取特征，并利用这些特征建立机器学习模型来解决问题。每个例子都包括原始数据、特征提取、建模过程的详细说明，并附有相应的 Python 代码。

---

示例 1：信用卡欺诈检测

问题

利用信用卡交易数据，检测欺诈交易（这是一个二分类问题：欺诈或正常）。

原始数据

假设我们有一个结构化数据集，存储在表格中，包含以下列：

• Transaction ID（交易ID）：唯一标识每笔交易
• User ID（用户ID）：标识交易所属的用户
• Transaction Amount（交易金额）：每笔交易的金额（数值）
• Transaction Time（交易时间）：交易发生的时间（日期时间格式）
• Merchant Category（商家类别）：交易涉及的商家类型（分类变量，如“餐饮”、“零售”）
• Is Fraud（是否欺诈）：目标变量，1 表示欺诈，0 表示正常

特征抽取

从原始数据中，我们可以抽取或生成以下特征，用于建模：

• Transaction Amount：直接使用交易金额作为特征。
• Hour：从 Transaction Time 中提取交易发生的小时，可能与欺诈模式相关（如深夜交易）。
• Day：从 Transaction Time 中提取星期几，可能反映周末或工作日的交易行为。
• Merchant Category：将商家类别编码为数值型特征（如使用标签编码）。

这些特征能够帮助模型捕捉交易的时间模式和商家类型对欺诈的影响。

建模过程

1. 数据预处理：

   • 将 Transaction Time 转换为 datetime 格式。
   • 从中提取 Hour（小时）和 Day（星期几）。
   • 对 Merchant Category 进行标签编码（Label Encoding），将其转换为数值。

2. 特征和目标变量：

   • 特征：Transaction Amount、Hour、Day、Merchant Category
   • 目标变量：Is Fraud

3. 数据拆分：

   • 将数据集分为训练集（80%）和测试集（20%），以便评估模型性能。

4. 模型选择：

   • 使用随机森林分类器（Random Forest Classifier），因为它对分类问题具有鲁棒性，且能够处理多种特征类型。

5. 模型训练：

   • 在训练集上拟合随机森林模型。

6. 模型评估：

   • 在测试集上进行预测，使用准确率、精确率、召回率和 F1 分数评估模型性能。

Python 代码

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
from sklearn.preprocessing import LabelEncoder# 加载数据
data = pd.read_csv('credit_card_transactions.csv')# 预处理 Transaction Time
data['Transaction Time'] = pd.to_datetime(data['Transaction Time'])
data['Hour'] = data['Transaction Time'].dt.hour
data['Day'] = data['Transaction Time'].dt.dayofweek# 对 Merchant Category 进行标签编码
le = LabelEncoder()
data['Merchant Category'] = le.fit_transform(data['Merchant Category'])# 定义特征和目标变量
X = data[['Transaction Amount', 'Hour', 'Day', 'Merchant Category']]
y = data['Is Fraud']# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 初始化并训练随机森林模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)# 预测并评估模型
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

代码说明

• 数据加载：假设数据存储在 credit_card_transactions.csv 文件中。
• 特征提取：从 Transaction Time 中提取小时和星期几；对 Merchant Category 使用 LabelEncoder 转换为数值。
• 模型训练：使用 100 棵树的随机森林分类器。
• 评估：classification_report 输出模型的性能指标。

---

示例 2：疾病预测

问题

利用患者记录数据，预测患者是否患有某种疾病（这是一个二分类问题：患病或未患病）。

原始数据

假设我们有一个结构化数据集，存储在表格中，包含以下列：

• Patient ID（患者ID）：唯一标识每个患者
• Age（年龄）：患者的年龄（数值）
• Gender（性别）：患者的性别（分类变量，如“Male”或“Female”）
• Symptoms（症状）：患者报告的症状，逗号分隔的字符串（如“fever, cough”）
• Medical History（病史）：患者的医疗历史，逗号分隔的字符串（如“diabetes, hypertension”）
• Blood Pressure（血压）：患者的血压值（数值）
• Cholesterol Level（胆固醇水平）：患者的胆固醇水平（数值）
• Has Disease（是否患病）：目标变量，1 表示患病，0 表示未患病

特征抽取

从原始数据中，我们可以抽取或生成以下特征：

• Age：直接使用年龄作为特征。
• Gender：将性别编码为数值（Male: 0, Female: 1）。
• Has_Fever、Has_Cough 等：从 Symptoms 中提取二进制特征（1 表示有该症状，0 表示无）。
• Has_Diabetes、Has_Hypertension 等：从 Medical History 中提取二进制特征。
• Blood Pressure：直接使用血压值。
• Cholesterol Level：直接使用胆固醇水平。

这些特征能够反映患者的健康状况和疾病风险。

建模过程

1. 数据预处理：

   • 将 Gender 编码为数值。
   • 将 Symptoms 和 Medical History 拆分为二进制特征。
   • 对数值特征（如 Age、Blood Pressure、Cholesterol Level）进行标准化，以统一量纲。

2. 特征和目标变量：

   • 特征：Age、Gender、Has_Fever、Has_Cough、…、Has_Diabetes、…、Blood Pressure、Cholesterol Level
   • 目标变量：Has Disease

3. 数据拆分：

   • 将数据集分为训练集（80%）和测试集（20%）。

4. 模型选择：

   • 使用逻辑回归（Logistic Regression），因为它简单、易于解释且适用于二分类问题。

5. 模型训练：

   • 在训练集上拟合逻辑回归模型。

6. 模型评估：

   • 在测试集上进行预测，使用准确率、精确率、召回率和 F1 分数评估模型性能。

Python 代码

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.preprocessing import StandardScaler# 加载数据
data = pd.read_csv('patient_records.csv')# 编码 Gender
data['Gender'] = data['Gender'].map({'Male': 0, 'Female': 1})# 从 Symptoms 和 Medical History 中创建二进制特征
symptoms_list = ['fever', 'cough', 'fatigue']  # 示例症状列表
for symptom in symptoms_list:data[f'Has_{symptom}'] = data['Symptoms'].apply(lambda x: 1 if symptom in x.split(', ') else 0)history_list = ['diabetes', 'hypertension']  # 示例病史列表
for condition in history_list:data[f'Has_{condition}'] = data['Medical History'].apply(lambda x: 1 if condition in x.split(', ') else 0)# 删除原始的 Symptoms 和 Medical History 列
data.drop(['Symptoms', 'Medical History'], axis=1, inplace=True)# 标准化数值特征
scaler = StandardScaler()
data[['Age', 'Blood Pressure', 'Cholesterol Level']] = scaler.fit_transform(data[['Age', 'Blood Pressure', 'Cholesterol Level']]
)# 定义特征和目标变量
X = data.drop(['Patient ID', 'Has Disease'], axis=1)
y = data['Has Disease']# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 初始化并训练逻辑回归模型
model = LogisticRegression(random_state=42)
model.fit(X_train, y_train)# 预测并评估模型
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

代码说明

• 数据加载：假设数据存储在 patient_records.csv 文件中。
• 特征提取：将症状和病史拆分为二进制特征；对数值特征使用 StandardScaler 标准化。
• 模型训练：使用逻辑回归分类器。
• 评估：classification_report 输出模型性能指标。

---

总结

以上两个例子展示了从结构化数据到机器学习模型的完整流程：

1. 理解问题：明确问题的类型（如分类问题）。
2. 探索数据：分析原始结构化数据中的列和含义。
3. 特征抽取：从原始数据中提取或生成对建模有意义的特征。
4. 数据预处理：处理分类变量、标准化数值特征等。
5. 数据拆分：将数据分为训练集和测试集。
6. 模型选择：根据问题选择合适的算法。
7. 模型训练：在训练集上拟合模型。
8. 模型评估：使用测试集评估模型性能。

通过这些步骤，可以使用 Python 的 pandas 和 scikit-learn 库，从结构化数据中提取特征并建立模型解决实际问题。

以下是一个关于如何从图像数据中提取特征并利用这些特征建立机器学习模型解决问题的详细示例。我们将以手写数字识别问题为例，这是一个经典的图像分类任务。

---

示例：手写数字识别

问题描述

目标是从手写数字的图像中识别出对应的数字（0-9）。这是一个多分类问题，类别为 0 到 9。

---

原始数据

我们使用 MNIST 数据集，这是一个广泛用于手写数字识别的基准数据集。MNIST 数据集的特点如下：

• 图像数量：
  • 训练集：60,000 张图像。
  • 测试集：10,000 张图像。
• 图像格式：
  • 每张图像是一个 28x28 像素的灰度图像。
  • 每个像素的取值范围为 0 到 255，其中 0 表示黑色，255 表示白色。
• 标签：
  • 每个图像对应一个数字标签（0-9）。

因此，原始数据是 28x28 的矩阵，每个元素是一个像素的灰度值。

---

特征提取

从图像数据中提取特征的方式有很多，这里我们选择一种简单但有效的方法：将图像展平为向量。

• 过程：
  • 将 28x28 的二维矩阵转换为一个 784 维（28 × 28 = 784）的向量。
  • 向量中的每个元素对应一个像素的灰度值。
• 优点：
  • 简单直接，保留了图像的所有像素信息。
• 缺点：
  • 维度较高，丢失了像素之间的空间关系。

在本次示例中，我们将使用这些展平后的像素值作为特征输入到机器学习模型中。

---

建模过程

1. 数据加载

使用 Python 的 TensorFlow 库加载 MNIST 数据集。

2. 数据预处理

• 归一化：将像素值从 [0, 255] 缩放到 [0, 1]，以提高模型训练效率。
• 展平：将 28x28 的图像矩阵转换为 784 维向量。

3. 数据拆分

MNIST 数据集已预先分为训练集和测试集，我们直接使用：

• 训练集：60,000 张图像。
• 测试集：10,000 张图像。

4. 模型选择

选择 支持向量机（SVM） 作为分类器。SVM 在高维数据（如图像特征）上表现良好，适合这个任务。我们将使用线性核的 SVM 以简化计算。

5. 模型训练

用训练数据拟合 SVM 模型。

6. 模型评估

在测试集上进行预测，并计算分类准确率。

---

Python 代码

以下是完整的实现代码：

# 导入必要的库
import tensorflow as tf
from sklearn import svm
from sklearn.metrics import accuracy_score# 1. 加载 MNIST 数据集
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()# 2. 数据预处理
# 归一化：将像素值缩放到 [0, 1]
x_train = x_train / 255.0
x_test = x_test / 255.0# 展平：将 28x28 的图像转换为 784 维向量
x_train = x_train.reshape(-1, 28 * 28)
x_test = x_test.reshape(-1, 28 * 28)# 3. 初始化并训练 SVM 模型（使用线性核）
clf = svm.SVC(kernel='linear')
clf.fit(x_train, y_train)# 4. 在测试集上预测
y_pred = clf.predict(x_test)# 5. 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy:.4f}")

---

代码说明

1. 导入库：

   • tensorflow：用于加载 MNIST 数据集。
   • sklearn.svm：提供 SVM 分类器。
   • sklearn.metrics：用于计算准确率。

2. 加载数据：

   • mnist.load_data() 返回训练集和测试集，分别包含图像数据和标签。

3. 预处理：

   • x_train / 255.0：将像素值归一化到 [0, 1]。
   • reshape(-1, 28 * 28)：将图像从 28x28 转换为 784 维向量，-1 表示自动推断样本数量。

4. 训练模型：

   • svm.SVC(kernel='linear')：创建一个线性核的 SVM 分类器。
   • clf.fit(x_train, y_train)：用训练数据拟合模型。

5. 评估模型：

   • clf.predict(x_test)：对测试集进行预测。
   • accuracy_score(y_test, y_pred)：计算预测结果的准确率。

---

结果

• 预期准确率：使用线性 SVM 和展平的像素特征，模型在 MNIST 测试集上的准确率通常在 90% 至 95% 之间。
• 运行时间：由于 SVM 在高维数据上的计算复杂度较高，训练可能需要几分钟，具体取决于硬件性能。

---

改进建议

为了进一步提升性能，可以尝试以下方法：

1. 高级特征提取：
   • 使用 HOG（方向梯度直方图） 或 SIFT 提取更具代表性的特征。
2. 深度学习：
   • 使用 卷积神经网络（CNN），它能捕捉图像的空间结构，通常可以将准确率提升到 99% 以上。
3. SVM 优化：
   • 尝试非线性核（如 RBF 核），可能会提高准确率，但计算成本更高。

---

总结

在这个示例中，我们展示了从图像数据中提取特征并建立模型的完整过程：

• 原始数据：MNIST 数据集中的 28x28 灰度图像。
• 特征提取：将图像展平为 784 维向量。
• 模型：使用 SVM 分类器进行数字识别。
• 结果：通过 Python 代码实现了数据处理、模型训练和评估。

这个方法简单有效，适合理解图像数据处理和机器学习的基本流程。如果需要更高的准确率，可以进一步探索复杂的特征提取技术或深度学习方法。

以下是一个关于文本数据处理和机器学习建模的详细示例。我们将以垃圾邮件分类任务为例，说明如何从文本数据中提取特征并建立模型来解决问题。这个任务的目标是从电子邮件或短信的文本内容中识别出垃圾邮件（spam）或正常邮件（ham），这是一个经典的二分类问题。我将详细描述原始数据、特征提取过程、建模步骤，并提供完整的 Python 代码实现。

---

示例：垃圾邮件分类

问题描述

目标是从短信的文本内容中识别出垃圾邮件（spam）或正常邮件（ham）。这是一个二分类问题，标签为 0（ham）或 1（spam）。

---

原始数据

我们使用 SMS Spam Collection 数据集，这是一个公开的垃圾邮件数据集。假设数据的基本情况如下：

• 数据集来源：可以从 UCI Machine Learning Repository 下载。
• 数据量：
  • 训练集：约 4000 条短信。
  • 测试集：约 1000 条短信。
• 数据格式：
  • 每条数据包含两部分：
    • 文本：一条短信的字符串，例如 “Free entry in 2 a wkly comp to win FA Cup final tkts” 或 “Hello, how are you today?”。
    • 标签：0 表示正常邮件（ham），1 表示垃圾邮件（spam）。
• 示例数据：
  • “Free entry in 2 a wkly comp to win FA Cup final tkts”，标签：1（spam）
  • “Hello, how are you today?”，标签：0（ham）

在实际操作中，我们假设数据集存储在一个 CSV 文件中，包含两列：label（标签）和 message（短信内容）。

---

特征提取

由于原始数据是文本，我们需要将其转换为机器学习模型可以处理的数值特征。这里我们使用 TF-IDF（词频-逆文档频率，Term Frequency-Inverse Document Frequency） 方法来提取特征。TF-IDF 是一种常用的文本特征提取技术，能够反映单词在文档中的重要性。

特征提取过程

1. 文本预处理：
   • 将文本转换为小写。
   • 去除标点符号，只保留字母和空格。
   • 分词：将文本拆分为单词。
   • 去除停用词：过滤掉无意义的常见词（如 “the”、“is”）。
   • 词干提取：将单词还原为词干形式（如 “running” -> “run”）。
2. TF-IDF 计算：
   • 计算每个单词的 TF-IDF 值，生成特征向量。
   • 每个短信被表示为一个稀疏向量，向量中的每个维度对应一个单词的 TF-IDF 分数。

特征示例

假设有两条短信：

• 短信 1：“free entry win”，标签：1
• 短信 2：“hello today”，标签：0

经过预处理和 TF-IDF 转换后，可能得到如下特征矩阵（简化示例，假设词汇表为 [“free”, “entry”, “win”, “hello”, “today”]）：

短信 1: [0.5, 0.3, 0.4, 0.0, 0.0]
短信 2: [0.0, 0.0, 0.0, 0.6, 0.5]

其中每个值是对应单词的 TF-IDF 分数。

优点与局限

• 优点：TF-IDF 能突出重要词汇，降低常见词的权重，生成的特征适合高维数据处理。
• 局限：忽略词序和语义信息。

---

建模过程

1. 数据加载

使用 Python 的 pandas 库加载数据集。

2. 数据预处理

对文本进行清洗、分词、去除停用词和词干提取。

3. 特征提取

使用 TfidfVectorizer 将文本转换为 TF-IDF 特征矩阵。

4. 数据拆分

将数据集分为训练集（80%）和测试集（20%）。

5. 模型选择

选择 朴素贝叶斯（Naive Bayes） 分类器，因为它在文本分类任务中表现良好且计算效率高。

6. 模型训练

用训练数据拟合模型。

7. 模型评估

在测试集上进行预测，计算准确率、精确率、召回率等指标。

---

Python 代码实现

以下是完整的代码实现：

# 导入必要的库
import pandas as pd
import nltk
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report# 1. 加载数据集
# 假设数据集文件名为 'sms_spam_collection.csv'，包含 'label' 和 'message' 两列
data = pd.read_csv('sms_spam_collection.csv', encoding='latin-1')
data = data[['label', 'message']]# 2. 数据预处理
nltk.download('stopwords')  # 下载停用词表
stop_words = set(stopwords.words('english'))  # 加载英文停用词
stemmer = PorterStemmer()  # 初始化词干提取器def preprocess_text(text):text = text.lower()  # 转换为小写text = ''.join([c for c in text if c.isalnum() or c.isspace()])  # 去除标点words = text.split()  # 分词words = [word for word in words if word not in stop_words]  # 去除停用词words = [stemmer.stem(word) for word in words]  # 词干提取return ' '.join(words)# 应用预处理
data['message'] = data['message'].apply(preprocess_text)# 3. 特征提取 - TF-IDF
vectorizer = TfidfVectorizer(max_features=3000)  # 限制最大特征数为 3000
X = vectorizer.fit_transform(data['message']).toarray()  # 转换为 TF-IDF 矩阵
y = data['label'].map({'ham': 0, 'spam': 1})  # 将标签转换为 0 和 1# 4. 数据拆分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 5. 训练朴素贝叶斯模型
model = MultinomialNB()
model.fit(X_train, y_train)# 6. 在测试集上预测
y_pred = model.predict(X_test)# 7. 评估模型
print("分类报告：")
print(classification_report(y_test, y_pred))

---

代码说明

1. 导入库：

   • pandas：用于数据加载和处理。
   • nltk：用于文本预处理（停用词和词干提取）。
   • sklearn：提供特征提取、数据拆分、模型训练和评估工具。

2. 数据加载：

   • 从 CSV 文件加载数据，假设包含 label 和 message 两列。

3. 数据预处理：

   • preprocess_text 函数完成文本清洗、分词、去除停用词和词干提取。
   • 使用 apply 方法对所有短信应用预处理。

4. 特征提取：

   • TfidfVectorizer 将文本转换为 TF-IDF 特征矩阵，限制最大特征数为 3000。
   • toarray() 将稀疏矩阵转换为密集矩阵。

5. 数据拆分：

   • 使用 train_test_split 将数据分为 80% 训练集和 20% 测试集。

6. 模型训练：

   • 使用 MultinomialNB 训练朴素贝叶斯模型。

7. 模型评估：

   • 使用 classification_report 输出准确率、精确率、召回率和 F1 分数。

---

预期结果

• 准确率：在 SMS Spam Collection 数据集上，使用 TF-IDF 特征和朴素贝叶斯分类器，通常能达到 95% 以上 的准确率。
• 输出示例（假设结果）：

分类报告：precision    recall  f1-score   support0       0.98      1.00      0.99       9651       0.95      0.85      0.90       150accuracy                           0.97      1115macro avg       0.96      0.92      0.94      1115
weighted avg       0.97      0.97      0.97      1115

---

总结

在这个示例中，我们展示了如何从文本数据中提取特征并建立模型解决垃圾邮件分类问题：

• 原始数据：SMS Spam Collection 数据集中的短信文本和标签。
• 特征提取：使用 TF-IDF 将文本转换为数值特征向量。
• 建模过程：通过数据预处理、特征提取、模型训练和评估，实现了完整的机器学习流程。
• 代码实现：提供了可运行的 Python 代码，涵盖所有步骤。

这个方法简单高效，适合文本分类的入门学习。如果需要进一步提升性能，可以尝试词嵌入（如 Word2Vec）或深度学习模型（如 LSTM）。