Kaggle-Disaster Tweets-(二分类+NLP+模型融合)

Disaster Tweets

题意：

就是给出一个dataframe包含text这一列代表着文本，文本会有一些词，问对于每条记录中的text是真关于灾难的还是假关于灾难的。
比如我们说今天作业真多，这真是一场灾难。实际上这个灾难只是我们调侃而言的。

数据处理：

1.首先要将文本转化为模型可以接受的数据。建立vectorizer将文本转换为词频矩阵，先fit训练数据，然后把这个vectorizer再应用到test数据上，这样才能保证测试数据和训练数据的一致性。
2.拆分训练集合和验证集合，对下面模型融合进行评估。

建立模型：

1.逻辑归回模型LogisticRegression，设置本模型的网格搜索参数，对lr进行超参数优化。
2.随机森林模型RandomForestClassifier，设置本模型的网格搜索参数，对rf进行超参数优化。
3.xgboost模型XGBClassifier，设置本模型的网格搜索参数，对xgb进行超参数优化。
4.投票模型融合，把三个算法的最佳参数下的模型进行融合训练，求出预测分数。只是把某个答案出现次数最多的作为答案。
5.加权模型融合，只是在投票模型的基础上，为每个模型分配一个权重。
6.堆叠模型融合，把三个模型输出答案作为次级模型的输入，再进行训练，预测出结果。逻辑回归模型会学习如何结合基模型的预测概率，以更准确地预测样本的类别。
例如，模型可能会学习到：
当基模型1和基模型3的预测概率较高时，样本更可能属于类别1。
当基模型2的预测概率较高时，样本更可能属于类别0。

代码：

import sys
import pandas as pd
from sklearn.ensemble import RandomForestClassifier, VotingClassifier, StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn import feature_extraction, model_selection
from sklearn.model_selection import GridSearchCV
from xgboost import XGBClassifierif __name__ == '__main__':#数据处理data_train = pd.read_csv('/kaggle/input/nlp-getting-started/train.csv')data_test = pd.read_csv('/kaggle/input/nlp-getting-started/test.csv')vectorizer = feature_extraction.text.CountVectorizer()X_train = vectorizer.fit_transform(data_train['text'])Y_train = data_train['target']X_test = vectorizer.transform(data_test['text'])X_train,X_val,Y_train,Y_val = model_selection.train_test_split(X_train,Y_train,test_size=0.2,random_state=42)#lr模型lr_param_grid = {'penalty': ['l1', 'l2', 'elasticnet', None], #指定正则化类型，用于防止模型过拟合。#    'C': [0.001, 0.01, 0.1, 1, 10, 100], #正则化强度的倒数，值越小表示正则化越强。#    'solver': ['liblinear', 'saga'], #指定用于求解逻辑回归参数的优化算法。#    'class_weight': [None, 'balanced'] #指定类别权重，用于处理类别不平衡问题。}lr_model = GridSearchCV(estimator = LogisticRegression(random_state=42),  #对什么模型进行搜索超参数param_grid = lr_param_grid,  #超参数的候选值scoring = 'accuracy',  #使用准确率作为评估指标cv = 3,  #使用3折交叉验证n_jobs = -1,  #使用所有cpu并行运算)lr_model.fit(X_train, Y_train)print('lr预测分数：' + str(lr_model.score(X_val, Y_val)))#rf模型rf_param_grid = {'n_estimators': [50, 100, 200], #树的数量#    'max_depth': [None, 10, 20, 30], #树的最大深度#    'min_samples_split': [2, 5, 10], #节点分裂所需的最小样本数#    'min_samples_leaf': [1, 2, 4], #叶节点所需的最小样本数#    'max_features': ['auto', 'sqrt', 'log2'], #找最佳分裂时考虑的最大特征数#    'bootstrap': [True, False] #否使用有放回抽样构建树}rf_model = GridSearchCV(estimator=RandomForestClassifier(random_state=42),  # 对什么模型进行搜索超参数param_grid=rf_param_grid,  # 超参数的候选值scoring='accuracy',  # 使用准确率作为评估指标cv=3,  # 使用3折交叉验证n_jobs=-1,  # 使用所有cpu并行运算)rf_model.fit(X_train, Y_train)print('rf预测分数：' + str(rf_model.score(X_val, Y_val)))#xgb模型xgb_param_grid = {'n_estimators': [50, 100, 200], #树的数量#    'max_depth': [3, 4, 5, 6], #树的最大深度#    'learning_rate': [0.01, 0.1, 0.2], #学习速率#    'subsample': [0.8, 1.0], #指定每次迭代中用于训练每棵树的数据比例#    'colsample_bytree': [0.8, 1.0], #指定每次迭代中用于训练每棵树的特征比例#    'gamma': [0, 0.1, 0.2], #最小损失减少值#    'min_child_weight': [1, 3, 5], #子节点所需的最小样本权重和#    'reg_alpha': [0, 0.1, 1], #控制模型的正则化强度#    'reg_lambda': [0, 0.1, 1] #控制模型的正则化强度}xgb_model = GridSearchCV(estimator = XGBClassifier(random_state=42), #对什么模型进行搜索超参数param_grid = xgb_param_grid, #超参数的候选值scoring = 'accuracy', #使用准确率作为评估指标cv = 3, #使用3折交叉验证n_jobs = -1, #使用所有cpu并行运算)xgb_model.fit(X_train,Y_train)print('xgb预测分数：' + str(xgb_model.score(X_val, Y_val)))lr_best = lr_model.best_estimator_rf_best = rf_model.best_estimator_xgb_best = xgb_model.best_estimator_#投票模型融合voting_model = VotingClassifier(estimators=[('lr', lr_best), ('rf', rf_best), ('xgb', xgb_best)],voting='soft'  # 使用预测概率的平均值)voting_model.fit(X_train, Y_train)print('投票模型融合预测分数：' + str(voting_model.score(X_val, Y_val)))#加权投票模型融合lr_score = lr_model.score(X_val,Y_val)rf_score = rf_model.score(X_val,Y_val)xgb_score = xgb_model.score(X_val,Y_val)total_score = lr_score + rf_score + xgb_scoreweights = [lr_score / total_score, rf_score / total_score, xgb_score / total_score]weighted_voting_model = VotingClassifier(estimators=[('lr', lr_best), ('rf', rf_best), ('xgb', xgb_best)],voting='soft',weights=weights)weighted_voting_model.fit(X_train, Y_train)print('加权模型融合预测分数：' + str(weighted_voting_model.score(X_val, Y_val)))#堆叠模型融合stacking_model = StackingClassifier(estimators = [('lr', lr_best), ('rf', rf_best), ('xgb', xgb_best)],final_estimator=LogisticRegression(),cv=3  # 使用3折交叉验证生成元模型的训练数据)stacking_model.fit(X_train, Y_train)print('堆叠模型融合预测分数：' + str(stacking_model.score(X_val, Y_val)))Submission = pd.DataFrame({'id': data_test['id'],'target': stacking_model.predict(X_test)})Submission.to_csv('/kaggle/working/Submission.csv', index=False)