企业官网建设流程全解析

1. 需求分析

根据评论语，判断评论是好评还是差评

2. 数据说明

书籍评价数据：

停用词数据：

3. 建模

import jieba import pandas as pd from matplotlib import pyplot as plt from sklearn.feature_extraction.text import CountVectorizer from sklearn.metrics import classification_report, roc_curve, auc from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB

3.1 加载数据

# 1. 加载书籍 # 1.1 书籍评价数据 data = pd.read_csv('./data/书籍评价.csv', encoding='gbk', index_col=0) data.head() # 1.2 停用词列表 with open('./data/stopwords.txt', 'r', encoding='utf-8') as f: stop_words_list = f.readlines() # 读取所有行 stop_words_list = [line.strip() for line in stop_words_list] # 去除换行符 stop_words_list = list(set(stop_words_list)) # 去重 stop_words_list[:10]

3.2 数据预处理

# 2. 数据预处理 # 2.1 评价标签转换 data['label'] = data['评价'].map({'好评': 1, '差评': 0}) y = data['label'] # 2.2 jieba分词 comment_list = [','.join(jieba.lcut(line)) for line in data['内容'].values] comment_list[:5] # 2.3 剔除停用词 transfer = CountVectorizer(stop_words=stop_words_list) x = transfer.fit_transform(comment_list).toarray() # 每条评论的切词分布，有就是1，没有就是0，每条转换后以列表形式保存 print(x[0]) print(len(transfer.get_feature_names_out())) # 解释：词袋模型中，最终有多少个词 # 2.4 划分数据集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0, stratify=y) # len(x_train)

3.3 特征工程（不需要）

3.4 模型训练

# 4. 模型训练 estimator = MultinomialNB() # 多项式贝叶斯 estimator.fit(x_train, y_train) y_pre = estimator.predict(x_test)

3.5 模型评估

# 5. 模型评估 print('分类报告:', classification_report(y_test, y_pre))

# 可视化 fpr, tpr, thresholds = roc_curve(y_test, estimator.predict_proba(x_test)[:,1]) auc_value = auc(fpr, tpr) plt.figure(figsize=(3,3)) plt.plot(fpr, tpr, label='AUC = %.2f' % auc_value) plt.plot([0,1], [0,1], 'r--') plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.legend() plt.show()