社交媒体舆情分析系统
一、介绍
系统采集微博话题文章和评论数据,利用基于 Hugging Face Transformers 的 BERT 预训练模型(uer/roberta-base-finetuned-jd-binary-chinese)进行情感分析,对话题的关键词、热度、地区进行分析,使用了 TF-IDF、TextRank 等算法,并通过 Vue.js 进行可视化展示。
二、系统功能
1、数据采集
爬取微博文章(含图片)、评论信息,利用基于 Hugging Face Transformers 的 BERT 预训练模型(uer/roberta-base-finetuned-jd-binary-chinese)进行情感分析,CNN(ResNet)提取图像特征。
2、微博舆情
展示爬取到的文章信息及其舆情分析结果,使用 BERT 模型对文章和评论内容进行正负面情感分类(绿色:低风险,橙色:中等风险,红色:高风险)。
点击地址可跳转到微博文章页面,点击详情按钮可查看该文章详情信息。
3、舆情趋势
以折线图形式展示各话题在不同时间段内舆情指数的变化趋势,支持多话题对比查看。
4、热度排行
根据热度公式(点赞×0.3 + 评论×0.5 + 转发×0.2)× 时间衰减因子,对各话题文章进行热度评分,以排行榜形式展示最热门内容。
5、热度分析
用时间热度图展示各个时期各个话题的热度变化情况,直观反映舆情爆发节点。
6、关键词分析
针对某一个话题,使用 TextRank 和 TF-IDF 分别提取话题关键词,以饼图和环形图的形式展示出来。
7、数据分析
以旭日图的形式展示各个话题正负面舆情占比,支持按话题筛选查看。
8、词云分析
使用 jieba、wordcloud 等库,对各个话题的文章和评论关键词进行分析,生成词云图。
9、舆情地图
以地图形式直观展示各省份舆情信息分布,可选择具体话题查看地区舆情热度。
10、风险预警
对舆情数据进行实时监控,当负面情感占比超过阈值时触发预警提示。
11、报告导出
支持将当前话题的舆情分析数据导出为报表文件,方便存档和汇报。
12、多模态分析
支持对文章中的图片内容进行多模态分析,结合图文信息综合评估舆情。
13、个人信息
用户查看、编辑个人信息。
14、修改密码
用户登录后可修改密码。
15、登录注册
用户登录注册。
16、用户管理
管理员功能,管理用户信息。
三、软件架构
后端
- Python 3.8+
- Flask
- BERT / Hugging Face Transformers(情感分析)
- TF-IDF / TextRank(关键词提取)
前端
- Vue.js
- iView / Element UI
- ECharts
数据库
- MySQL 5.7+