Kaggle 平台汇集了大量来自不同行业的数据科学竞赛,但这些比赛的标题或简介往往表述多样、不易直接归类。无论是做项目归档、行业研究,还是搭建竞赛推荐系统,都需要一个可靠的方法来将比赛自动归入对应行业标签。
本教程提供使用HuggingFace 的 zero-shot pipeline和Sentence Transformers实现结果并进行对比。包含实现代码、适用条件、优缺点对比,并提供可直接应用的分类模型和标签建议。无论你是做数据分析、行业报告,还是搭建平台自动分类系统,这篇文章都能帮你快速落地一个实用方案。
文章目录
- 数据获取
- HuggingFace Zero-shot
- Sentence Transformers
- 方案对比
- 总结
数据获取
进入 Meta Kaggle 自行下载 Kaggle 元数据,本地应用的分类数据是Competitions.csv。
编写一个脚本将英文列名转换成中文并保存成excel,这里要对csv的字符进行处理否则无法保存。
importpandasaspd df=pd.read_csv("Competitions.csv",encoding="utf8"