一、前言
在 Hugging Face Transformers 库中,模型训练、微调完成后,不能仅依靠普通torch.save()保存权重。为了兼容原生加载、支持跨设备迁移、适配 pipeline 推理、上传模型仓库,官方标准保存方式为save_pretrained()。
该方法会自动结构化保存模型权重、模型配置文件,搭配分词器保存可实现模型完整可复用,是工业级微调、模型落地的标准方案。
二、核心保存方法:save_pretrained()
1. 方法原理
model.save_pretrained(save_dir)是 Transformers 官方封装的标准化保存接口,相比 PyTorch 原生保存,具备以下优势:
- 自动保存模型权重文件(bin/safetensors)
- 自动生成模型配置文件 config.json,记录模型结构、超参、层数、维度等信息
- 兼容跨版本、跨设备加载,不会出现结构不匹配问题
- 支持一键上传 Hugging Face Hub、一键加载推理
2. 完整可运行代码示例
包含模型微调、模型保存、分词器保存(完整模型必须配套保存分词器):
from transformers import AutoModel, AutoTokenizer # 1. 加载预训练模型和