企业官网建设流程全解析

NOSA-1B 快速上手教程：10 分钟跑通你的第一次长文本生成

【免费下载链接】NOSA-1B项目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B

NOSA-1B 是 OpenBMB 开源社区推出的长文本生成模型，采用原生可卸载稀疏注意力机制（NOSA），让普通显卡也能流畅输出超长内容。这篇 NOSA-1B 快速上手教程，将带你用 10 分钟跑通第一次长文本生成，无需深厚技术背景，照着做就能出结果。

NOSA-1B 是什么？长文本生成的新选择

NOSA-1B 是 OpenBMB 开源社区发布的 10 亿参数长文本生成模型，主打超长上下文的文本生成。它首次提出"原生可卸载稀疏注意力"（Native and Offloadable Sparse Attention）机制，将 KV 缓存智能卸载到内存，大幅缓解长文本生成时"显存爆掉"的痛点。

与传统注意力模型相比，NOSA-1B 的核心亮点：

• 🚀解码吞吐量最高提升 5.04 倍（对比 FullAttn 基线）
• 🧠仅 1B 参数，消费级显卡即可本地部署
• 📖 配合 LongRoPE 将上下文扩展至32K 以上，长文本生成更从容
• 🌏 中英双语支持，Apache 2.0 开源协议，可商用

模型采用稀疏 Llama 架构（28 层、2048 隐藏维度），训练数据为 InfLLM-V2 长文本数据集，专为"读得长、写得长"而生。

NOSA-1B 快速上手的准备工作

正式动手前，先花 2 分钟确认环境，清单如下：

一条命令安装全部依赖：

pip install torch transformers accelerate

第一步：用最快方法获取 NOSA-1B 模型

克隆仓库即可一次性拿到模型权重 + 分词器 + 推理代码：

git clone https://gitcode.com/OpenBMB/NOSA-1B

仓库内已包含pytorch_model.bin权重文件，稀疏注意力核心实现位于modeling_llama_long_infllmv2.py与cis_pooling.py，模型参数配置见config.json与generation_config.json，无需再单独下载任何文件。

第二步：3 分钟加载模型

在项目目录下新建脚本，用 Transformers 加载模型与分词器：

from transformers import AutoModelForCausalLM, AutoTokenizer model_dir = "./NOSA-1B" # 克隆下来的模型目录 tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_dir, torch_dtype="auto", trust_remote_code=True, device_map="auto", )

提示：模型使用自定义稀疏注意力代码，务必加上trust_remote_code=True，否则无法加载。

第三步：跑通你的第一次长文本生成

输入一段提示词，让 NOSA-1B 生成一篇长文：

prompt = "请以《秋天的傍晚》为题，写一篇 800 字左右的散文。" inputs = tokenizer(prompt, return_tensors="pt").to(model.device) outputs = model.generate( **inputs, max_new_tokens=2000, # 生成长度 do_sample=True, temperature=0.8, # 随机性 top_p=0.8, # 核采样 ) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

等待片刻，一篇完整的散文就生成好了。把max_new_tokens调大（如 4000+），即可一次性输出更长文本，这正是 NOSA-1B 长文本生成的核心场景。

提升长文本生成质量的实用技巧

• 调节采样参数：温度越低越严谨（如 0.5），越高越有创意（如 0.9）；top_p配合温度一起调，效果更稳。
• 善用对话模板：模型内置 MiniCPM 风格 Chat 模板，多轮对话场景可调用apply_chat_template构造输入。
• 长文分段生成：先让模型写大纲，再逐段扩写，内容结构更完整，避免长文跑偏。
• 显存不够时：启用 KV 缓存卸载特性，并搭配device_map="auto"自动分配，普通笔记本也能坚持更长的生成长度。

一张表看懂 NOSA-1B 性能优势

更高的解码吞吐意味着同样的时间里能生成更多文字，长文本生成体验更流畅。

长文本生成常见问题解答

Q1：没有高端显卡能跑吗？能。1B 模型体量小，配合 KV 缓存卸载机制，显存占用显著低于同规格模型，消费级显卡即可运行。

Q2：生成到一半内容开始重复怎么办？适当降低temperature（如 0.7），或引入repetition_penalty，都能有效减少重复。

Q3：想生成中文长文，需要额外配置吗？不需要。模型原生支持中英双语，直接输入中文提示词即可。

Q4：代码报错加载不了模型？请确认 Transformers 版本 ≥ 4.46，并已添加trust_remote_code=True。

结语

从克隆仓库到生成第一篇长文本，全程只需 10 分钟。NOSA-1B 用稀疏注意力把长文本生成的门槛拉到了消费级硬件水平，无论你是想写小说、做摘要，还是处理超长文档，都值得一试。现在就打开终端，跑通属于你的第一次长文本生成吧！

【免费下载链接】NOSA-1B项目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B