企业官网建设流程全解析

Mini-InternVL2-4B-DA-Medical多轮对话实战：掌握history参数，让医学AI真正记住上下文

【免费下载链接】Mini-InternVL2-4B-DA-Medical项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical

Mini-InternVL2-4B-DA-Medical是 OpenGVLab 推出的医学领域适配版多模态大模型，基于开源 InternVL2-4B 在海量医学影像数据上微调而成。本文是一份面向新手的多轮对话实战指南：只需掌握history参数，就能让医学 AI "记住"之前的对话，连续完成影像描述与追问，获得流畅的问诊式体验。

🏥 快速认识 Mini-InternVL2-4B-DA-Medical

一句话概括：这是一个会"看片子"的口袋级医学多模态模型。

模型介绍、全系列尺寸（1B / 2B / 4B）详见 README.md；视觉与语言子模块分别位于 modeling_intern_vit.py 和 modeling_phi3.py。

为什么"领域适配"很关键？

普通多模态大模型对医学影像只能"泛泛而谈"，而 Mini-InternVL2-4B-DA-Medical 经过医学数据微调，在胸片、眼底、病理等影像的描述与问答上明显更专业——相当于通用实习生完成了专科培训。

🚀 三步加载模型：3分钟上手

环境要求transformers>=4.37.2，用AutoModel直接加载权重即可，无需训练：

from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained( 'OpenGVLab/Mini-InternVL2-4B-DA-Medical', torch_dtype=torch.bfloat16, trust_remote_code=True ).eval().cuda() tokenizer = AutoTokenizer.from_pretrained( 'OpenGVLab/Mini-InternVL2-4B-DA-Medical', trust_remote_code=True, use_fast=False)

两个必配项：

• trust_remote_code=True：模型依赖自定义建模代码 modeling_internvl_chat.py；
• use_fast=False：构建 tokenizer 时必须指定。

🔑 理解 history 参数：多轮对话的核心机制

单轮对话时模型是"金鱼记忆"——回答完就忘。多轮对话的关键就是model.chat()的history 参数，它的结构非常直观：一个 (问题, 答案) 元组组成的列表。

response, history = model.chat(tokenizer, pixel_values, question, generation_config, history=history, return_history=True)

源码逻辑很简洁（modeling_internvl_chat.py）：

1. 把history中每一轮对话按顺序重放进对话模板；
2. 在末尾追加本轮question，让模型生成答案；
3. 将(question, response)追加到history末尾；
4. 若return_history=True，同时返回答案和更新后的记忆。

💡 三个参数构成闭环：history（过去的记忆）→question（本轮提问）→return_history=True（带出新记忆，供下一轮使用）。

🩺 实战示例：医学影像问诊式对话

以一张 X 光片为例，进行"看图 + 追问"的三轮对话：

generation_config = dict(max_new_tokens=1024, do_sample=True) # 第 1 轮：描述图像（首轮 history=None） q1 = '<image>\nPlease describe the image in detail.' response, history = model.chat(tokenizer, pixel_values, q1, generation_config, history=None, return_history=True) # 第 2 轮：临床追问，直接传 history q2 = 'What do these findings suggest clinically?' response, history = model.chat(tokenizer, pixel_values, q2, generation_config, history=history, return_history=True) # 第 3 轮：继续对话 q3 = 'Please explain it in more accessible language.' response, history = model.chat(tokenizer, pixel_values, q3, generation_config, history=history, return_history=True)

精髓就在这里：图片只传一次。首轮问题里的图像 token 会随 history 一起被重放，后续轮次只传文字，模型依然知道你在问哪张图。

❓ 多轮对话常见问题速查

Q1：批处理为什么不能用 history？batch_chat()暂不支持多轮对话，传入history会直接抛出异常，见 modeling_internvl_chat.py。批量场景请用单轮batch_chat，多轮场景请用chat循环。

Q2：每轮都要写<image>占位符吗？不用。仅首轮（history=None）时chat()会自动在问题开头补上<image>\n（见 modeling_internvl_chat.py）；从第二轮起 history 里已包含图像信息，无需重复。

Q3：对话越长会不会越慢？会。每轮都要重读完整对话历史，输入 token 随轮数增长。换话题时重新开一个空history即可。

Q4：如何让回答更稳定？通过generation_config控制随机性，医学场景建议降低do_sample或采用贪心解码，输出更专业、更可控。

⚠️ 注意事项与技巧

• 环境：transformers>=4.37.2，否则加载模型可能报错；
• 显存：bfloat16 精度下权重约 8 GB，叠加上下文开销，建议 12 GB 以上显存的单卡部署；参数详情见 config.json；
• 多图多轮：把两张图torch.cat拼接并传入num_patches_list，即可连续追问"两张图的异同"；
• 对话模板：模型采用phi3-chat模板，角色格式与系统消息由 conversation.py 自动处理，无需手写。

📌 总结：一张表记住 history 用法

Mini-InternVL2-4B-DA-Medical 用 4B 的轻量参数做到了医学级的图像理解能力，而 history 参数正是把"一问一答"升级为"连续问诊"的关键。记住这一行代码即可：

response, history = model.chat(tokenizer, pixel_values, question, generation_config, history=history, return_history=True)

【免费下载链接】Mini-InternVL2-4B-DA-Medical项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/Mini-InternVL2-4B-DA-Medical