企业官网建设流程全解析

文章主要内容和创新点

主要内容

本文聚焦于身份感知的篮球视频字幕生成任务，提出了一种基于大语言模型（LLM）的球员中心多模态提示生成网络（LLM-IAVC）。该模型旨在从视觉角度准确识别球员身份，解决现有方法中球员身份错误或缺失的问题。

模型核心包含三个模块：

1. 身份相关信息提取模块（IRIEM）：由球员识别网络（PIN）和双向语义交互模块（BSIM）组成。PIN从视频中提取球员视觉特征和姓名；BSIM将球员特征与视频内容关联，实现 mutual enhancement。
2. 视觉上下文学习模块（VCLM）：捕捉视频关键上下文信息，辅助理解整体动态背景。
3. 基于LLM的解码器：将上述模块输出整合为多模态提示，引导LLM生成包含球员身份的字幕。

为支持研究，本文构建了NBA-Identity数据集，包含9,726个视频、321名带 bounding box 的球员及9类主要事件。实验在NBA-Identity和VC-NBA-2022数据集上验证了模型的先进性能。

创新点

1. 提出LLM-IAVC模型：以球员为中心，联合利用球员身份特征和视频上下文信息，通过多模态提示引导LLM生成身份感知字幕，无需额外知识辅助。
2. 构建NBA-Identity数据集：是目前最大的身份感知体育视频字幕数据集，涵盖9类主要事件