企业官网建设流程全解析

文章主要内容总结

本文针对文本-数值时间序列预测任务，提出了一种名为DP-GPT4MTS的双提示大型语言模型框架。

1. 研究背景：时间序列预测在各行业决策中至关重要，但传统模型多聚焦于数值数据，忽视了新闻、事件等文本信息对预测精度的提升作用。现有基于大型语言模型（LLMs）的方法虽尝试整合多模态数据，但单提示框架难以有效捕捉带时间戳文本的语义，易引入冗余信息，限制模型性能。

2. 模型设计：DP-GPT4MTS创新性地采用双提示机制：

   • 显式提示（Explicit Prompt）：作为固定前缀，提供清晰的任务指令、输入统计信息和自然语言解释，帮助模型理解任务目标。
   • 文本提示（Textual Prompt）：通过BERT提取带时间戳文本的语义向量，经自注意力机制和前馈网络优化，生成上下文感知嵌入，捕捉文本时序关系。
     两种提示与时间序列嵌入结合后输入冻结的预训练模型（基于GPT-2），最终通过输出投影得到预测结果。

3. 实验验证：在GDELT（全球事件数据）和Time-MMD（多领域多模态数据）数据集上，与Transformer、TimeLLM、GPT4MTS等主流方法对比，DP-GPT4MTS在MSE（均方误差）和MAE（平均绝对误差）指标上均显著优于基线模型。消融实验验证了双提示机制和自注意力组件的有效性。

4. 结论与展