企业官网建设流程全解析

文章主要内容总结

本文聚焦于系统日志异常检测的挑战，提出了一种基于小型大型语言模型（Tiny LLMs）的参数高效微调（PEFT）框架——LogTinyLLM，旨在通过低秩适应（LoRA）和适配器（Adapter）方法解决传统日志异常检测方法（如规则基于方法、深度学习方法）在处理大规模、复杂日志序列时的局限性（如计算成本高、难以捕捉上下文和时序信息）。

研究过程包括：

1. 日志解析：使用Drain算法将原始日志转换为结构化“日志键”，并通过滑动窗口技术构建日志序列；
2. 模型选择：采用四种小型LLM（OPT-1.3B、Phi-1.5、TinyLlama-1.1B、DeepSeek-R1-Distill-Qwen-1.5B），降低计算资源需求；
3. 微调方法：对比LoRA（在注意力机制的查询、键、值投影层注入低秩矩阵）和适配器（在模型最终隐藏层添加可训练线性层）两种PEFT策略；
4. 实验验证：在Thunderbird超算日志数据集（含2.1亿条日志）上的实验显示，LoRA微调的准确率达97.76%-98.83%，F1分数97.98%-98.57%，显著优于LogBert的全微调（准确率79.37%）；其中，DeepSeek-R1-Distill-Qwen-1.5B在单模块（键投影层）LoRA配置下表现最佳。

创新点

1. 参数高效微调的应用：首次将LoRA和适配器方法应用于小型