企业官网建设流程全解析

一、Scaling Laws（缩放法则）

Scaling Laws 描述了模型性能与模型参数量、训练数据量、计算资源之间的关系。

核心思想：

参数越多、数据越多、算力越强，模型性能通常越好。

Chinchilla 定律

DeepMind 提出：

在相同计算预算下，模型参数和训练数据存在最佳配比。

不是参数越大越好，而是模型规模和数据规模需要保持平衡。

例如：700 亿参数的 Chinchilla，由于训练数据更多，性能超过了 1750 亿参数的 GPT-3。

能力涌现（Emergent Abilities）

当模型规模达到一定程度后，会突然拥有一些小模型没有的能力，例如：

• 思维链（CoT）
• 指令遵循
• 多步推理
• 代码生成

因此，复杂 Agent 往往需要较大规模的模型作为基础。

二、模型幻觉（Hallucination）

模型幻觉指：

模型生成了看似合理，但实际上错误或不存在的信息。

常见类型：

• 事实性幻觉：与客观事实不符。
• 忠实性幻觉：未忠实反映原文内容。
• 内在幻觉：输出与用户输入相矛盾。

产生原因：

• 训练数据存在错误或偏差；
• 自回归生成机制只是预测下一个 Token，没有事实校验能力；
• 推理过程出现错误。

三、大模型的其他局限

除了幻觉，还存在：

• 知识时效性：训练之后的新知识无法获取。
• 数据偏见（Bias）：模型可能继承训练数据中的偏见。

四、缓解幻觉的方法

主要有三个方向：

• 数据层面：数据清洗、RLHF 等。
• 模型层面：优化模型结构，提高可靠性。
• 推理层面：
  • RAG（检索增强生成）
  • 多步推理
  • 工具调用（搜索、计算器、数据库等）

其中，RAG 是目前缓解幻觉最常见的方法。

学习总结

本章主要学习了Scaling Laws（缩放法则）和Hallucination（模型幻觉）。缩放法则说明了模型能力随着参数、数据和算力增长而提升，同时 Chinchilla 定律强调了数据规模的重要性。另一方面，大语言模型仍存在幻觉、知识时效性和数据偏见等问题，目前主要通过RAG、工具调用和多步推理等方式提升回答的准确性。