Prompt Engineering 的发展历程
1️⃣ 原始时代:直接问(2020-2021,GPT-3 时代)
最朴素的 prompt engineering 就是直接提问:
问: "What is the capital of France?"
答: "Paris"
这叫 Zero-shot prompting。
如果需要更好的效果,就加几个例子:
问: "英国首都是哪?" 答: "伦敦"
问: "日本首都是哪?" 答: "东京"
问: "法国首都是哪?" 答:
这叫 Few-shot prompting。
GPT-3 (2020) 论文的核心发现就是:大模型仅通过上下文示例就能学会做任务,不需要微调。这是 Prompt Engineering 的起源。
2️⃣ 思维链时代:把推理过程写出来(2022.1,Wei et al.)
CoT (Chain-of-Thought) 论文发现,如果你在 few-shot 示例里不仅给出答案,还把推理步骤也写出来,模型会效仿并显著提高复杂推理任务的准确率:
问: "Roger有5个网球,他又买了2盒每盒3个的网球。他现在有多少个网球?"
答: "Roger开始有5个球。2盒每盒3个 = 6个球。5 + 6 = 11。答案是11。"
问: "食堂有23个苹果,用了20个做午餐,又买了6个。现在有多少苹果?"
答:
模型就会跟着输出推理链:
"原来有23个苹果。用了20个,剩3个。又买6个,3+6=9。答案是9。"
核心技巧:你在