企业官网建设流程全解析

本案例演示了如何使用LlamaIndex的SubQuestionQueryEngine来分析复杂的财务报告数据，通过将复杂查询分解为更简单的子查询来获取更准确的信息。

1. 案例目标

本案例的主要目标是：

1. 展示如何使用LlamaIndex处理和分析10-K财务报告
2. 演示SubQuestionQueryEngine如何将复杂查询分解为多个子查询
3. 比较和分析不同公司（Uber和Lyft）的财务表现
4. 展示如何从多个文档源中提取和整合信息

2. 技术栈与核心依赖

• LlamaIndex- 用于构建索引和查询引擎的核心框架
• OpenAI API- 提供语言模型服务
• VectorStoreIndex- 用于创建文档的向量索引
• SubQuestionQueryEngine- 用于将复杂查询分解为子查询
• QueryEngineTool- 用于创建查询工具

核心依赖安装：

%pip install llama-index-llms-openai !pip install llama-index

3. 环境配置

在使用本案例前，需要进行以下环境配置：

1. 设置OpenAI API密钥：

import os os.environ["OPENAI_API_KEY"] = "YOUR_API_KEY"

1. 配置LlamaIndex使用OpenAI模型：

from llama_index.core import Settings Settings.llm = OpenAI(temperature=0.2, model="gpt-3.5-turbo")

4. 案例实现

4.1 数据准备

案例使用Uber和Lyft的2021年10-K财务报告作为数据源。这些PDF文件通过wget命令下载到本地：

!mkdir -p 'data/10k/' !wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/10k/uber_2021.pdf' -O 'data/10k/uber_2021.pdf' !wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/10k/lyft_2021.pdf' -O 'data/10k/lyft_2021.pdf'

4.2 数据加载与索引构建

使用SimpleDirectoryReader加载PDF文档，然后为每个文档创建VectorStoreIndex：

from llama_index.core import SimpleDirectoryReader, VectorStoreIndex # 加载数据 lyft_docs = SimpleDirectoryReader( input_files=["./data/10k/lyft_2021.pdf"] ).load_data() uber_docs = SimpleDirectoryReader( input_files=["./data/10k/uber_2021.pdf"] ).load_data() # 构建索引 lyft_index = VectorStoreIndex.from_documents(lyft_docs) uber_index = VectorStoreIndex.from_documents(uber_docs)

4.3 查询引擎与工具创建

为每个索引创建查询引擎，然后将这些引擎包装为QueryEngineTool：

from llama_index.core.tools import QueryEngineTool, ToolMetadata from llama_index.core.query_engine import SubQuestionQueryEngine # 创建查询引擎 lyft_engine = lyft_index.as_query_engine(similarity_top_k=3) uber_engine = uber_index.as_query_engine(similarity_top_k=3) # 创建查询工具 query_engine_tools = [ QueryEngineTool( query_engine=lyft_engine, metadata=ToolMetadata( name="lyft_10k", description=( "Provides information about Lyft financials for year 2021" ), ), ), QueryEngineTool( query_engine=uber_engine, metadata=ToolMetadata( name="uber_10k", description=( "Provides information about Uber financials for year 2021" ), ), ), ] # 创建子问题查询引擎 s_engine = SubQuestionQueryEngine.from_defaults( query_engine_tools=query_engine_tools )

4.4 执行查询

使用SubQuestionQueryEngine执行复杂查询，它会自动将复杂查询分解为多个子查询：

# 查询示例1：比较客户细分和地理区域增长 response = s_engine.query( "Compare and contrast the customer segments and geographies that grew the" " fastest" ) # 查询示例2：比较收入增长 response = s_engine.query( "Compare revenue growth of Uber and Lyft from 2020 to 2021" )

5. 案例效果

当执行复杂查询时，SubQuestionQueryEngine会自动将查询分解为多个子查询，例如：

• 对于"比较客户细分和地理区域增长"的查询，系统生成了4个子问题：
  • Uber增长最快的客户细分是什么？
  • Uber增长最快的地理区域是什么？
  • Lyft增长最快的客户细分是什么？
  • Lyft增长最快的地理区域是什么？
• 对于"比较收入增长"的查询，系统生成了2个子问题：
  • Uber从2020年到2021年的收入增长是多少？
  • Lyft从2020年到2021年的收入增长是多少？

系统会针对每个子问题从相应的文档中检索相关信息，然后综合所有子问题的答案，提供一个全面的比较分析。

6. 案例实现思路

本案例的核心实现思路是：

1. 文档向量化：将PDF文档转换为向量表示，以便进行语义检索
2. 查询分解：SubQuestionQueryEngine自动将复杂查询分解为多个更简单的子查询
3. 并行处理：系统可以并行处理多个子查询，提高效率
4. 结果整合：将所有子查询的结果整合成一个全面的答案

这种方法的优点是：

• 可以处理跨越多个文档的复杂查询
• 提高了查询的准确性和相关性
• 提供了更详细和全面的分析结果
• 可以自动识别需要回答的关键子问题

7. 扩展建议

• 多文档源扩展：可以添加更多公司的财务报告，进行更广泛的行业比较分析
• 时间序列分析：添加多年的财务报告，进行时间序列趋势分析
• 自定义查询分解：实现自定义的查询分解逻辑，以适应特定领域的查询需求
• 可视化展示：将分析结果通过图表和可视化方式展示，提高可读性
• 交互式界面：构建Web界面，允许用户输入自定义查询并查看结果
• 数据更新机制：实现自动获取最新财务报告并更新索引的机制

8. 总结

本案例展示了如何使用LlamaIndex的SubQuestionQueryEngine来分析复杂的财务报告数据。通过将复杂查询分解为多个子查询，系统能够从多个文档源中提取和整合信息，提供全面而准确的分析结果。

这种方法特别适用于需要分析多个文档、比较不同实体或回答复杂问题的场景。SubQuestionQueryEngine自动识别需要回答的关键子问题，并行处理这些子查询，并将结果整合成一个全面的答案，大大提高了查询的准确性和效率。

通过本案例，我们了解了如何构建一个基于LlamaIndex的财务分析系统，以及如何利用查询分解技术来处理复杂查询。这为进一步开发更复杂的文档分析和问答系统提供了坚实的基础。