企业官网建设流程全解析

一、前置认知：先纠正一个普遍误区

两者都能读写Hive数仓数据、都依赖Hive Metastore元数据、都基于Spark计算，核心区别不在于「能不能用Hive表」，而在于：

谁主导 SQL 解析、生成执行计划、调度任务

• Hive on Spark：Hive 主导，Spark 只做底层执行引擎（替代原生 MapReduce）

• Spark on Hive：Spark 主导，Hive 只做元数据服务，全程 Spark 解析优化执行

二、Hive on Spark：Hive 为主，Spark 为执行引擎

1. 核心定义

Hive on Spark 是 Hive 的一种执行引擎替换方案。

Hive 原生默认使用 MapReduce 作为计算引擎，而 Hive on Spark 就是通过配置，将 Hive 的底层执行引擎从 MR 替换为 Spark，上层完全保留 Hive 所有能力。

2. 完整执行链路

用户提交 HQL -> HiveServer2 接收请求 ->Hive 语法解析、语义校验、逻辑计划生成、Hive 优化器优化-> 生成 Spark 任务 -> Spark 集群执行 -> 返回结果

简单总结：全程 Hive 管流程，Spark 只干活。

3. 核心特点

• 入口：Hive CLI / HiveServer2 / Beeline，纯 HQL 提交

• 解析优化：依赖 Hive 原生解析器、Hive 优化器

• 元数据：完全依赖 Hive Metastore

• 执行：最终转换为 Spark RDD/Task 执行，抛弃 MapReduce

• 兼容性：100% 兼容传统 Hive 语法、UDF、参数配置，无需改代码

4. 优势与劣势

✅ 优势

• 无缝兼容老 Hive 数仓，历史 HQL 零改造迁移

• 相比 Hive on MR，大幅提升执行速度，减少磁盘 IO、启停开销

• 保留 Hive 完善的权限、事务、分区、桶表、统计信息能力

❌ 劣势

• 无法使用 Spark Catalyst 高级优化，执行计划优化能力弱于原生 SparkSQL

• 配置复杂，集群部署兼容性要求高，部分版本需要适配 Jar 包

• 不支持 Spark 丰富的 DSL、流式计算、复杂算子优化

三、Spark on Hive：Spark 为主，Hive 仅做元数据

1. 核心定义

Spark on Hive（也常叫 Spark SQL on Hive）是Spark 原生集成 Hive 元数据的运行模式。

此时 Hive 不再参与 SQL 解析和任务调度，仅仅作为一个元数据存储服务，为 Spark 提供库、表、分区、字段、存储路径等信息，全程由 Spark 全权掌控计算流程。

2. 完整执行链路

用户提交 SparkSQL/HQL -> Spark 接收请求 ->Spark Catalyst 解析、校验、逻辑优化、物理优化-> 访问 Hive Metastore 获取表元数据 -> Spark 集群执行任务 -> 返回结果

简单总结：Spark 全权掌控，Hive 只存元数据。

3. 核心特点

• 入口：Spark SQL、Spark CLI、Spark Thrift Server、代码 API

• 解析优化：完全依赖 Spark Catalyst 优化器，优化能力更强、更智能

• 元数据：复用 Hive Metastore，直接读写 Hive 存量表数据

• 执行：纯 Spark 原生执行链路，无 Hive 中间转发开销

• 扩展性：支持 Spark 全部特性：UDF、DSL、流式、缓存、动态优化

4. 优势与劣势

✅ 优势

• 性能最优：享受 Spark 完整的 Catalyst 优化、Stage 调度、内存计算优势

• 架构轻量，部署简单，无需改造 Hive 服务

• 支持混合开发：既能写 SQL，又能写 Spark 代码，灵活度极高

• 社区主流方案，生产稳定性、迭代性更好

❌ 劣势

• 部分老旧 Hive 专属语法、特殊 UDF、事务语法不兼容

• 丢失部分 Hive 精细化权限、事务、高级数仓特性

• 老 HQL 可能需要少量适配改造才能正常运行

四、核心区别一张表吃透

五、生产场景精准选型

1. 优先选 Hive on Spark 的场景

• 原有 Hive 数仓体量庞大，大量历史 HQL、自定义 UDF 无法改造

• 业务强依赖 Hive 的事务、行级权限、分区事务、桶表、数据校验等专属能力

• 团队以 Hive SQL 开发为主，无 Spark 开发经验，不想改动业务代码

• 需要平稳迁移 Hive on MR 任务，低成本提速

2. 优先选 Spark on Hive 的场景

• 实时、交互式查询、离线大批量计算，追求极致执行性能

• 需要混合开发 Spark SQL、Scala/Python 代码，做复杂数据处理、多维分析

• 新建数仓项目，无历史 Hive 老旧任务负担

• 需要使用 Spark 缓存、动态分区优化、自适应执行、流式计算等高级特性

• 企业统一以 Spark 为核心计算引擎，统一技术栈

六、极简生产配置示例

1. Hive on Spark 核心配置（hive-site.xml）

只需修改执行引擎，将默认 MR 替换为 Spark：

<property> <name>hive.execution.engine</name> <value>spark</value> </property> <property> <name>spark.master</name> <value>yarn</value> </property>

配置后，所有 Hive 任务自动通过 Spark 执行，无需改动 SQL。

2. Spark on Hive 核心配置（spark-defaults.conf）

让 Spark 关联 Hive 元数据，直接读写 Hive 表：

spark.sql.catalogImplementation=hive spark.hive.metastore.uris=thrift://hive-metastore-host:9083

配置完成后，SparkSQL 可直接 show databases、查询 Hive 所有存量表，完全复用数仓元数据。

七、常见生产问题答疑

Q1：为什么 Spark on Hive 性能比 Hive on Spark 好？

核心原因是优化器差异。Spark Catalyst 支持基于代价的 CBO 优化、谓词下推、列裁剪、Join 重排、自适应执行等高级能力，而 Hive 优化器规则老旧、优化粒度粗糙，且多一层 Hive 转发开销，性能天然落后。

Q2：新项目到底该用哪种架构？

95% 新建数仓直接选 Spark on Hive。技术栈更先进、性能更好、扩展性更强、社区迭代更快，是当前大数据数仓的工业标准方案。Hive on Spark 仅做老旧项目兼容过渡使用。

Q3：两者可以同时存在于一个集群吗？

可以。同一集群中，Hive 任务走 Hive on Spark 引擎，Spark 任务走 Spark on Hive 模式，共用一套 Hive Metastore 和 YARN 资源，互不冲突，也是很多中大型企业的集群常态。

八、总结

用一句话终极概括两者区别，方便永久记忆：

• Hive on Spark：Hive 管逻辑，Spark 跑任务，兼容旧数仓，是 Hive 的引擎升级方案

• Spark on Hive：Spark 管全程，Hive 存元数据，性能更强，是现代数仓主流方案