如何选择最适合你的AI模型：Qwen2.5-7B-Instruct_rai_1.7.1_npu_4K与其他主流LLM模型全面对比指南
2026/7/13 22:12:16
文章目录
- 完整链路：
- 完整实例走完
- 为什么放HBase
- 极简收尾流程
- 直白实例讲清 ETL 全过程+谁来实现
- 先定业务场景
- 原始MySQL表字段
- 一、三层数仓分工+对应ETL动作
- 1. ODS 原始层（贴源层）
- 2. DWD 明细层（真正做完整ETL）
- 3. DWS 主题汇总层
- 二、完整实操流程串讲
- 三、结合Lambda架构对应
- 四、考试极简总结
- 三层 本质就是**三张Hive数据表**
- 场景举例
- 1. ODS层（原始层表）
- 2. DWD层（明细层表）
- 3. DWS层（主题汇总层表）
- 一句话吃透
完整链路：
MySQL业务数据 → Hive三层数仓(ODS→DWD→DWS) →把DWS主题层汇总结果导入HBase
完整实例走完
- ODS：原样同步原始行为数据，不清洗
- DWD：Hive做ETL清洗，产出干净明细
- DWS：Hive聚合，算出城市日访问量、用户活跃度等主题指标
- 最终落地：把DWS这张汇总统计表，同步写入HBase
为什么放HBase
- DWS已经是最终业务指标数据，不再改动清洗
- HBase适合存海量汇总宽表，查询快、适合离线大盘统计
- Lambda架构里，批处理层最终结果就是存在HBase
极简收尾流程
原始数据进Hive分层加工 → ETL清洗 → 聚合出主题报表 →批量导入HBase对外提供查询
- Hive：加工计算用（数仓计算引擎）