186、NPU的编译器开发：形式化验证方法
2026/7/31 12:40:44
2026年广东省职业院校技能大赛大数据应用开发赛项样题第05套完整参考答案
文章目录
- 2026年广东省职业院校技能大赛大数据应用开发赛项样题第05套完整参考答案
- 任务 A：大数据平台搭建
- A.1 Hadoop 完全分布式集群
- A.2 Flume 1.9.0
- A.3 ClickHouse 单节点
- 任务 B：数据可视化
- 任务 C：综合分析
- C.1 Flume 是否会丢数据
- C.2 Flink 高延迟排查
- C.3 购买力较强的前三地区
- 任务 D：离线数据处理
- D.1 MySQL 增量抽取到 Hive ODS
- D.2 ODS 合并到 DWD
- D.3 Azkaban 调度文件
- D.4 第 05 套指标 SQL
- 任务 E：数据挖掘
- E.1 用户—商品映射与 One-Hot
- E.2 SVD 推荐
- 任务 F：数据采集与实时计算
- F.1 Flume 同时写 Kafka 与 HDFS
- F.2 Flink 公共解析与时间语义
- F.3 第 05 套实时指标
- 完整答案及sql、scala等代码文件下载链接：
任务 A：大数据平台搭建
A.1 Hadoop 完全分布式集群
宿主机执行：
dockerexec-itmaster /bin/bash /usr/bin/dockercp/opt/jdk-8u212-linux-x64.tar.gz master:/opt/software/ /usr/bin/dockercp/opt/hadoop-3.1.3.tar.gz master:/opt/software/三台容器分别设置主机名；以下 IP 必须替换成容器实际 IP：
/usr/bin/hostnamectl set-hostname master /usr/bin/hostnamectl set-hostname slave1 /usr/bin/hostnamectl set-hostname slave2 /usr/bin/tee /etc/hosts