企业官网建设流程全解析

本文介绍了华为在MoE模型训练方面的创新技术。针对MoE大规模训练中的效率瓶颈，华为提出Adaptive Pipe & EDPB优化方案，包括AutoDeploy仿真平台、通信掩盖框架（实现98%以上通信掩盖）和全局负载均衡技术。在Pangu Ultra MoE 718B模型测试中，该方案实现了72.6%的训练吞吐提升，有效解决了MoE训练中的计算等待和负载不均衡问题。

三分之一个世纪前，加拿大学者们提出了经典的MoE模型神经网络结构，在人类探索AI的「石器时代」中，为后世留下了变革的火种。

近十年前，美国硅谷的互联网巨擎在理论和工程等方面，突破了MoE模型的原始架构，让这个原本被置于学术高阁的理念，化身成为了随后AI竞争的导火索。

如今，后发优势再一次来到了大洋此岸，以华为为代表的中国科技企业，纷纷提出对MoE架构的优化重组方案。尤其是华为的MoGE架构，不仅克服了MoE负载不均衡及效率瓶颈的弊病，还能够降本增效，便于训练和部署。

AI之战远未终结，但正如在其他领域中「多快好省」的中国产业底色一样，大模型这棵生于西方长于彼岸的科技树，也同样会被东方智慧经手后，进化为更加普适和亲切的工具。

近期，虎嗅将打造《华为技术披露集》系列内容，通过一连串的技术报告，首次全面披露相关的技术细节。

希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的开放协作生态环境，让昇腾生态在中国茁壮成长。

《华为技术披露集》系列

VOL.9 ：训练加速

随着大模型的迅猛发展，混合专家（MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要方向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模型参数的规模化扩展，更在处理复杂任务时展现出显著优势。然而，将MoE模型在分布式集群环境下进行训练时，训练效率不足，已成为亟待解决的难题。

01

MoE大规模训练难题：

一半以上的训练时间在等待？

实践表明，MoE模型训练集群的效率面临两方面挑战：

1. 专家并行引入计算和通信等待，当模型规模较大时，需要切分专家到不同设备形成并行（EP），这就引入额外All-to-All通信，同时MoE层绝大部分EP通信与计算存在时序依赖关系，一般的串行执行模式会导致大量计算单元空闲，等待通信；

2. 负载不均引入计算和计算等待，MOE算法核心是“有能者居之”，在训练过程中会出现部分热专家被频繁调用，而冷专家使用率较低；同时，真实训练数据的长度不一，不同的模型层（如稀疏层、嵌入层等）的计算量也存在明显差异，造成不同卡之间计算也在互相等待。

形象地说，MoE训练系统就像一个交通拥塞严重的城区：

1. 人车混行阻塞，所有车辆（计算）必须等待行人（通信）完全通过斑马线才能通行，造成大量无效等待；

2. 车道分配僵化，固定划分的直行、左转车道就像静态的专家分配，导致热门车道（热专家）大排长龙，而冷门车道（冷专家）闲置。为此，华为团队构建了一套叫做Adaptive Pipe & EDPB的优化方案，就像一个“上帝视角的智慧枢纽”，让MoE训练集群这个“城市交通”实现无等待的流畅运行。

02

DeployMind仿真平台

小时级自动并行寻优

华为构建了名为AutoDeploy的仿真平台，它是一个基于昇腾硬件训练系统的“数字孪生”平台，通过计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术，能在1小时内模拟百万次训练场景，实现MoE模型多样化训练负载的快速分析和自动找到与集群硬件规格匹配的最优策略选择。在训练实践验证中，该建模框架可达到90%精度指标，实现低成本且高效的最优并行选择。

针对Pangu Ultra MoE 718B模型，在单卡内存使用约束下，华为通过AutoDeploy以训练性能为目标找到了TP8/PP16/VPP2/EP32（其中TP只作用于Attention），这一最适合昇腾集群硬件规格的并行方案，综合实现计算、通信、内存的最佳平衡。

03

Adaptive Pipe通信掩盖>98%

让计算不再等待通信

华为构建了一套称为Adaptive Pipe的通信掩盖框架，在AutoDeploy仿真平台自动求解最优并行的基础上，采用层次化All-to-All降低机间通信和自适应细粒度前反向掩盖，实现通信几乎“零暴露”。

**层次化专家并行通信。**针对不同服务器之间通信带宽低，但机内通信带宽高的特点，华为创新地将通信过程拆成了两步走：

第一步，让各个机器上“位置相同”的计算单元联手，快速地从所有机器上收集完整的数据块（Token）；

第二步，每台机器内部先对数据块进行整理，然后利用机器内部的高速通道，快速完成互相交换。这种分层设计的巧妙之处在于，它把每个数据块最多的复制分发操作都限制在单台机器内部的高速网络上完成，而在跨机器传输时，每个数据块只需要发送一份拷贝，相比传统All-to-All通信加速1倍。

**自适应细粒度前反向掩盖。**在DualPipe掩盖框架的基础上，华为基于虚拟流水线并行技术，实现了更精密的调度，Adaptive Pipe（图1）。相比DualPipe，Adaptive Pipe仅利用一份权重，不仅将流水线并行所需的内存占用减半，有效降低了计算“空泡”，释放了流水线的峰值性能潜力；同时，该策略能够额外实现与分层通信的完美协同，无缝覆盖机间与机内两层通信的掩盖。在这种层次化通信和细粒度计算通信切分调度优化下，Adaptive Pipe可实现98%以上的EP通信掩盖，让计算引擎不受通信等待的束缚。

图1 ：自适应细粒度前反向掩盖方案：(a) warmup阶段纯前向；(b) cooldown阶段纯反向；© stable阶段前反向掩盖；第一行为计算算子，第二行为机内EP通信，第三行为机间EP通信；F代表前向算子，B代表反向算子，R代表重计算算子，PP P2P代表stage间的P2P通信。

04

EDPB全局负载均衡：

让计算之间不再互相等待，训练再加速25%

在最优并行和通信掩盖基础上，由于MoE模型训练过程中天然存在的负载不均问题，集群训练效率时高时低。华为团队创新性地提出了EDPB全局负载均衡，实现专家均衡调度（图2），在最优并行和通信掩盖基础上，再取得了25.5%的吞吐提升收益。

图2：集群P2P通信分析对比

专家预测动态迁移（E）。MoE模型训练中，设备间的专家负载不均衡如同“跷跷板”——部分设备满载运行，另一些却处于“半休眠”状态。团队提出了基于多目标优化的专家动态迁移技术，让专家在分布式设备间“智能流动”。该技术主要有三个特点：

预测先行：让专家负载“看得见未来”：预测负载趋势，实现“计算零存储开销，预测毫秒级响应”；

双层优化：计算与通信的黄金分割点：提出节点-设备双层贪心优化架构，在让计算资源“齐步走”的同时，给通信链路“减负”；

智能触发：给专家迁移装上“红绿灯”：设计分层迁移阈值机制，通过预评估迁移收益动态决策，实现专家迁移的智能触发。

图3：基于专家动态迁移的EP间负载均衡整体框架图

数据重排Attention计算均衡（D）。在模型预训练中普遍采用数据拼接固定长度的策略，但跨数据的稀疏Attention计算量差异显著，会引入负载不均衡问题，导致DP间出现“快等慢”的资源浪费。为解决这一问题，华为团队提出了一种精度无损的动态数据重排方案，其核心在于：通过线性模型量化单样本计算耗时，在严格保持训练精度无损下，批次内采用贪心算法构建最小化耗时的数据重排，实现负载均衡。

虚拟流水线层间负载均衡（P）。MoE模型通常采用混合结构，Dense层、MTP层、输出层所在的Stage与纯MoE层所在的Stage负载不均，会造成的Stage间等待。团队提出虚拟流水线层间负载均衡技术，将MTP层与输出层分离，同时将MTP Layer的 Embedding计算前移至首个Stage，有效规避Stage间等待问题，实现负载均衡。

05

整体系统收益

回到最开始提到的城市交通场景，Adaptive Pipe & EDPB这套方案，形象的说就是创新性地引入智慧化交通设施：

首先，建造"行人地下通道"（通信掩盖），彻底分离人车动线，使车辆（计算）无需等待即可持续通行，行人（通信）在底层独立穿行。

其次，部署"智能可变车道"（动态专家迁移），根据实时车流（数据分布）动态调整车道功能，让闲置的左转车道也能分担直行压力，实现负载均衡，整体让城市交通实现无堵车流畅运行。

在Pangu Ultra MoE 718B模型的训练实践中，华为团队在8K序列上测试了Adaptive Pipe & EDPB吞吐收益情况，在最优并行策略的初始性能基础上，实现了系统端到端72.6%的训练吞吐提升。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200%，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​