文章目录
- ETH‑Zürich SPCL:世界级可扩展并行计算实验室介绍
- 一、实验室简介
- 二、核心研究方向
- 1. 并行通信与MPI标准(SPCL最负盛名方向)
- 2. 性能工程、性能建模与全程序分析
- 3. 稀疏计算与异构硬件加速
- 4. 中间件、操作系统与HPC运行时
- 5. HPC + AI交叉
- 三、代表性开源成果 & 知名Talk
- 四、SPCL对于国内HPC/CFD开发者的价值
- 五、资源渠道
- 六、小结
ETH‑Zürich SPCL:世界级可扩展并行计算实验室介绍
标签:
#HPC#并行计算#MPI#超算#高性能系统
官网:https://spcl.inf.ethz.ch/
适合读者:并行程序开发者、CFD/CAE科研人员、超算运维、高性能系统方向学生
一、实验室简介
SPCL(Scalable Parallel Computing Laboratory,可扩展并行计算实验室),隶属于苏黎世联邦理工学院 ETH‑Zürich 计算机系,由Torsten Hoefler教授带领,是全球顶尖的高性能并行计算研究小组。
SPCL聚焦大规模并行系统全栈研究:从网络协议、运行时系统、并行编程模型、性能工程,到稀疏计算、AI超算、传统HPC应用优化。研究成果大量融入MPI标准、主流超算软件栈,很多工作直接落地于全球TOP超算集群。
团队规模大,包含博士、博士后、HiWi科研助理,同时接收ETH的学期项目、硕士毕业设计;常年开放博士、博士后岗位;对外发布学术报告、技术Talk,Youtube频道公开大量高质量讲座视频,例如著名的《Fortran is dead – Long live Fortran!》,专门探讨传统科学计算Fortran代码现代化演进路径。
团队特点:理论建模 + 开源工具实现 + 真实超算大规模实测,不只停留在论文仿真,大量成果产出开源工具库,工业界和超算中心广泛采用。
二、核心研究方向
1. 并行通信与MPI标准(SPCL最负盛名方向)
Torsten Hoefler是MPI‑3标准的核心贡献者,主导进程拓扑、非阻塞集合通信工作组;非阻塞Allreduce、Allgather等集合算法现在是分布式训练、传统CFD并行仿真的底层基石。
- 集合通信算法优化、拓扑感知的进程映射
- MPI运行时内部性能调优、通信模型理论分析
- 面向AI大模型的分布式通信原语,3D并行(数据/模型/流水线并行)早期奠基工作之一
对于做CFD、MPI‑Fortran的开发者:现在日常使用的很多MPI集合算法,源头就来自SPCL团队研究。
2. 性能工程、性能建模与全程序分析
如何理解大规模并行程序为什么慢?
- 性能追踪、全程序性能分析工具,代表工作CATS(SC25)内存与控制流追踪框架
- 应用特定解析性能模型,不用完整运行程序即可预测并行程序扩展性,辅助调优大规模CFD/科学仿真
- 循环、指针的静态程序分析,Fortran/C/C++并行代码的性能诊断
3. 稀疏计算与异构硬件加速
面向GPU、Tensor Core做稀疏矩阵计算优化:
- SpMM稀疏矩阵‑矩阵乘法利用Tensor Core(SC24)
- VENOM:面向稀疏张量核的N:M向量压缩格式
- 非结构化网格、有限元类科学计算的异构并行优化,对CFD、有限元仿真非常有参考价值
4. 中间件、操作系统与HPC运行时
- 共享内存、分布式内存混合运行时
- 近数据处理、FPGA网络硬件加速(FPsPIN项目)
- 内存系统、存储系统的可扩展数据访问
5. HPC + AI交叉
传统超算与深度学习融合:分布式训练、稀疏深度学习、大模型并行通信优化,很多思想被PyTorch Distributed、NCCL参考借鉴。
三、代表性开源成果 & 知名Talk
SPCL重视开源输出,很多工具可以直接用于HPC科研工作:
- MPI‑3 非阻塞集合通信标准:集成进Open‑MPI、Intel‑MPI等主流实现,所有MPI用户都在受益
- 性能建模与预测工具:用于评估并行程序强扩展/弱扩展,指导大规模作业核数选择
- CATS:全程序内存与控制流追踪分析工具,定位内存密集程序瓶颈(类似你做CFD内存带宽瓶颈定位场景)
- 公开Talk《Fortran is dead – Long live Fortran!》:2023 Salishan会议,非常适合Fortran‑MPI CFD开发者,探讨老科学代码现代化改造路径
补充:SPCL产出大量SC、HPDC、PPoPP顶会论文,很多可以在官网直接获取。
四、SPCL对于国内HPC/CFD开发者的价值
如果你写Fortran MPI CFD、有限元这类内存密集并行程序,SPCL的成果可以给你很多启发:
- 进程拓扑、rank映射、NUMA绑定理论基础来自SPCL研究,解释为什么scatter/compact排布会显著影响CFD性能;
- MPI集合通信底层算法理解,帮助分析大规模并行仿真中
Allreduce、Allgather通信瓶颈; - 性能工程方法论:如何建模、预测并行程序扩展性,而不是盲目试错跑不同核数;
- Fortran老代码现代化的思路,视频讲座可以直接拿来参考。
提示:SPCL不产出面向终端用户的CFD求解器,产出的是底层并行系统、通信算法、性能分析工具。
五、资源渠道
- 官网:https://spcl.inf.ethz.ch/,论文、项目、招聘信息全部公开
- Youtube频道:SPCL @ ETH Zurich,大量学术报告视频,包括Fortran专题、稀疏计算专题
- SPCL‑friends邮件列表:接收团队讲座、公开会议通知
- Github组织:搜索 ETH‑SPCL,大部分工具源码开源
六、小结
SPCL是并行计算领域的标杆实验室,它的独特之处在于打通理论模型‑开源实现‑真实超算大规模验证。很多我们日常写MPI并行程序时习以为常的底层能力,溯源都能看到SPCL的贡献。
对于做CFD、CAE科学计算的工程师,不一定直接使用它的工具,但学习SPCL提出的性能工程、通信拓扑、可扩展建模思想,对大规模并行程序调优会带来很大帮助。
延伸阅读建议:优先观看《Fortran is dead – Long live Fortran!》讲座,非常贴合Fortran‑MPI科学计算开发者。