简介:《FusionCube超融合平台技术白皮书》是华为面向企业数据中心推出的虚拟化超融合基础设施官方技术文档,适合IT基础架构工程师、运维人员及解决方案架构师阅读,用于理解FusionCube 3.2 HCI的产品定位与核心能力。包体为单个DOCX文件,大小6.35MB。文档系统讲解产品价值、产品架构、分布式存储、高性能、线性扩展、系统安全与系统可靠性等核心主题,并对比FusionSphere与VMware两种场景下的架构组成、典型配置、组网方式及工作原理,便于读者根据自身环境选择合适的部署路径。在分布式存储部分,还深入说明了数据路由、IO路径、Cache机制等关键业务流程,帮助运维人员理解数据读写与缓存策略。此外,文档对身份认证、加密、访问控制等安全机制,以及高可用、故障恢复、数据保护等可靠性设计均有详细阐述,可支撑超融合平台评估、规划与实施。当前已有392人学习,适合在数据中心基础设施改造或私有云建设中作为重要参考资料。
1. FusionCube超融合平台技术白皮书:先别看架构图,先把业务场景对齐
拿到一份FusionCube超融合平台技术白皮书,别急着翻到中间看那张花花绿绿的架构图。先回答一个问题:你要用这套平台扛什么业务?是跑几十台虚拟机的桌面云,还是承载核心数据库的严苛IO。我拆过的超融合项目里,一半以上翻车都不是硬件不行,而是上来就把白皮书当说明书,跳过选型和规划直接部署。FusionCube的本质是把计算、存储、网络收进标准X86服务器,用分布式存储软件替代传统磁盘阵列,再配上统一运维入口,让一个两三人团队也能管起几十台服务器。适合虚拟化迁移、桌面云、混合负载和数据库承载场景。如果你正在纠结要不要上超融合,或者已经拿到设备但不确定从哪里入手,这篇实战笔记按白皮书的阅读顺序,把场景、架构、部署和排错串一遍。
2. 超融合的底牌:FusionCube的计算、存储与网络是如何收敛的
2.1 存储是主角:分布式存储到底改了什么
超融合和传统虚拟化最本质的差别在存储路径。传统方案里,计算节点通过光纤交换机连接磁盘阵列,性能瓶颈卡在阵列控制器和链路带宽上;FusionCube把数据打散到所有服务器的本地硬盘里,用分布式存储软件把多块本地盘组织成一个统一存储池。虚拟机的虚拟磁盘文件不再落在一台阵列上,而是以多个数据分片的形式分布到集群内不同节点。读取请求可以并行从多台服务器取数据,吞吐量跟着节点数线性涨,这是分布式存储最直接的收益。
但分布式存储不是免费的午餐。数据多副本意味着同样容量的有效数据要占用数倍物理空间,写一份数据要同时确认多个副本落盘,网络时延会直接影响写入延迟。FusionCube通常采用两副本或三副本策略,配合故障域的划分,避免一台物理机宕机导致所有副本同时丢失。读白皮书时重点看它对副本、故障域和硬盘分组三个概念的描述,这三个参数决定了你的容量利用率和数据安全边界。
2.2 三类节点与两个网络:看懂架构图里的角色划分
FusionCube集群里节点角色可以归成三类:计算节点、存储节点、融合节点。计算节点只跑业务虚拟机,不带本地存储角色;存储节点只提供硬盘资源,不承载业务虚拟机;融合节点则是计算和存储跑在同一台服务器上,这是中小规模项目最常见的形态。白皮书里的架构图通常用不同颜色区分这三类角色,但实际部署中,FusionCube允许你通过角色配置让同一种硬件承担不同职责。
另一个必须看懂的东西是网络平面。FusionCube把网络拆成管理平面、业务平面和存储平面,三个平面建议用VLAN隔离。管理平面走带外管理口,负责连接管理组件和IPMI;业务平面跑虚拟机业务流量;存储平面传输分布式存储的数据同步与副本复制,这个平面的带宽和时延直接决定存储性能。很多实施翻车案例里,工程师为了省交换机端口把存储平面和业务平面合在一起,结果业务高峰时存储延迟直接飙到几十毫秒。
2.3 为什么选择全部分布式:与传统虚拟化对比
网上搜超融合平台时经常看到“深信服超融合平台”的另一套方案,也和FusionCube一样宣称计算存储融合。但两者底层实现路径不同,排错思路也不能照搬。FusionCube的存储内核源于华为自研的分布式存储组件,与管理面深度集成,很多底层操作被封装成统一命令;深信服则更多是基于开源虚拟化改造而来。选型阶段不必纠结谁更先进,而要看现有团队更熟悉哪套生态。
从传统架构迁到FusionCube后的变化主要在运维习惯上:传统阵列有存储管理员、虚拟化管理员、网络管理员三个角色各管一段,超融合把这些职责压缩到两三个人身上。好处是运维效率提升,坏处是对个人的全栈能力要求变高。我见过不少团队上超融合之后,存储报错没人看得懂,还是按旧思路去查底层交换机,绕了一大圈才发现问题出在存储池的硬盘状态上。白皮书里关于自动运维和一键巡检的章节值得细读,那是超融合解决这类问题的关键手段。
2.4 看懂白皮书里的关键指标:IOPS、时延与容量水位
白皮书通常会给一串性能数字,但那些数字都是在特定压力模型、特定副本数下测出来的,直接拿去对照自己的业务预期会踩坑。我一般按这样解读:先看它是几分之几的副本配置,再看测试模型是随机读写还是顺序读写,最后看ssd缓存策略是否开启。FusionCube支持把SSD作为缓存层,热数据自动上移,冷数据下沉到HDD,这个机制对混合负载非常友好,但如果你的业务全是持续随机写入,缓存命中率会很低,性能数字要打折扣。
容量水位是另一个容易被忽略的点。部署时如果存储池利用率长期超过70%,重构建时会因为空间不足而失败,数据副本数可能降级运行。白皮书里一般会给出配置容量和可用容量的换算比例,但实际规划时我会在后面加上热备空间和快照预留。比如物理可用容量是20TB,业务规划容量最好只按15TB算,留出25%左右的水位余量,这个余量不是浪费,而是给故障重构和日常运维留的缓冲。
3. 白皮书没写透的部署规划:从业务负载反推配置与容量
3.1 节点选型:融合节点还是分离节点
很多读者第一次接触FusionCube,以为超融合就是随便拿几台服务器装个软件,配置越豪华越好。实际上超融合的节点选型必须从业务负载反推。先问自己三个问题:业务总量大概占多少计算资源?存储容量的需求多大?性能敏感型业务占多少比例?如果是中小规模的虚拟化或桌面云,融合节点是最经济的方案,计算和存储共用一台物理机,硬件成本最低,管理也简单。但要注意融合节点存在一个先天限制:存储平面的性能和计算业务共用同一台服务器的CPU和内存资源,高峰时互相抢占。
分离节点适合规模较大、计算和存储需求都比较极端的场景。存储节点可以配满硬盘和大内存,不做计算调度;计算节点则不需要太多硬盘,把机箱空间让给CPU和内存。分离方案的好处是资源隔离清晰,出问题时定位也方便。缺点是成本更高,需要多买一批只跑存储的机器。我经手的项目里,超过12个节点的集群基本都会建议分离部署,规模越大越值得;6个节点以内的小集群融合节点是常态。
下表是选型时我常用的参考维度,按不同业务负载给出配置倾向:
| 业务类型 | 节点形态 | CPU配置倾向 | 内存配置倾向 | 硬盘配置倾向 |
|---|---|---|---|---|
| 办公虚拟化/VDI | 融合节点 | 中高主频,核数充足 | 按桌面并发数配大内存 | SSD缓存+大容量HDD |
| 核心数据库 | 分离节点 | 高主频,开启智能缓存 | 大内存,关闭内存超分 | 全SSD或NVMe |
| 开发测试云 | 融合节点 | 中等规格即可 | 允许一定程度的超分 | SSD缓存+HDD |
| 容器底座 | 融合节点 | 多核,高主频 | 中高配,按容器密度扩 | SSD为主,HDD做冷存储 |
3.2 容量计算公式:副本、热备与超分比例
容量规划是反复翻车的高发区。FusionCube默认的副本策略是两副本或三副本,两副本下可用容量等于物理容量的一半,三副本则只有三分之一。有些工程师只看了物理裸容量就向业务承诺可用空间,部署完成后发现缩水了一半,这就是典型的白皮书阅读漏项。容量计算公式拆开是三段:
物理裸容量乘以副本冗余系数得到实际可用容量;再扣除热备空间和系统预留,才是最终可分配给业务的容量。热备空间用于故障后临时存储重建数据,一般按一个节点的存储容量预留,硬盘越大,热备占比越高。系统预留则包括存储池的元数据、快照空间和磨损均衡预留。实际规划时我会按“可用容量=裸容量/副本数×0.8”来估算,剩下的0.2作为热备和元数据开销,如果业务还要开快照,再额外预留10%到15%。
计算资源的超分比例同样要提前定好。FusionCube的CPU超分默认是1:1,不支持像内存那样大幅超分;内存超分在某些版本里支持,但一旦超分,虚拟机出现内存压力时性能会明显劣化。桌面云场景通常会把内存超分到1.5倍左右,但核心数据库场景必须关闭超分,保证每个虚拟机拿到独占内存。这个决策会直接写进集群配置,部署完再改就要迁移虚拟机,代价非常大。
3.3 网络规划:三个平面如何划分VLAN与IP地址段
网络规划在白皮书里占的篇幅不多,但却是最容易埋雷的环节。FusionCube要求管理、业务、存储三个网络平面分工明确。管理平面用于管理组件之间的通信和带外管理,网段建议单独划分,不要和业务网段混在一起;业务平面承载虚拟机的南北向流量,按业务VLAN划分;存储平面承载分布式存储的节点间通信,必须使用独立VLAN,并且建议在交换机侧把存储平面的广播域收敛、开启巨帧。
IP地址规划时,每个存储平面接口都要分配一个独立的IP地址,IP段不要复用。FusionCube部署向导会要求你填写这些地址段,填错会导致节点间存储链路建立失败。部署完成后想改IP就会非常痛苦,需要停业务、重建存储链路,所以初始化之前一定要把IP规划表做细,最好打印出来逐项核对。下图是规划表的样例结构,实际使用可以在表格里再加一列“对应交换机端口”:
| 节点角色 | 接口名称 | 管理IP | 业务IP | 存储IP | VLAN ID |
|---|---|---|---|---|---|
| 计算节点1 | eth0/eth1 | 192.168.10.11 | 192.168.20.11 | 192.168.30.11 | 10/20/30 |
| 融合节点1 | eth0/eth1 | 192.168.10.12 | 192.168.20.12 | 192.168.30.12 | 10/20/30 |
3.4 部署前硬件检查:固件基线、磁盘模式与RAID配置
硬件层面有几个容易忽略但影响全局的细节:硬盘模式必须设置为JBOD或直通模式,FusionCube的分布式存储软件需要直接管理每块物理硬盘,如果服务器还在RAID卡上做了硬RAID,存储软件将无法识别硬盘。这个问题在首次部署时最常出现。另一个是固件基线,华为针对FusionCube有专门的兼容性列表,网卡、硬盘、RAID卡的固件版本必须达到基线要求,否则部署向导会报错或集群运行不稳定。
部署前把服务器的BIOS时间、电源策略确认一遍,有些服务器默认的电源管理策略会限制CPU最高频率,导致部署完成后的性能测试不达标。还有服务器的管理网口IP要先配置好,因为FusionCube部署向导会通过管理网络去发现设备,设备没设IP就扫描不到,整个部署流程会卡在第一步。这些检查项在白皮书附录里通常是表格形式,但绝大多数人都没有认真核对,等部署报错才回头排查,浪费几个小时。
4. 把白皮书变成可用集群:初始化部署与首台虚拟机发放
4.1 部署前置条件检查:三张表对完再动手
FusionCube的部署流程高度向导化,FusionCube Builder会一步步带着你操作,但这不代表可以跳过前置检查。我的习惯是先做完三类检查:第一是设备发现,所有节点的管理IP可以ping通,FusionCube Builder能够扫描到所有服务器;第二是License是否就绪,FusionCube的License与设备形态绑定,部分功能模块如容灾、备份需要额外License,若缺失则对应功能无法启用;第三是软件包完整性,安装介质里包含的组件包数量是否与硬件形态匹配,缺一个包部署就会中断。
检查完再核对一遍网络规划表,确认所有VLAN已经提前在交换机上创建好。部署向导虽然可以配置VLAN,但前提是对应交换机端口已经放行了这些VLAN,否则会出现节点间存储网络不通,部署进度停在“检查存储网络连通性”这一步。
4.2 FusionCube Builder初始化:关键参数说明与操作步骤
初始化过程实质上是把底层分布式存储软件、虚拟化平台和管理组件依次装到所有节点上。整个向导需要填写的参数集中在三个页面:节点角色配置页面、网络配置页面、存储池配置页面。节点角色配置页面里,每台服务器后面都有一个下拉框可选“计算”“存储”“融合”,一定要按照第3章的规划去选择。如果规划时把某台机器定为纯存储节点,这里就不能勾选计算角色,否则业务虚拟机调度时会把它当计算节点用,资源抢占导致性能波动。
网络配置页面要填管理、业务、存储三个平面的起始IP、掩码和网关,并且要把每台节点的第一个管理口设置为部署口。这里有个容易疏忽的细节:管理网关地址必须填写正确,否则部署完成后管理面对外无法访问;业务网关如果填错,虚拟机之间通信会异常,但底层存储却能正常建链,排错时容易被误导。存储池配置页面则要选择硬盘分组和存储池名称,默认会按角色自动归类,建议把所有存储节点的数据盘放到同一个存储池,保持容量水位整齐。
整个部署流程约耗时1到3小时,取决于节点数量和网络带宽,中间会有大量自动执行过程。部署完成后,FusionCube会输出一个二维码,手机扫码可以关注部署进度的推送,不过这个功能在部分环境里用得少。部署完成后建议立刻登录管理面,核对待部署时填写的IP是否与规划表一致,不一致的及时记录,不要拖到业务上线才去改。
4.3 创建存储策略与首台虚拟机:超分、副本与QoS设定
FusionCube的管理面在虚拟化平台的基础上增加了存储策略控制。进入管理面后,先创建数据中心和集群,再把主机添加进集群。随后最重要的一步是配置存储策略,策略里包含副本数、硬盘类型、条带宽度和QoS上限。生产环境的虚拟机建议使用两副本策略,副本数越高,容量损耗越大,存储性能也有一定下降;条带宽度默认按存储池节点数自动计算,通常不需要改动,条带越宽,性能越好,但故障影响面也越大。
QoS设置容易被忽视。每个存储策略都可以设定IOPS上限和带宽上限,默认不限制。但一个不受限的虚拟机如果疯狂读写,会拖垮整个存储池的延迟,影响所有邻居虚拟机,所以建议对测试虚拟机设置IOPS上限,比如2000 IOPS;生产虚拟机则按业务实际需求预留,不要设得过低导致性能瓶颈。虚拟机发放流程与主流虚拟化平台一致,选择模板或ISO创建虚拟机,再把虚拟磁盘创建到刚建的存储策略上。
发放完成后要做一次连通性验证,确认虚拟机IP能通、DNS能解析、共享存储能读写。这一步能从流程上防止后面业务接入时才发现网络没通。注意观察虚拟机创建后的磁盘名称和存储池对应关系,避免虚拟磁盘落到了错误的存储池中,这在使用多个存储池的环境里尤其重要。
5. 运维排错避坑:FusionCube日常维护的5个高频问题
5.1 现象:硬盘亮红灯但存储集群里看不到故障盘
有次巡检发现一台节点上的某块硬盘指示灯变红,但管理面存储池状态显示“正常”,告警列表里也没有硬盘故障的消息。后来登录底层存储CLI检查,发现该硬盘的SMART信息已经异常,但分布式存储软件没有触发自动重构,因为这块盘还没有完全掉线,只是频繁出现读写超时,被系统判定为性能抖动而不是永久故障。
原因在于FusionCube对硬盘故障的判断有一个持续观测窗口,短时超时不会立刻触发隔离,这是为了避免误判导致频繁数据重构。解决方法是先强制隔离这块硬盘,让它触发数据重建,再安排硬件更换。操作命令如下:
# 登录FusionCube存储CLI,查看所有硬盘的健康状态和归属关系 fscman --query-disk all # 找到目标硬盘的ID后,强制隔离故障盘,触发数据重构 fscman --disk-set-status --disk <disk_id> --offline # 确认隔离后,查看存储池的数据重建进度 fscman --query-pool --pool <pool_id>参数说明:disk_id是硬盘的唯一标识,在query-disk输出里可以查到;offline表示把硬盘置为离线状态,这是给故障盘触发自动重构的标准做法;pool_id对应故障盘所在的存储池,重建进度百分比在输出里能直接看到。注意不要直接拔盘,在线拔盘会导致系统误认为节点异常,可能触发更大范围的数据搬迁。
5.2 现象:扩容节点后性能不升反降
扩容是超融合最常见的操作,但扩容后性能下降的案例也不少。有位用户的集群从6节点扩到8节点,存储池容量上去了,虚拟机IO延迟反而从5毫秒升到15毫秒。检查后发现新增节点的存储网络接口速率是千兆,而原有节点是万兆,新节点加入后,数据分布策略把部分分片放到了慢速节点上,导致读性能被拉低;同时新增节点没有配置SSD缓存盘,导致原本命中缓存的热数据反而落到了新增节点的HDD上。
扩容前要核对新增节点的硬件配置和网络规格,确保与原节点一致或接近,尤其是存储平面的网络速率和SSD缓存盘的容量。FusionCube对节点配置不一致是宽容的,但性能短板效应会非常明显。扩容完成后,观察数据再平衡是否结束,期间存储性能会有波动,这是正常现象,等数据均衡后再做性能测试才有参考意义。
5.3 现象:管理面告警“脑裂”,但业务虚拟机运行正常
FusionCube管理面偶尔会弹出“管理组件脑裂”或“仲裁异常”的告警,但虚拟机业务一直正常,很多运维人员会被这个告警吓到。脑裂告警的实质是管理组件之间心跳网络短暂中断,选举机制触发重新仲裁。业务不受影响,因为业务数据面和管理面是分离的,数据复制与集群状态同步走的是存储平面。
常见原因是管理平面的网络抖动,比如交换机端口协商异常、网线松动、管理网段出现IP冲突。排查思路是先把管理平面各节点的网络连通情况检查一遍,再看管理组件的仲裁日志。有一种情况需要警惕:如果脑裂告警持续时间长且伴随存储池健康值下降,那就不是单纯的管理面问题,而是存储平面也出现了网络异常,此时需要优先处理存储网络。处理完网络后,管理面会自动重新完成仲裁,无需手工干预。
5.4 现象:虚拟机跨主机迁移卡住,IO队列居高不下
虚拟机热迁移卡住是超融合环境里的常见故障,现象是迁移进度长时间停留在某个百分比,虚拟机内部IO队列持续高水位。常见原因有两个:一是迁移目标主机上存储策略不匹配,虚拟机磁盘在源端与目标端的存储池属性不一致,导致每次迁移尝试都无法完成数据落盘;二是虚拟机有持续高IO负载,例如正在跑数据库批量任务,迁移窗口内的IO变化超过系统阈值。
解决方法是先暂停该虚拟机上的应用负载,再执行迁移,通常迁移就能顺利完成;如果业务不能暂停,可以通过管理面调整迁移的带宽上限参数,降低搬迁速度,避免对业务IO造成冲击。另一个实用技巧是:在迁移前先手动执行一次磁盘文件的一致性检查,排除源端存储池的坏块问题,这个操作在管理面的“虚拟机磁盘健康检查”入口里可以找到。磁盘健康检查能避免迁移过程中因源数据异常导致的反复卡死。
5.5 现象:升级固件后存储池状态异常
固件升级引发的故障往往最让人头疼,因为升级前存储池是健康的,升级后突然出现大量告警,很容易怀疑是升级操作破坏了数据。某个案例里升级了服务器网卡固件后,管理面开始报警存储网络丢包。登录存储CLI查看,发现存储平面的网卡速率协商降到了千兆,而升级前是万兆。
解决办法是重新检查网卡固件与驱动版本是否匹配,固件升级往往需要同步升级对应的驱动,如果只刷了固件而驱动版本太老,网卡可能会用保守模式运行。回退固件到上一个已知正常版本也是一种办法。切记在升级固件前,先在测试节点上验证固件与驱动的组合,再批量升级生产节点;如果节点数量多,务必从非业务节点开始升级,避免批量操作把整个集群打挂。
6. 验证与进阶:用一份自检清单给FusionCube做“健康体检”
FusionCube用久了会形成一个惯性:业务不报障就懒得管底层。但我建议每个季度按自检清单主动体检一次,很多隐患能提前发现。下面这份清单是我每次巡检都会执行的,你也可以直接拿去做模板:
| 检查项 | 执行方法 | 预期结果 |
|---|---|---|
| 存储池健康状态 | 执行fscman --query-system-status | 健康值为100%,无降级副本 |
| 硬盘健康状态 | 执行fscman --query-disk all | 所有硬盘状态正常,无预测性故障 |
| 存储平面网络丢包率 | 登录交换机查看存储平面端口统计 | 丢包率长期为0,偶发丢包数小于100 |
| 节点CPU与内存水位 | 管理面查看各节点资源使用率 | CPU使用率低于80%,内存水位低于85% |
| 虚拟机快照数量 | 统计每台虚拟机快照数 | 单虚拟机快照数小于3个 |
| License有效期 | 管理面查看License信息 | 剩余有效期大于90天 |
上面第1项和第2项命令都可以在存储CLI里执行,需要root登录权限。第4项在管理面“主机”页面直接能看到。第5项容易被忽略,快照过多会占用存储空间且影响虚拟机写性能,如果发现快照超限,尽快安排合并。License有效期检查尤其重要,过期后管理面功能会受限,但虚拟机运行不受影响,等要扩容或修改配置时才发现就晚了。
巡检中发现异常时,别急着在管理面上重启服务,先按第5章的思路从网络和硬盘等底层排查,超融合系统的告警往往是表象,真正的根因通常在存储平面或节点硬件层。运维超融合比传统架构更需要系统性思维,前期的规划越细致,后期日常维护的未知数就越少。这是我做了多个FusionCube项目后最深的感受。希望这份从规划到排错的实战笔记能帮到你,也欢迎你在实际部署中按这份自检清单做验证,跑完一遍后你就能摸清这套平台的脾气了。
本文还有配套的精品资源,点击获取