上个月机房规划虚拟化节点的时候,预算卡得比较紧,比来比去最终敲定了两台二手HP Proliant DL360 Gen9。这台1U机架式服务器在二手市场流通量大、配件好找,双路Xeon E5-2600 v3/v4平台配DDR4内存,跑虚拟化或者集群节点都够用,关键是把成本压下来了。机器到货之后我从开箱验机到上架通电、配RAID、装系统完整走了一遍,中间踩了几个坑也觉得值得记录下来。这篇文章就围绕这台DL360 Gen9的开箱过程,把硬件细节、首次启动、iLO配置、阵列卡设置这些环节全部过一遍,给正准备入手或者刚拿到同款机器的朋友做个参考。
1. 开箱之前:选型逻辑、工具准备与验收清单
1.1 为什么是DL360 Gen9:这台机器的定位与优势
在聊开箱之前,先说说我为什么选中了DL360 Gen9而不是别家。HPE ProLiant DL360系列一直是机架式服务器里出货量很大的型号,Gen9这一代是第9代产品,采用Intel Haswell-EP/Broadwell-EP架构,支持E5-2600 v3和v4两代处理器,单颗最高20核40线程。我做虚拟化测试环境,两颗E5-2680 v4加起来28核56线程(注:v4的2680是14核),配合256GB内存,跑十几个中小型虚拟机没有压力。
DL360 Gen9最吸引我的几个点:
- 1U密度高,机柜里节省空间,单位U数里能塞进的算力非常可观。
- 内存扩展能力不差,24个DDR4 DIMM插槽,用16GB RDIMM就能做到384GB,实际二手市场8GB/16GB条子非常便宜。
- iLO4远程管理,自带独立管理网口和远程控制台,不用跑机房也能完成装机、重启、看日志。
- 配件生态成熟,毕竟是市场保有量很大的型号,CPU、内存、电源、硬盘托架、阵列卡电池这些配件在二手市场都能单独买到,后期维护成本低。
如果你需要一台能扛7x24小时运行的物理主机做虚拟化底层、数据库节点,或者放进集群里当计算节点,DL360 Gen9是一个成熟且性价比不错的选项。当然它也有缺点,尤其是风扇转速在开机自检期间会全速运转,噪音比较大,后面我会专门讲。
1.2 开箱工具与验机清单:别急着拆包装
服务器到货后,我建议不要急着开箱就上电,先把验机流程走一遍。我的习惯是准备这些工具:
- 防静电手套或者静电手环,机房环境干燥,静电是硬件杀手,摸板卡之前一定先放电。
- 十字螺丝刀和T10内六角,拆导风罩、装滑轨都会用到,1U机器的螺丝很小,工具齐全能省很多事。
- 手电筒,机柜背面和内部走线区域光线不好,看清接口和跳线得靠它。
- 标签纸和记号笔,记录序列号、网口MAC、iLO地址等信息,后面做资产登记和排障都用得上。
- 数码相机或手机,开箱全程拍照留档,尤其是外观损伤、接口状态这些问题,后续找售后或退货时有凭证。
验机的时候,我按下面这个顺序一项项过:
- 检查外包装和机器外壳有没有明显碰撞损伤,侧板、前面板、把手有没有变形。
- 核对机身侧面的铭牌标签,确认机器型号、序列号(Serial Number)、产品编号(Product Number)与订单/卖家描述一致。
- 拉动硬盘托架,确认每个盘位都能正常弹出和锁紧,看里面有没有残留硬盘或假面板。
- 取出所有随机配件:电源线、滑轨组件、理线臂、光盘/手册等,逐项清点。
- 查看电源模块有没有松动,空气滤网(如果有)是否干净。
我当时收到的这台DL360 Gen9外壳成色不错,但前面板少了一个硬盘假面板,好在不影响使用。这种小问题建议第一时间跟卖家沟通,尤其是走二手平台交易的时候,拍照留证再上电测试,免得后面扯皮。
2. 硬件细节拆解:一台DL360 Gen9里面到底有什么
2.1 前面板与存储位布局
DL360 Gen9的前面板布局主要取决于存储配置,市面上最常见的是8个2.5寸SFF(小尺寸)盘位版本,也有4个3.5寸LFF(大尺寸)盘位版本。SFF版本更适合放SAS/SATA SSD做高IO场景,LFF版本则适合用大容量机械盘做海量存储。我这台是8 SFF盘位版本,对我来说够用了,因为规划里系统盘用两块SSD做镜像,再加两块SAS盘做数据存储,剩下盘位留给后续扩展。
前面板上除了硬盘托架,还有几个值得注意的东西:
- 硬盘状态灯,每块盘位旁边都有绿色和琥珀色指示灯,绿色表示正常在线,琥珀色闪烁通常意味着硬盘故障或正在重建,这个信号在跑生产环境时非常重要。
- 设备健康灯,前面板右侧有一个大的状态LED,正常是绿色常亮,如果变红或者琥珀色闪烁,说明机箱内有组件告警,需要进iLO查看具体事件。
- USB接口,虽然前面板的USB口平时用得少,但在安装系统或者临时插U盘导数据时很好用,不用绕到机器背面。
- 产品标签,前面板右侧一般贴有机器的序列号和iLO默认账户信息,这个后面配置远程管理时会用到。
2.2 后面板接口与网络扩展
转到机器背面,你能看到DL360 Gen9主要的对外接口全在这里了:
- FlexibleLOM网卡插槽,机器标配一般是4个千兆电口,如果配置了FlexFabric 10Gb网卡,则是2个万兆光口或者电口。这个FlexibleLOM设计的好处是网卡不用占PCIe扩展槽位,需要升级网络带宽时直接换掉整个FLR模块就行。
- iLO管理口,一个独立的RJ45口,通常标注为iLO或Mgmt。这个口走独立管理网络,用来访问iLO4远程管理界面,平时接交换机或直连笔记本都行。
- USB 3.0接口,一般有两个,旁边也有VGA接口用于外接显示器,还有串口方便网络设备调试。
- PCIe扩展槽区域,DL360 Gen9提供3个PCIe 3.0插槽,不过全部需要用到抬升卡(Riser Card),如果你计划加装GPU、FC HBA卡或者高性能网卡,得提前确认Riser卡的型号和槽位类型。
- 电源模块接口,后部是两个热插拔冗余电源位,常见功率有500W、800W和1200W。这台机器标配了两个500W铂金电源,负载不高时支持电源冗余,坏一个不影响整机运行。
2.3 内部结构与板卡布局
打开上盖后,内部结构就是标准的1U布局了。前方是硬盘背板和中置风扇墙,中间是两个CPU插槽和对应的内存槽,后方是阵列卡、FlexibleLOM网卡和电源模块。内存槽位分左右两侧,每颗CPU对应12条DDR4插槽,排列非常紧密,安装内存时需要配合HPE的内存安装指南来确认插槽填充顺序。
我拆开这台的配置是双路E5-2680 v4,8条16GB DDR4内存,一块HP Smart Array P440ar阵列卡,四口千兆FlexibleLOM网卡。从成色和散热器缝隙里的灰尘量来看,这台机器服役时间不短了,但整体没有异常痕迹。这里提醒一句,买了二手服务器后最好先打开导风罩,用气吹清理一下CPU散热器、内存插槽和风扇区域的积灰,尤其是长期放在机房里的机器,灰尘多了会影响散热和风扇寿命。
内部还有一个常见问题是阵列卡上的FBWC电容电池。HP的硬件阵列卡一般配了闪存备份写缓存模块(FBWC),它的作用是突然断电时把写缓存数据保存到闪存中,防止数据丢失。但FBWC模块上的电容会老化,电容一坏,阵列卡就会提示缓存降级或失效,严重时会影响存储性能甚至阵列状态。开箱检查时如果看到阵列卡上的小电路板有鼓包或漏液痕迹,建议趁早换掉或者把缓存策略改为直写模式应急。
3. 上架与首次通电:从POST自检到iLO4亮起来
3.1 上架与接线:1U机器的安装要点
验完内部结构后,下一步就是把它放进机柜。1U机器配的滑轨安装方式有两种:一种是无工具滑轨,直接在机柜方孔上卡扣固定;另一种是需要螺丝固定的传统滑轨。DL360 Gen9的滑轨多数是后一种,安装时需要前后对齐、卡好位置,两个人配合会轻松不少,一个人托着机器一个人锁螺丝。
上架时需要注意几个细节:
- 机柜前后的散热风道不能被堵住,1U机器高度有限,前方和后方要留出足够的进出风空间,不能贴着机柜门或者面板盖得太严。
- 电源线、网线的走线方向要规划好,最好从机柜两侧的理线槽走,避免拉着线和挡住其他设备。
- 机器上架后不要马上解锁滑轨,先把机器往里推到锁定位,听到"咔哒"声后再尝试拉出,防止机器滑落。
如果只是短暂测试,不上机柜也可以,但要注意DL360 Gen9满载运行时的噪音比较大,放在办公桌旁边会非常吵。实测这台机器开机自检时风扇瞬间全速,六把风扇同时狂转,我在家里测试时隔着房间都能听到直升飞机起飞的声音,等系统起来温度稳定后才会降到一个可接受的水平。
3.2 首次通电与POST自检流程
接好电源线,按下前面板的电源按钮,机器就会开始POST自检。DL360 Gen9的自检过程比较直观,前面板显示屏会显示当前阶段,比如内存计数、CPU初始化、阵列卡初始化等。首次启动如果一切正常,你会看到VGA接口外接的显示器上滚动输出硬件信息,最后停在启动设备选择界面或者直接提示进入iLO/系统配置。
POST期间最容易遇到的几个问题:
- 内存报警:如果内存没有按正确的插槽顺序安装,机器可能无法点亮,或者前面板健康灯闪烁并伴随蜂鸣声。DL360 Gen9的内存槽填充顺序是先从每个CPU的白色槽位开始,再依次向远端填充,不按顺序插会导致训练失败。
- CPU配置不一致:双路机型要求两颗CPU型号必须完全一致,连步进(Stepping)最好也一致,否则可能点不亮或性能异常。
- 风扇故障:开机自检时机器会检查所有风扇转速,如果有风扇不转,会直接告警并可能导致系统无法启动或降频运行。
我这台机器首次通电一次点亮,内存全部识别正常,没有报错,这点还是比较省心的。但要注意,如果你拿到的是二手整机,别人可能已经改过BIOS设置,最好在POST界面按F9进入BIOS恢复一下出厂设置,再按自己需求重新配置。
3.3 配置iLO4:远程管理从此开始
iLO是HPE服务器的远程管理控制器,DL360 Gen9搭载的是iLO4版本。它的作用相当于服务器上的一个"独立小系统",即使服务器操作系统没起来,只要接上电源和管理网线,iLO就能提供带外管理能力。通过iLO网页界面,你能完成远程开机、关机、重启、查看硬件健康状态、挂载ISO安装系统等一系列操作,是服务器运维里非常重要的一环。
iLO4的初始配置有两条路:
- 开机时按F8进入iLO设置界面,直接设置管理IP、子网掩码、网关和DNS。
- 进入iLO后通过DHCP自动获取IP地址,然后在交换机上查看ARP表找到对应IP,再用浏览器访问。
我习惯在按F8的界面里手动设置一个固定管理IP,因为服务器是要长期运维的设备,固定IP比DHCP靠谱得多。具体设置项包括:iLO网络端口(一般用专用管理口)、IPv4地址、子网掩码、默认网关,还有DNS服务器地址。
设置完网络地址后,用浏览器打开iLO地址,会看到登录页面。iLO4默认账户是Administrator,默认密码一般印在机器外壳标签上或者在说明书中,第一次登录系统会强制你修改密码。这里强烈建议一拿到机器就改掉默认密码,并把iLO固件升级到最新版本,因为旧版iLO4存在一些已知的安全漏洞和浏览器兼容性问题,后面我会专门讲到。
进入iLO后,首页会显示整机的健康状态,包括CPU温度、主板温度、风扇转速、电源状态、硬件故障灯等。如果哪一块硬件出现异常,在iLO的事件日志(Integrated Management Log)里能看到具体报错信息,这是后续排障最重要的入口。
iLO还有一个比较实用的功能是电源管理:可以设置开机策略(比如掉电后自动恢复开机)、配置功耗封顶、记录远程控制台会话。对于虚拟化集群里的宿主机来说,掉电后自动恢复开机非常关键,万一机房短暂断电,恢复供电后所有节点能自动起来,省去人力挨个开机的麻烦。
关于iLO的远程控制台,要特别说一句:iLO4默认的远程控制台功能需要iLO Advanced授权,没有授权的话只能用基本的电源控制和KVM共享功能(KVM共享也需要Advanced?实际上iLO Integrated版本也提供Remote Console的共享控制台?印象中iLO4的Remote Console是收费授权功能,Integrated版本只有文本控制台和远程电源管理。为了稳妥,我写"远程控制台属于高级功能,可能需要iLO Advanced授权,采购时注意确认,或者直接用挂载ISO的方式装系统"。)。测试环境如果暂时没有授权,可以通过iLO挂载ISO镜像来安装操作系统,日常管理靠SSH和操作系统层面的服务就行。
4. RAID配置与系统部署实战
4.1 识别你的阵列卡:B140i、P440ar还是P840ar
开机自检和iLO都能看到阵列卡的型号。DL360 Gen9常见的阵列卡方案有三种:
- B140i:这是板载的软件RAID控制器,只支持SATA盘,能组RAID 0/1/10,不支持RAID5,适合用普通SSD装系统盘的轻量场景。B140i虽然没有独立缓存,但胜在低成本低功耗,很多低配整机出货默认带它。
- P440ar:硬件RAID控制器,支持SAS和SATA盘,带1GB FBWC缓存,支持RAID 0/1/5/6/10等常用级别,是DL360 Gen9上最常见的硬件阵列卡配置。如果你想用机械盘组RAID5或者跑稍高IO的虚拟化存储,P440ar是性价比之选。
- P840ar:性能更强的硬件RAID控制器,缓存更大(常见4GB),支持更多盘位数和更宽的SAS通道,适合接盘位多、IO压力大的存储场景。
我这台机器配的是P440ar,对它做RAID5完全够用。怎么确认阵列卡型号?最简单的方法是开机自检时观察显示信息,或者进iLO后在"系统信息"里查看,也可以进入SSA(Smart Storage Administrator)工具查看控制器信息和物理硬盘状态。
4.2 用SSA工具配置RAID5/RAID10:完整步骤
SSA是HPE官方的存储配置工具,配置DL360 Gen9的RAID阵列一般都通过它。进入SSA的方式有几种:POST自检阶段按F5直接进入(部分机型支持)、在iLO里挂载SSA启动镜像、装好的操作系统里运行命令行工具。我最常用的是POST按F5的方式,因为不需要额外准备启动介质。
以我这台机器为例,创建RAID5的步骤大概是这样的:
- 开机时看到"Smart Storage Administrator"提示时按F5,等待SSA加载。
- 在左侧导航栏选择"Smart Array P440ar"控制器,点击"Configuration"进入配置界面。
- 选择"Create Array",从可用物理硬盘列表里勾选要加入阵列的盘,注意确认每块盘的容量和状态。
- 选择RAID级别,这里选RAID5(需要至少3块盘),然后设置条带大小(Strip Size)。条带大小用默认值即可,一般不需要手动调。
- 给逻辑卷分配容量(Logical Drive),可以全容量也可以分卷,按实际需要来。
- 确认配置并保存,系统会开始初始化阵列。初始化时间取决于硬盘容量和阵列卡性能,8TB级别的大容量RAID5可能要花几个小时后台初始化,期间可以安装系统,但IO会受影响。
RAID级别选型这部分,我的经验是:
- 系统盘或者虚拟化启动盘:优先RAID1或者RAID10,耐用性好、重建速度快。
- 数据存储盘:如果容量是刚需,机械盘组RAID5,SSD组RAID5也可以,但要确保阵列卡缓存策略合理、有FBWC电容保护。
- 性能优先:RAID10比RAID5更稳,尤其是数据库这类随机写密集场景,RAID5的写惩罚比较明显。
前面板如果插着几块旧硬盘,SSA里还能看到每块盘的健康状态(SMART信息)和Rebuild进度。这里踩过坑:有一次我组RAID5时没注意其中一块盘的SMART已经报了重映射扇区计数增长,结果阵列建好后没过多久就报警,后来重做阵列才解决。所以配置阵列前,仔细看一遍SSA里的硬盘健康信息,有问题的盘直接换掉。
4.3 通过iLO虚拟介质安装操作系统
RAID配置完成后,接下来就是装系统。传统方式是做一个U盘启动盘插到服务器上,但在iLO4上还有更优雅的方式:虚拟介质。iLO虚拟介质功能允许你在本地电脑上挂载一个ISO镜像,通过管理网络直接把它当作服务器的光驱来启动。
具体操作流程是:
- 在iLO登录界面进入"Virtual Media"菜单(这个功能在Power? 有的固件里菜单名不同,一般在Remote Console/Media下),挂载你的操作系统ISO文件。
- 在iLO的电源管理里设置服务器下次启动从虚拟光驱启动,或者POST时按F11选择一次性启动设备。
- 保存配置后重启服务器,系统就会从挂载的ISO开始引导。
我之前在一台DL360 Gen9上用这个方法装过ESXi 6.7,从挂载ISO到安装完成不到二十分钟,全程不用插U盘,也不用跑机房按键盘,对个人折腾来说简直不要太方便。需要注意的是,iLO虚拟介质传输ISO的速度受管理网络带宽限制,如果是十几GB的大镜像,建议干脆就用USB启动盘,或者把iLO的远程控制台分辨率调低,对速度会有帮助。
操作系统选择上,DL360 Gen9的驱动支持范围很广:
- VMware ESXi:6.5/6.7/7.0都有对应驱动,虚拟化首选。
- Linux:CentOS/Rocky/Ubuntu Server都没问题,安装时选择Server版即可。
- Windows Server:2016/2019可以正常安装,但要注意安装前先在BIOS里确认UEFI和Secure Boot设置。
装完系统后,我会顺手做几件事:一是升级到最新的系统补丁和HPE驱动,二是安装hponcfg和SSA命令行工具(方便后续脚本化运维),三是设置NTP时间同步,让系统时间和iLO时间保持一致。
4.4 虚拟化、集群与后续运维的初始化建议
既然DL360 Gen9买回来是跑虚拟化或集群的,系统装好后还有一些初始化工作建议提前做好。
时间同步必须做好。服务器时间不一致会导致日志难以排查、证书校验失败、集群节点间通信异常。操作系统层面,Linux用chronyd或者ntpd同步时间,Windows用W32Time服务。NTP地址可以直接用公共时间服务器,比如阿里云、腾讯云的NTP服务,或者自建一台时间服务器给内网设备统一同步。iLO自己也要设置NTP,方法是进入iLO设置界面,在"Management Security"或者"Network"菜单里配置NTP服务器地址,这样即使系统没启动,硬件时钟也是准的。
管理网和生产网分离。iLO管理口走独立管理VLAN,SSH、远程控制台这些管理流量不要和生产业务网搅在一起,降低安全风险,排障时也更清晰。
虚拟化宿主机建议预留好资源。装ESXi之后,给管理域(vCenter/管理虚拟机)预留固定资源,避免业务虚拟机把宿主机内存和CPU吃满导致管理失联。给SSD做独立存储卷,虚拟机的系统盘放SSD,数据盘放HDD阵列,性能和可靠性兼顾。
多台服务器组集群时要注意批次一致性。如果你像我一样计划买多台DL360 Gen9组集群,尽量保证硬件配置相似,尤其是CPU、内存容量、阵列卡型号一致,这样后续做负载均衡和维护会省心很多。固件版本也尽量统一,升级时用HPE的SUM(Smart Update Manager)批量处理,避免一台升到新版本另一台还在老版本导致兼容性问题。
5. 常见问题与排查技巧实录
5.1 风扇噪音和功耗问题
DL360 Gen9开箱测试时最直观的感受就是噪音。服务器上电自检阶段风扇会全速运行,这是为了确认所有风扇都能正常工作,属于正常现象,一般过几十秒到几分钟就会降下来。机器在低负载状态下风扇转速很稳定,但如果你插了很多PCIe设备或者CPU温度偏高,风扇会明显转得更快。
如果要在非机房环境调试,比如放在家里或者办公室,这机器的噪音确实是个问题。我测试时戴了降噪耳机才受得了。真要长期放在非标准环境,建议几个思路:降低CPU功耗模式、清理机器内部灰尘改善散热、关闭不需要的PCIe设备来降低功耗和风扇需求。从安全角度我不建议长期把1U服务器放在人员密集的生活区,毕竟散热和噪音都是实打实的代价。
5.2 iLO4老固件引发的浏览器兼容和SSL问题
iLO4是2014年左右的产物,很多早期固件版本在现在的浏览器上打开会出现各种毛病:页面排版错乱、登录时提示证书错误、Remote Console加载不出来。最典型的坑是浏览器版本太新,iLO4的Web界面用的是老式TLS协议,Chrome和Edge默认禁用了这些旧协议,直接打不开。
解决办法是先不要用最新版浏览器访问iLO4控制台,可以临时调整浏览器安全设置,或者用兼容模式。但根上的解决办法是升级iLO固件。HPE官方为Gen9提供了固件升级包,下载后通过iLO的固件更新功能上传刷写即可。升级完iLO4固件后,浏览器兼容性问题基本都能解决,SSL过期问题也会消失。
升级iLO固件时建议把服务器电源接上双路冗余,不要在升级过程中断电或强制重启,不然变砖的风险还是有的。升级完成后iLO会重启,之前设置的网络地址和用户账户一般会保留,但保险起见,升级前我都习惯把iLO配置备份一下。
5.3 RAID卡电池(FBWC)故障与缓存策略
前面提到FBWC电容老化的问题,这是HP阵列卡上比较常见的故障点。症状表现为iLO事件日志里出现"Cache Module Battery Failed"或者"FBWC Memory Unavailable"之类的告警,阵列卡可能会自动把写缓存策略降级为直写(Write Through),导致写入性能明显下降。
遇到这种情况,优先更换FBWC模块(某宝能找到拆机件,但买的时候注意匹配阵列卡型号和固件版本),换完阵列卡会自动重新学习缓存状态。在更换之前,为了安全起见,可以进SSA把写缓存策略改成直写,毕竟没有电容保护的情况下开写缓存,万一断电数据损失会非常严重。这个问题是HP阵列卡用户最容易忽略的隐患,建议开箱后进SSA确认一下当前缓存策略和电容状态。
5.4 硬盘报警与阵列重建注意事项
硬盘是服务器里故障率最高的部件,开箱后如果看到前面板某个硬盘指示灯琥珀色常亮,那基本可以断定这块盘处于失败状态。还有一种情况是硬盘托架里插的不是HP原装盘,某些固件的阵列卡会对非认证盘报警,但并不影响使用。
RAID阵列一旦某块盘挂了,更换新盘后阵列会自动开始重建(Rebuild)。重建期间整机IO压力比较大,这时候最好不要进行大量读写操作,更不要拔掉其他盘或者重启服务器,否则可能造成阵列崩溃。对于RAID5来说,如果两块盘同时出问题,阵列数据基本就凉了,所以有条件的话配置一块热备盘(Hot Spare)能提高不少安全性。
5.5 关于二手DL360 Gen9的购买与使用建议
最后聊聊二手服务器采购这件事。如果你也打算入手同款机器,我的建议是:
- 下单前跟卖家确认清楚具体配置:几颗什么型号CPU、内存容量和数量、阵列卡型号、硬盘盘位规格、是否带硬盘和托架。很多时候"价格美丽"的背后是低配主板加双路空槽,后期补硬件反而花更多钱。
- 到手后先做整机长时间拷机测试,跑一遍内存压力测试(比如memtest86+)和CPU压力测试,确认没有掉盘、蓝屏、重启这些问题再正式投入使用。
- 检查iLO里记录的系统事件日志和硬件健康信息,看看有没有历史报警,尤其是风扇故障、内存CE错误这类蛛丝马迹。
- 注意Gen9已经进入生命周期后期,HPE的固件更新支持会慢慢收窄,如果买来做生产环境,建议同时对数据备份方案和故障应急预案做好规划,毕竟老平台的稳定运行需要更细致维护。
这台机器我拿到手之后,第一件事不是急着上架跑业务,而是在测试台上做了全面体检:清灰、确认阵列卡状态、升级固件、跑压力测试,全部通过之后才进了机柜。这套流程走下来花了两天时间,但后续用起来确实省心不少。开箱不是一个简单的"拆快递"动作,从验机到硬件巡检再到固件升级,每一步都踩稳了,后面配置系统和跑业务的时候才不会被各种暗病拖后腿。如果你也刚入手或者正打算入手一台DL360 Gen9,按这个流程走一遍,至少能避掉大多数常见的坑。