随着想要搭建的服务越来越多,博主日益增长的性能需要和不完善不充足的硬件产生了一些矛盾。经过了并不激烈的思想斗争和比较激烈的预算斗争,我家又多了个会嗡嗡响而且能让电表转得越来越快的大盒子。
前辈
这是博主新服务器的第一步,却不是博主Homeserver经历的第一步。所以在介绍本文主角之前,先来讲讲那台生得比这个博客早得多,失去独占一篇文章机会的上一台服务器。倘若不感兴趣可以跳到下一节。
在前辈还没出世的上古时代,博主的家庭网络与服务主要仰仗刷了固件的路由器、捡来的矿盒子和几个树莓派。一眼望去那就是齐刷刷的arm大军,呈现出勃勃生机万物竞发的样子。
但是当博主买到第四个树莓派的时候,事情已经开始不太对劲了。一直这么叠罗汉下去也不是个事,我需要一个足够强大的x86平台来开虚拟机。于是有了下面的硬件选型:
- CPU:Athlon 200GE
- 主板:华擎A320M-ITX
- 内存:2666 8G x 2
- 机箱:HP N54L机箱,魔改了后侧IO面板兼容常规主板
- 一块I350四口千兆网卡
- 四块从WD移动硬盘拆的氦气机械,一块intel P4500固态装系统
不得不说,200GE这种2C4T 35wTDP弱鸡处理器也是可以按着arm盒子打的。物理机装Proxmox VE当宿主,虚拟机主要包括openwrt软路由,黑群晖NAS,两个debian系统分别承载稳定服务和当测试环境。在有限的体积内承载大部分一般家庭会用到的功能,从某种意义上来说,它比起继任者更像是家庭服务器。如果你不像博主一样走火入魔的话,我更推荐你选择这样的形态,而非本文的主角。

但是,这台服务器基本不存在任何升级空间。cpu受限于散热器规模无法升级,仅能提供有限的性能。两槽位内存对于宿主机来说并不够用。pcie槽位完全饱和,连x1都挤不出来了。这决定了想要追求更强大的性能必须另起炉灶。
硬件选择
博主前后总共花了半个月时间确定了硬件配置,接下来的子章节将尽量还原博主的心路历程。
机箱
多年ITX经验让博主养成了围绕机箱装机的习惯。既然是因为无法升级现有配置才诞生的新机,那么一定要拉满留足扩展空间。于是博主直接放弃了常规塔式,而选择了机架式机箱作为目标。
确定了外部尺寸,接下来是内部布局和具体型号的选择。经过需求分析,博主的需求包括:
- 有八个及以上3.5寸硬盘位,带扩展背板(排除GPU型机箱)
- 可以使用常规风冷散热器和全高pcie设备(排除全部高度不足4U及36+盘位的存储型机箱)
- 风墙尽可能采用120风扇,便于静音化改造
- 优先选择品牌机箱,可以接受拆机机箱
首先根据硬性条件,大致确定目标为24盘位4U存储型机箱。巧的是,还真让我找到一款几乎满足我所有需求的机箱。根据托架和背板等特征确认似乎是超微为青云计算机生产的一批存储节点下架拆出来的。
然而我很好奇青云计算机是不是倒闭了,前几天还能打开的官网现在啥都没了,400电话也没人接,我还想问问这个箱子后置2.5硬盘笼是什么型号来着。不过至少箱子本身的型号是赶在最后几天找到了,大概是SYS-S4124A。

并且这个机箱有两个版本。其中较为常见的是风墙采用4个90风扇的型号,但确实存在一种使用120风扇的变种,似乎只有一家店在出售。
八百多块的机箱,配齐盘架,12G背板,两个800w台达电源。美中不足的是我拿到那台前侧四个角有比较明显的磕碰痕迹,可惜了这么漂亮的铝制耳朵。
CPU
鉴于AMD近几年在服务器领域大杀四方,好用不贵的霄龙成了比志强更好的选择。况且EPYC自带芯片组,主板就是个集线器罢了,比Outel便宜不少。
对比三代EPYC:Naples太老而且一代Zen还不太行;最新的Milan虽然性能美好,但是尚未大规模下架,价格离美好有一定差距。那么答案只有一个了,我将向Rome效忠!
在大量下架的型号中,博主最终选择了7542,理由是比较好地均衡了核心数和单核性能。
你问我为什么不选7452?当然是因为32C64T这个数字看起来就很舒服。
主板
因为机箱的前面板排针是超微的线序,那么主板自然也选超微的比较好。
适配Rome的型号包括H11(Rev.2)和H12两个。其中H12采用了全新的BMC,已经出现多起故障[1][2],实在是不太敢用。
至于小型号,自然是选最丐的。最终选择为H11SSL-i(Rev.2)。
内存与存储
内存选了三星32G 2400 ECC。最终预计八条插满,但是这两天内存价格掉太快了,先插一半对付一下。
固态本来是想选大普微的h3200,但正巧碰上便宜的h3200卖断货,抱憾转向SN640。物理链路上U2接口通过转接线转8643,然后通过转接卡连接主板。软件上由宿主系统zfs实现软raid1,然后分配给各虚拟机使用。
机械选择了HC530 14T。虽然传闻这个型号热辅助记录有点问题,但是耐不住便宜。SAS 3008控制器通过两个8643接口连接背板,背板连接硬盘。HBA卡是浪潮的SAS 3008IR,自己动手刷了LSI的最新版IT固件。顺带一提,这张卡的发热量不上个风扇还真镇不住。我绑了个5010风扇外加换了硅脂也就压到七八十度而已。

GPU
- 需要nvenc
- 需要cuda
- 需要支持vgpu
- 因为要vgpu所以说显存要大
- 便宜
”P40,下一位。“
GPU的选择就比较直接了,直接找到大量拆机的最新一代,买片符合要求的完事。
连给它挑散热花的时间都比挑显卡长。最后是闲鱼买了一位朋友自己设计然后3D打印的散热。
殊不知,生活今天饶你一命是因为计划明天要你两命。在这里省的功夫被在vGPU软件部分加倍奉还了。敬请观看还没写的续集:vGPU从入门到入土。
化身装机仔
经过了漫长的等待,终于拿到了所需的硬件。硬件装机部分没什么好讲的,除了机箱大了点,和普通PC也没什么区别。遗憾的是,急着装机的博主没留下任何记录,只能现场掀起服务器的头盖骨拍一张。

软件设置部分最大的不同可能是先要重置一下IPMI的管理密码。从超微官网下载IPMICFG,安装到系统内。因为是二手主板,博主选择通过如下命令恢复出厂设置并重置密码为ADMIN[3]。
ipmicfg -fd 3
如果只是忘记了密码而不想清除配置,那么可以使用另一种方式。首先列出所有用户,然后通过命令设置该用户的密码。
ipmicfg -user list
ipmicfg -user setpwd <TARGET_UID> <PASSWORD>
用管理员账户登入IPMI,打开其他-激活许可证。令人欣喜的是,博主购买的H11SSL-i使用的是老一代的IPMI,其中的序列号生成机制已经被前人通过逆向摸透了。这里我使用了此项目计算激活所需的密钥,只需要从主板标签上查到BMC MAC地址,就可以算出密钥。如此一来,就可以通过IPMI更新BIOS了。
静音化改造
风扇起飞是服务器机箱的特色,不可不品尝。三颗额定功率24瓦的12038风扇,快把博主的耳朵震出耳鸣了。这动静跟装修一样,博主也没有阁楼或者车库来容纳它,不能忍,一定要出重拳!
既然风扇都是支持PWM调速的,那么首先尝试通过软件调速解决问题。
apt install -y ipmitool
ipmitool -H 192.168.10.88 -U ADMIN -P ADMIN raw 0x30 0x70 0x66 0x01 0x00 0x01
ipmitool -H 192.168.10.88 -U ADMIN -P ADMIN raw 0x30 0x70 0x66 0x01 0x01 0x01
这串咒语一样的序列是设定风扇转速的。其中倒数第二字节指定要调整的风扇分区,即FAN1~5和FAN A/B。最后一个字节指定占空比,取值范围是1~100,即0x01~0x64。
敲下回车,一串咒语发过去,风扇却仍然在怒吼。不应该啊?咒语有问题吗?让我换成0x64试试。
然后我发现我错了,刚才的是低语,现在才是怒吼。这三个风扇中的豪杰,最低转速就是2000RPM。软件已经无计可施了,换硬件吧。从并夕夕以不到20一个的价格买了三个工包追风者M25换上,世界都清净了。
本次散热改造还包括P40显卡散热,HBA散热和SAS背板散热改造。但这些过程都乏善可陈,不再详述。
疑难杂症?
本次装机在基础硬件方面算是没遇到什么大问题,但小问题还是有两个的。
PCI-E自动拆分
超微主板的设置里面,PCI-E拆分的默认是”Auto“。但是博主试用了一下,发现它完全没有auto。连接在PCI-E转4xSFF 8643卡上的硬盘并没有被BIOS成功识别。
好在也不是什么大事,手动设置拆分模式4+4+4+4。问题虽然没有解决,但是已经不需要解决了。
IPMI认证超时
问题表现为输入密码进入IPMI界面数秒钟,立即弹出会话超时提示框,然后自动跳转回密码认证界面。
动用搜索引擎找了找,不止我一个人遇到过[4],还不是个新鲜问题。解决方法也是众说纷纭,有升级的,有重启的,有重置的。博主刚做到升级这一步,问题就自己消失了。
至于问题嘛,问题触发机制未知,解决方法不确定,复现不了。究竟是为什么可能只有天知道了。
尾声
至此,新服务器的硬件部分交代完了。大半部分的篇幅都是硬件选择相关的,似乎本文有注水嫌疑。博主的感想是:拣机房拆下来的二手硬件真香啊。要我是皇帝,怎么不得买个大机柜装他三四个节点,再配上个金锄头。
但是,这台服务器现在空有肉身没有灵魂。如何配置才能让这些硬件为我所用呢?且听下回分解。
