AI训练集群B：48台GPU节点上架/一致性校验/批量装机

1. 接触与询盘

• 线索：友商转介绍；GPU集群搬迁并扩容；目标时间一周。


• 首次沟通：拉群并共享《设备/固件清单模板》，确认IB两平面端口资源。




2. 方案与准备



• 拓扑：8列机柜、ToR IB×2/列，万兆上联堆叠；管理网独立交换机。


• 一致性基线：BIOS/驱动/固件版本矩阵；磁盘分区/PXE镜像版本。


• 自动化：编写 `kickstart`+`preseed` 脚本；Ansible 角色用于 ssh/用户/源/驱动/监控。




3. 现场实施步骤



• 上架与布线：IB A/B平面光纤，所有链路录入《链路台账》；跨列链路100%测试。


• 节点验收：上电自检，BMC与管理口入网；固件批量升级工具 `fw-tool`。


• 批量装机：PXE 引导—>自动分区—>驱动—>CUDA—>NCCL—>IB—>监控Agent。


• 一致性校验：Ansible 收集 `nvidia-smi -L`/IB卡/驱动版本；与矩阵自动比对。




4. 指标与结果



• 训练作业 QPS +32%；节点宕机率 -90%（按月）。


• 交付：拓扑图、链路台账、装机脚本库、基线矩阵、验收清单、回归压测报告。




5. 风险与回滚



• IB模块兼容性 → 提前小样本测试，保留旧版本回滚包。


• PXE失败 → 预置U盘应急镜像。