集群扩容（A100 节点）标准操作流程（SOP）

0. 目标与前提

• 目标：把一台 8×A100 的新计算节点加入到现有集群
• 控制平面：Open OnDemand + Slurm 23.11.4（打包版）
• 新节点：Ubuntu 22.04、cgroup v2、Slurm 23.11.4（源码版）
• 所有节点 主.次.补丁版本一致（23.11.4），munge/slurm 账号 UID/GID 一致

1. 基础准备（新节点）

1. 主机名与解析

• 设置主机名与 slurm.conf 中 NodeName 一致（例如 server-a100-8g-1）
• 确保控制节点可达：ping / telnet <ctld> 6817

1. 时间同步

• 开启 chrony/systemd-timesyncd，保证与控制节点时钟一致

1. 统一账号（关键）

• 在控制节点记录：

  id -u munge; id -g munge
  id -u slurm; id -g slurm
  
  

• 在所有节点按相同 UID/GID 创建/修改 munge、slurm

  • groupadd/groupmod、useradd/usermod 对齐

  • 目录与权限：

    /var/lib/munge、/etc/munge  (0700, munge:munge)
    /var/lib/slurm、/var/spool/slurm、/var/log/slurm (0755, slurm:slurm)
    
    

• 分发 munge.key，权限 0400，属主 munge:munge，启动 munge

1. GPU 驱动

• 安装并验证 nvidia-smi 可看到 8 张 A100 无报错