HPC 监控与报表（Prometheus + Grafana + OOD + GPU）部署与经验总结

适用环境：epic 集群（Slurm + OOD），监控栈包含 Prometheus、Grafana、ondemand_exporter、node_exporter、DCGM exporter、nvitop-exporter（或其一）。当前已完成 所有 exporter 与官方/社区默认看板 的部署与校验；尚未启用自定义指标、录制规则（recording rules）、告警规则与“项目/用户维度”的用量报表。

grafana 默认 admin 123456

1. 组件与职责

• Prometheus：集中抓取、存储指标；执行规则（recording/alerting）。
• Grafana：可视化与看板管理；数据源指向 Prometheus。
• ondemand_exporter（OOD 官方）：暴露 OOD 门户相关指标（PUN 数、会话、Passenger 聚合资源等）。
• node_exporter：节点级 CPU/内存/磁盘/网络等主机指标。
• DCGM exporter：GPU 硬件指标（利用率、显存、温度、功耗等）。
• nvitop-exporter：GPU 与相关进程/用户视角指标（便于定位是谁占 GPU）。
• （可选后续）sacct → textfile：按 账户/用户 聚合“活跃 GPU/CPU/MEM/作业数”的 gauge，用以计算 GPU-hours/CPU-hours 等窗口累计。

2. 部署流程（已完成）

2.1 Prometheus

1. 安装并创建目录 /etc/prometheus、/var/lib/prometheus。
2. 配置 prometheus.yml：
   • 全局抓取间隔 scrape_interval（建议 15–30s）。
   • 添加各 exporter 的 scrape_configs。
   • 预留规则目录 rule_files: /etc/prometheus/rules/*.yml。
3. systemd 注册与启动，访问 :9090/targets 验证 UP。