常识：LLM 参数 / 类型 / 显存 估算

• 推理显存估算：7B-float 是 28 GB，7B-BF16 是 14GB，7B-int8 是 7GB；其他版本以此类推即可。
• 训练的参数类型，只能是 float / BF16
• 训练 所需显存 保守估算 是 同参数同类型llm 推理 的 4倍。
  • 例子：7B-float 训练 显存：28 * 4 = 112 GB

0. 背景

• 1K, 1M, 1B，英美常用的进制单位，以 1000 为进制；
• 1K = 1000，一千；
• 1M = 1000 K，百万；
• 1B = 1000 M，十亿；

注： 计算机 内存/磁盘 存储，基本单位是字节，进制是 1024，单位依次是：KB / MB / GB / TB 不要混淆了。

• 1 KB = 1024 B
• 1 MB = 1024 KB
• 1 GB = 1024 MB

1. 参数数量

以 Qwen-7B 为例，7B 的意思就是 这个 LLM 的 模型参数有 70亿 个 参数

2. 数据类型

对于训练好的模型，参数类型版本可能有：