| 精度 | 符号位(sign) | 指数位(exponent) | 小数位(fraction) | 总位数 |
|---|---|---|---|---|
| FP64 | 1 | 11 | 52 | 64 |
| FP32 | 1 | 8 | 23 | 32 |
| TF32 | 1 | 8 | 10 | 19 |
| BF16 | 1 | 8 | 7 | 16 |
| FP16 | 1 | 5 | 10 | 16 |
| FP8-E4M3 | 1 | 4 | 3 | 8 |
| FP8-E5M2 | 1 | 5 | 2 | 8 |
| FP4 | 1 | 2 | 1 | 4 |
如果你能快速回答出如下问题, 说明你已经掌握相关内容, 就不需要阅读本文章啦
数值计算的主要挑战在于如何管理误差的传播 — James H. Wilkinson 数值分析之父
是一种带小数点的数, 但小数点的位置是固定的
假如用4个字节, 存储182.3758624这个数, 一种最简单的办法: 把这4个字节进行划分，来存储不同部分:
那么换一个数:5963776.375, 还能存储吗?