Dream： 项目规范 + 样本数据 → 可持续改进的系统并可以大规模部署

Reality：

Frameworks & Distributed Training

Pytorch, JAX, Tensorflow, ONNX, Huggingface, Tim

DDP, Horovod

Sharded Data-Parallel

ZeRO-3 (Fully-sharded DataParallel)

Model-Parallel (Deepspeed, FairScale, Pytorch支持)

Tensor Parallel (Megatron LM)

trainer = Trainer(stategy="ddp_sharded")

加速方法：

• 混合精度分布式训练
  • 16-bit 混合精度；
  • 单GPU/多GPU/多节点
• Ultra-fast dense transformer kernels
• 稀疏注意力
  • 内存/计算高效的稀疏注意力；
  • 支持 10x long 序列 than dense；
  • 灵活支持多种稀疏架构
• 1-bit Adam, 0/1 Adam, 1-bit LAMB
• Additional Memory & Bandwidth Optimizations

Compute