原文链接
https://arxiv.org/pdf/2312.00752.pdf
State Space Models(State space sequence models,SSMs):状态空间模型
Structured State Space Models( Structured state space sequence models,S4 或 structured SSMs):结构化状态空间模型
Selective SSMs(S6):选择性状态空间
Quadratic-time:二次方时间复杂度
Subquadratic-time:次二次方时间复杂度(优于二次方时间复杂度)
Foundation models (FMs): 基础模型
Hardware-aware Algorithm:硬件感知算法
Linear scaling:线性扩展性(随序列增长呈线性复杂度扩展)
Near-linear scaling:接近线性的扩展性
Convolution:卷积
Recurrence: 时间维度上的传递和积累(循环)
Multilayer Perceptron(MLP):多层感知机
Zero-order hold (ZOH): 零阶保持器
**High Bandwidth Memory (**HBM): 高带宽内存