Chip for AI4 项资源
Hardware-aware ML
结合硬件约束设计模型精度、注意力机制与计算算法。
模型与算法
- BitNet / bitnet.cpp — 将三值权重等低比特设计引入模型训练，并提供 CPU/GPU 推理 kernel，连接模型精度选择与执行硬件。 系统论文
- FlashAttention — 围绕 GPU 存储层次与数据搬运设计精确注意力计算，是算法、kernel 和硬件协同优化的代表。
- Insights into DeepSeek-V3（2025） — 从 MLA、MoE、FP8 与网络拓扑出发，系统讨论大模型训练和推理对计算、存储及通信硬件的要求。
- Native Sparse Attention（2025） — 将可训练稀疏注意力与硬件算术强度和访问模式一起设计，结合 token 压缩、选择与局部窗口。