V0框架与传统模型文档导航(已停止演进)¶
本目录文档按模型类型与任务场景梳理,便于按需求快速定位。
一、传统模型量化与校准¶
- 传统模型量化与校准
- 包含 PyTorch/ONNX/MindSpore 训练后量化与 QAT。
二、大模型量化与压缩¶
- 大模型量化与校准
- 包含低显存量化、混合校准数据集、FA3 量化。
- 压缩与结构优化(大模型为主)
- 包含稀疏量化与权重压缩、长序列压缩、权重压缩流程、低秩分解。
三、训练加速与模型改造¶
四、工具与生态适配¶
- 量化权重格式说明
- 包含量化权重与描述文件格式、反量化公式及 KV Cache 量化说明。
- MindSpeed适配器
- 包含 MindSpeed-LLM 模型量化适配流程与示例。
- 伪量化精度测试工具
- 包含 Precision Tool 使用方式与测试流程。
- 多模态生成模型推理优化
- 包含 DiT 缓存优化与自适应采样优化流程。
- 量化代码示例
- 包含常见量化/稀疏量化场景导入代码样例。