Skip to content
大模型架构
Main Navigation
Home
知识体系
大模型推理
CUDA 编程
专题
大模型量化系列
大模型投机解码
模型格式与部署
工具
模型计算器
Kernel 依赖分析器
Appearance
Menu
Return to top
On this page
大模型量化系列
从量化对象、粒度、数值类型与数值映射出发,串起 Weight-Activation 与 Weight-Only 量化方法。
基础总览
基础(一)量化对象
基础(二)量化粒度
基础(三)数值类型
基础(四)数值映射
配置(一)量化配置
配置(二)模型级精度映射
方法(一)LLM.int8()
方法(二)SmoothQuant
方法(三)GPTQ
方法(四)AWQ
llama.cpp 量化格式