INT4 是什么：四位整数表示不等于全部计算只用四位
解释 INT4 在模型量化中的含义，区分四位整数与其他四位格式，并说明缩放、元数据和后端兼容的作用。
先理解这个概念
INT4 指四位整数表示，在模型部署中常用于低位宽量化。它不是所有四位格式的统称，FP4 等格式有不同含义；使用 INT4 权重也不意味着全部激活和运算都以四位完成。需要核对具体量化方案与后端支持，再检查任务质量。文件大小不能直接用一个位数比例精确推出，运行时还会有其他数据。
量化值需要映射回实际数值范围
TensorRT 的说明区分 INT4 与 FP4，并限定其具体支持方式；GPTQ 则研究训练后权重的近似量化。实际方案通常要配合缩放等信息表达原来的浮点权重，因此不能只保存一个整数就代表全部转换规则。分组方式和是否量化其他数据也会影响结果。某个模型写有“4bit”，需要进一步确认是哪种编码，不能把不同方法当作同一文件格式。兼容加载只是起点，数值近似是否影响任务还需另验。
固定基础模型检查四位版本结果
例如选同一模型的可比版本，处理固定公开资料中的编号与金额，保留每条原始输出，检查是否有新的错字或错值。记录量化方法、框架和设备，避免只用“INT4”三个字描述整个运行条件。模型无法加载时核对格式支持，不要立即继续换更低精度。本文没有量化或运行任何模型，步骤是验证建议。长上下文与并发应另行检查，因为权重压缩不保证相应缓存也按相同比例变小。
部署维护要保存编码与可恢复配置
转换工具或后端更新后，应重放已知成功与失败样本，确认解码方式和输出仍一致。保留原始可用模型及转换说明，避免只有一个无法追溯来源的低位文件。成本包含转换、存储和人工纠错，不能只比较下载大小。若四位方案在关键任务退化明显，可以评估其他精度或分任务处理，而不是强行接受所有近似。INT4 解决数值表示问题，不提供无条件速度提升，也不能替代模型本身的能力与适用范围核对。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。