显存是什么：模型权重之外还有缓存和临时数据
解释 GPU 显存与系统内存的关系，说明模型加载、上下文和并发怎样影响占用，并给出容量核对边界。
先理解这个概念
显存通常指 GPU 使用的设备内存，用于保存运算需要的数据。运行 AI 模型时，不仅权重占显存，上下文缓存和临时计算也会使用空间。它与磁盘文件大小不同，也不能在所有设备上与系统内存简单相加。容量是否足够必须结合模型、输入长度和并发检查，能加载一次不代表长任务能够持续运行。
已分配内存和缓存保留不同
PyTorch 区分实际张量占用与分配器保留的内存，设备监控显示的数字需要结合框架解释。部分显存可能被缓存以供后续使用，不代表全部都是活跃权重。Transformers 的缓存说明也强调，生成时保存历史注意力数据会使用资源。模型参数相同，输入更长或同时处理更多请求，峰值仍可能变化。先明确观察的是哪个进程和哪种指标，避免仅凭一张空闲截图判断服务能承受的负载。
同一配置检查加载和生成峰值
例如测试固定模型，记录权重加载后占用，再逐步加入目标长度输入及需要的并发，观察是否出现内存不足。每次比较保持后端和数值格式一致，不拿量化版本与不同模型的峰值直接归因于硬件。错误发生时保留输入长度与失败位置，不只写“显存不够”。本页没有运行资源监控或测试设备，所述步骤为验证设计。对于共享或统一内存架构，应按设备官方说明理解可用空间，不能直接套用独立显卡的全部概念。
释放空间不能替代任务质量验证
量化、缩短上下文或降低并发可能缓解容量问题，但各自影响不同。减少输入可能丢失依据，换小模型可能改变结果，应在资源调整后重新验收任务。保留可恢复配置，升级驱动或框架后重查峰值与稳定性。成本也包含容量预留和故障恢复，不能只算权重下载。最终判断需要多少显存，应从真实任务和运行方式得出，不用模型参数乘一个固定倍数就承诺任何设备都能满足全部场景。
核对来源
以下资料用于核对概念和方法。文中的示例与测试范围分别注明，实际使用时请核对所用工具的版本。