V100 对 INT4 的完整说明（分**硬件原生支持**、**软件能不能跑**两部分）一、硬件层面：V100 没有原生 INT4 Tensor Core 加速V100 是 Volta（sm70）

一、硬件层面：V100 没有原生 INT4 Tensor Core 加速V100 是Volta（sm70）第一代 Tensor Core，硬件仅原生支持：FP16、FP32、INT8。 从Turing（20 系 / T4，sm75）开始，第二代 Tensor Core 才加入硬件 INT4 加速。 简单说：30/40/50 系、A100/H100 跑 INT4 是硬件加速，速度快；V100 跑 INT4 只是软件模拟，靠 CUDA 通用核心拆解 4bit 数据，没有专用张量单元提速。二、软件层面：V100 可以正常加载、运行 INT4 量化模型（分两种工具）1. llama.cpp/ Ollama（GGUF Q4_K_M，普通人最常用）✅完美兼容，稳定可用GGUF 的 4bit 量化是 CPU/GPU 通用格式，V100 编译 CUDA 版 llama.cpp 后，可把全部模型层放到 32G 显存跑 Q4_K_M（INT4），只是速度比 3060/4060Ti 慢一点，但能完整载入 30B 量化模型。2. PyTorch bitsandbytes 4bit 量化（QLoRA 训练、AWQ/GPTQ 推理）⚠️兼容性差，容易报错、崩溃bitsandbytes 的 4bit 内核是针对 Turing 及更新架构优化，V100 运行时经