Skip to content

模型格式与部署 ​

理解模型存储格式、量化格式与部署生态之间的边界。

  1. SafeTensors
  2. GGUF
  3. llama.cpp:K-Quant 与 I-Quant