所以我猜是混合精度加模型太大导致暂时还没有量化的模型出来
#96
by lzm1066258 - opened
所以我猜是混合精度加模型太大导致暂时还没有量化的模型出来？
架构有创新需要适配吧
发布的已经是量化模型
发布的已经是量化模型
The community really wants quants in 1 bit! :) There’s still no GGUF with Unsloth, that’s the thing.
发布的已经是量化模型
The community really wants quants in 1 bit! :) There’s still no GGUF with Unsloth, that’s the thing.
new architecture always takes llama.cpp long time to adapt, like qwen3 next
发布的是混合精度模型。我说的是现在还没有类似于q4量化的gguf这种适配llama.cpp的模型。
