- 编译安装llama.cpp
| git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp mkdir -p tools/ui/dist cd tools/ui/ wget https://hf-mirror.com/buckets/ggml-org/llama-ui/resolve/latest/dist.tar.gz tar zxf dist.tar.gz -C dist/ cd ../../ mkdir build && cd build cmake -DLLAMA_CUDA=ON .. make -j$(nproc) |
- 下载模型
| mkdir /root/models && cd /root/models wget https://hf-mirror.com/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q3_K_M.gguf wget https://hf-mirror.com/unsloth/Qwen3.8-27B-GGUF/resolve/main/Qwen3.8-27B-UD-Q3_K_XL.gguf |
- 启动llama
| /root/llama.cpp/build/bin/llama-server -m /root/models/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf –port 11434 –host 0.0.0.0 –ctx-size 262144 –n-predict 262144 –cache-type-k q8_0 –cache-type-v q8_0 –flash-attn on –jinja |
- 模型对比
| 对比维度 | Qwen3.8-27B-UD-Q3_K_XL.gguf | gemma-4-26B-A4B-it-UD-Q3_K_M.gguf |
| 架构 | Dense 稠密，27B 全参数每轮参与计算 | MoE 稀疏，总参≈26B，每次仅激活≈4B（A4B） |
| 量化档位 | Q3_K_XL（Q3_K 系列质量优先，体积更大） | Q3_K_M（Q3_K 系列均衡档，更省显存） |
| 上下文 | 原生 262K，支持扩展至 1M token | 原生 256K token |
| 显存参考（含 KV，粗略） | 约 20–24GB+，24G 卡勉强跑、长上下文易爆 | 约 14–17GB+，16G 可跑、24G 从容；注意全部专家权重仍需载入显存，不是只占 4B |
| 推理速度 | 慢（稠密、带宽敏感） | 明显更快（激活参数量小） |
| 能力偏向 | 中文、代码、图文 / 视觉、长文档、输出一致性 | 数学 / 逻辑硬推理、英文任务、高并发聊天、吞吐速度 |