llama.cpp 1.0 发布
semver 承诺落地:FP8 KV 缓存与 MoE 专家缓存上线。
- 为什么重要:
- llama.cpp 与 ggml 于 11 月 13 日同发 1.0:移除 llama_set_warmup 等 35 个弃用函数与 defrag_thold,把 NextN 投机解码 API 从 llama-ext.h 提升为公共头文件接口;新增 OCP FP8 KV 缓存(-ctk/-ctv f8_e4m3,可选静态逐张量缩放)与主机内存 MoE 专家缓存(moe_cache_size、moe_cache_cpu_share,LRFU 替换);支持 Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0、drama-3 TTS 及两个视觉模型,累计 150 余种架构。同时承诺:公共 C API/ABI 不兼容变更一律 major 版本递增。llama-server 安全默认收紧:非 loopback 地址开工具/MCP 必须配 API key(或显式 --allow-unauthenticated-tools),HF_TOKEN 仅限 huggingface.co,修复 DNS rebinding 与 SSRF。
- 与端侧/边缘部署的关联:
- 直接相关:FP8 KV 给端侧长上下文省显存,专家缓存让小显存设备跑大 MoE,server 安全默认值变化影响所有自托管用户。