llama.cpp 开源项目分析

仓库：github.com/ggml-org/llama.cpp · License: MIT · ⭐ 85k+

项目简介

纯 C++ LLM 推理，CPU/Metal，GGUF 量化。

核心亮点

• CPU 高效
• GGUF 量化
• Server API
• 边缘部署

适用场景

边缘/Mac 本地推理。

黑豹点评

llama.cpp 是 本地推理基石。

项目链接：https://github.com/ggml-org/llama.cpp