github.com 推荐 经典 代码仓库
GitHub - ggml-org/llama.cpp: LLM inference in C/C++
llama.cpp 用 C/C++ 实现 LLM 推理,支持多种模型与量化格式。
资源信息
- 域名
- github.com
- 内容类型
- 代码仓库(repository)
- 主题
- 立场
- 推荐(rec)
- 提及
- 3 次提及,3 位提及者
- 合集
- 经典(classic)
- 提及年份
- 2024
- 综合推荐分
- 8.3
推荐理由
Recommends Llama.cpp as the go-to engine for CPU and Mac users.
HN 评论原话
“I'd go with using Llama.cpp, Exllama, or vLLM depending upon your system.”
网页原文证据
LLM inference in C/C++
网页抓取状态
成功(ok)