llama.cpp 本地推理

原名：llama-cpp

用 llama.cpp 和 GGUF 模型在 CPU、Apple Silicon 或常见 GPU 上运行本地大模型。

中文 Skills 技能说明

作者、翻译与许可证

原作者

Orchestra Research

中文翻译

CEOFans翻译

许可证

MIT

上游来源

https://hermes-agent.nousresearch.com/docs/zh-Hans/user-guide/skills/bundled/mlops/mlops-inference-llama-cpp

适用范围

平台：linux、macos、windows；标签：llama.cpp、GGUF、Quantization、Hugging Face Hub、CPU Inference、Apple Silicon、Edge Deployment、AMD GPUs、Intel GPUs、NVIDIA、URL-first

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。