关于本页

本页介绍更夫所基于的开源内核 Keep 的通用能力。更夫在其上提供国内化增强：钉钉/企业微信/飞书通知、国产大模型接入、LDAP 认证与值班管理。部署与上手请看快速上手。

TIP

The Llama.cpp Provider supports querying local Llama.cpp models for prompt-based interactions. Make sure you have Llama.cpp server running locally with your desired model.

Cloud Limitation

This provider is disabled for cloud environments and can only be used in local or self-hosted environments.

认证

此提供商需要身份验证。

• host: Llama.cpp 服务器主机 URL（必需：True，敏感：False）

在工作流中

此提供商可用于工作流。

作为"步骤"来查询数据，示例：

steps:
    - name: Query llamacpp
      provider: llamacpp
      config: "{{ provider.my_provider_name }}"
      with:
        prompt: {value}
        max_tokens: {value}

如果您需要此提供商的工作流示例，请提交 GitHub 问题。

连接 Provider

要使用 Llama.cpp Provider：

1. 在您的系统上安装 Llama.cpp
2. 下载或转换您的模型为 GGUF 格式
3. 使用 HTTP 接口启动 Llama.cpp 服务器：

   ./server --model /path/to/your/model.gguf --host 0.0.0.0 --port 8080

4. 在 Keep 配置中配置主机 URL 和模型路径

前置条件

• 必须安装 Llama.cpp 并编译服务器支持
• 必须在您的系统上提供 GGUF 格式的模型文件
• Llama.cpp 服务器必须正在运行并可访问
• 服务器必须有足够的资源来加载和运行您的模型

模型兼容性

该 provider 可与任何与 Llama.cpp 兼容的 GGUF 格式模型配合使用，包括：

• LLaMA 和 LLaMA-2 模型
• Mistral 模型
• OpenLLaMA 模型
• Vicuna 模型
• 以及其他兼容的模型架构

在使用 provider 之前，请确保您的模型采用 GGUF 格式。