Skip to content

关于本页

本页介绍更夫所基于的开源内核 Keep 的通用能力。更夫在其上提供国内化增强:钉钉/企业微信/飞书通知、国产大模型接入、LDAP 认证与值班管理。部署与上手请看快速上手。

TIP

The vLLM Provider supports querying language models deployed with vLLM for prompt-based interactions.

认证 ​

此提供商需要身份验证。

  • api_url: vLLM API 端点 URL(必需:True,敏感:False)
  • api_key: 如果您的 vLLM 部署需要身份验证,可选的 API 密钥(必需:False,敏感:True)

在工作流中 ​

此提供商可用于工作流。

作为"步骤"来查询数据,示例:

yaml
steps:
    - name: Query vllm
      provider: vllm
      config: "{{ provider.my_provider_name }}"
      with:
        prompt: {value}
        temperature: {value}
        model: {value}
        max_tokens: {value}
        structured_output_format: {value}

请查看以下工作流示例:

连接 Provider ​

要连接到 vLLM 部署:

  1. 部署您的 vLLM 实例或获取现有部署的 API 端点
  2. 在 provider 配置中配置 API URL
  3. 如果您的部署需要认证,请配置 API 密钥

基于 MIT 协议开源的 Keep · 由更夫社区维护