关于本页

本页介绍更夫所基于的开源内核 Keep 的通用能力。更夫在其上提供国内化增强：钉钉/企业微信/飞书通知、国产大模型接入、LDAP 认证与值班管理。部署与上手请看快速上手。

INFO

本指南适用于想要使用本地托管的 LLM 模型运行 Keep 的用户。 如果您遇到任何问题，请在我们的 Slack 社区 与我们交流。

概述

本指南将帮助您使用 LiteLLM 设置 Keep，LiteLLM 是一个支持超过 100 个 LLM 提供商的通用工具。LiteLLM 充当符合 OpenAI 标准的代理，允许与 Keep 无缝集成。通过遵循本指南，您可以轻松配置 Keep 以使用 LiteLLM 与各种 LLM 提供商配合使用。

动机

将 LiteLLM 与 Keep 结合使用允许组织在本地和气隙环境中运行本地模型。此设置特别有利于利用 AIOps 功能，同时确保敏感数据不会离开本地环境。通过使用 LiteLLM 作为代理，您可以与 Keep 无缝集成并访问各种 LLM 提供商，而不会影响数据安全。此方法非常适合优先考虑数据隐私并需要遵守严格监管要求的组织。

前置条件

本地运行 LiteLLM

1. 确保您的系统已安装 Python 和 pip。
2. 通过运行以下命令安装 LiteLLM：

pip install litellm

3. 使用您想要的模型启动 LiteLLM。例如，要使用 HuggingFace 模型：

litellm --model huggingface/bigcode/starcoder

这将在 http://0.0.0.0:4000 启动代理服务器。

使用 Docker 运行 LiteLLM

要使用 Docker 运行 LiteLLM，您可以使用以下命令：

docker run -p 4000:4000 litellm/litellm --model huggingface/bigcode/starcoder

此命令将在 Docker 容器中启动 LiteLLM 代理，并在端口 4000 上公开它。

配置

Env var	用途	必填	默认值	有效选项
OPEN_AI_ORGANIZATION_ID	OpenAI/LiteLLM 服务的组织 ID	是	None	有效的组织 ID 字符串
OPEN_AI_API_KEY	OpenAI/LiteLLM 服务的 API 密钥	是	None	有效的 API 密钥字符串
OPENAI_BASE_URL	LiteLLM 代理的基础 URL	是	None	有效 URL（例如 "http://localhost:4000")

::: note 这些环境变量应在 Keep 前端和后端上设置。 :::

其他资源

• LiteLLM 文档

通过遵循这些步骤，您可以使用 LiteLLM 作为灵活而强大的代理，利用多个 LLM 提供商的力量与 Keep 配合使用。