TIP
The vLLM Provider supports querying language models deployed with vLLM for prompt-based interactions.
认证
此提供商需要身份验证。
- api_url: vLLM API 端点 URL(必需:True,敏感:False)
- api_key: 如果您的 vLLM 部署需要身份验证,可选的 API 密钥(必需:False,敏感:True)
在工作流中
此提供商可用于工作流。
作为"步骤"来查询数据,示例:
yaml
steps:
- name: Query vllm
provider: vllm
config: "{{ provider.my_provider_name }}"
with:
prompt: {value}
temperature: {value}
model: {value}
max_tokens: {value}
structured_output_format: {value}请查看以下工作流示例:
连接 Provider
要连接到 vLLM 部署:
- 部署您的 vLLM 实例或获取现有部署的 API 端点
- 在 provider 配置中配置 API URL
- 如果您的部署需要认证,请配置 API 密钥