L

LiteLLM

模型与工程工具 热度 84 收录 2026-11-01
访问官网 ↗ GitHub 仓库 ↗

简介

统一 LLM 网关:把 100+ 家模型 provider 统一成 OpenAI 格式,带配额、预算、限流与 fallback 路由,生产环境管理多模型调用的标配。

English

A unified LLM gateway: 100+ providers normalized to the OpenAI format, with quotas, budgets, rate limits and fallback routing.

适用场景

  • 应用要同时用多家模型且随时切换
  • 团队需要按 key 管控成本与配额
  • 主模型超时需要自动降级备用模型

快速上手

  1. pip install litellm[proxy],写 config.yaml
  2. litellm --config 起代理服务
  3. 应用把 base_url 指向网关即可
  4. 配置 fallback 与 budget 告警策略

标签

网关多模型成本控制代理

相关资源

C
工程

Composio

面向 Agent 的工具集成平台:250+ 应用(GitHub、Slack、Notion 等)的开箱即用工具与鉴权管理,支持 MCP 输出。Tool integration platform for agents: 250+ ready-made app tools (GitHub, Slack, Notion...) with auth management and MCP support.

工具集成MCPAPI
热度 71 详情 →
B
工程

Browser Use

让 AI Agent 直接「使用浏览器」的 Python 库:视觉+DOM 双通道理解页面,网页操作任务成功率业界领先。Python library that lets agents drive a browser visually and via DOM — state-of-the-art on web task benchmarks.

浏览器Agent自动化Python
热度 69 详情 →
L
工程

Langfuse 精选

开源 LLM 工程可观测平台:链路追踪、成本统计、Prompt 版本管理、数据集与自动评测,Agent 上线后必备的「仪表盘」。Open-source LLM observability: tracing, cost tracking, prompt versioning, datasets and automated evals.

可观测性LLM评测开源自托管
热度 86 详情 →
↑