LiteLLM
简介
统一 LLM 网关:把 100+ 家模型 provider 统一成 OpenAI 格式,带配额、预算、限流与 fallback 路由,生产环境管理多模型调用的标配。
English
A unified LLM gateway: 100+ providers normalized to the OpenAI format, with quotas, budgets, rate limits and fallback routing.
适用场景
- 应用要同时用多家模型且随时切换
- 团队需要按 key 管控成本与配额
- 主模型超时需要自动降级备用模型
快速上手
- pip install litellm[proxy],写 config.yaml
- litellm --config 起代理服务
- 应用把 base_url 指向网关即可
- 配置 fallback 与 budget 告警策略
标签
相关资源
Composio
面向 Agent 的工具集成平台:250+ 应用(GitHub、Slack、Notion 等)的开箱即用工具与鉴权管理,支持 MCP 输出。Tool integration platform for agents: 250+ ready-made app tools (GitHub, Slack, Notion...) with auth management and MCP support.
Browser Use
让 AI Agent 直接「使用浏览器」的 Python 库:视觉+DOM 双通道理解页面,网页操作任务成功率业界领先。Python library that lets agents drive a browser visually and via DOM — state-of-the-art on web task benchmarks.
Langfuse 精选
开源 LLM 工程可观测平台:链路追踪、成本统计、Prompt 版本管理、数据集与自动评测,Agent 上线后必备的「仪表盘」。Open-source LLM observability: tracing, cost tracking, prompt versioning, datasets and automated evals.