diegosouzapw/OmniRoute

来源
GitHub
首次上榜日期
领域
模型推理
GitHub 星标数
67,897
主要语言
TypeScript
网站
omniroute.online (在新标签页中打开)

本页介绍外部开源仓库,并非 HDATF 产品。

diegosouzapw/OmniRoute

它做什么

OmniRoute是采用MIT许可的AI网关,把多家模型提供方集中到同一个endpoint之后,供Claude Code、Codex、Cursor、Cline等工具使用。它提供考虑配额的自动回退、token压缩,以及追踪各提供方免费额度的仪表盘。

对 ATF 的帮助

在同一个endpoint之后根据配额切换提供方的方式,可作为Harness向executor交付任务时分配模型调用和追踪用量上限的参考。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

  • deepseek-ai/DeepSpec
    DeepSpec是用于训练和评估推测解码(speculative decoding)草稿模型的代码库。它包含数据准备、草稿模型实现、基于缓存目标模型输出的训练,以及在基准任务上测量接受率的评估。
  • google-research/timesfm
    TimesFM是Google Research开发的时间序列预测预训练foundation model。最新的3.0版本新增了多变量预测,并支持过去和未来的covariate。
  • JustVugg/colibri
    一个用纯C编写、无engine依赖的推理引擎,可在消费级硬件上运行大型MoE(mixture-of-experts)模型。它把VRAM、RAM和存储视为同一个内存层级,并从磁盘流式加载expert。
  • tashfeenahmed/freellmapi
    FreeLLMAPI把众多LLM provider的免费额度汇集到一个兼容OpenAI的/v1 API之后。router会挑选可用模型,在某个provider触发速率限制时切换到其他provider,并按密钥记录用量,以免超出免费额度。
  • router-for-me/CLIProxyAPI
    一个用Go编写的代理服务器,把Codex、Claude Code、Antigravity、Grok Build等CLI工具封装成OpenAI、Gemini、Claude兼容的API。兼容的客户端和SDK可以借此调用这些模型,也支持多个CLI账号。

只收录进入 Trendshift 排行榜的仓库,榜单仅用于寻找候选项目,不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目,上榜并不证明质量。

在 GitHub 上查看 (在新标签页中打开)