diegosouzapw/OmniRoute

出典
GitHub
初登場日
分野
モデル推論
GitHubスター数
67,897
主な言語
TypeScript
ウェブサイト
omniroute.online (新しいタブで開きます)

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

diegosouzapw/OmniRoute

何をするか

OmniRouteは、複数のモデルプロバイダーを1つのendpointの背後にまとめ、Claude Code、Codex、Cursor、Clineなどのツールから使えるようにするMITライセンスのAI gatewayです。クォータを考慮した自動切り替え、トークン圧縮、プロバイダーの無料枠を示すダッシュボードを備えています。

ATFへの役立ち方

1つのendpointの背後でクォータを見てプロバイダーを切り替える方式は、Harnessがexecutorに作業を渡す際にモデル呼び出しを振り分け、上限を追跡する方法の参考になり得ます。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

  • deepseek-ai/DeepSpec
    DeepSpecは、speculative decoding用のdraftモデルを学習、評価するためのコードベースです。データ準備、draftモデルの実装、キャッシュしたtargetモデル出力を使った学習、ベンチマーク課題でのacceptance測定を含みます。
  • google-research/timesfm
    TimesFMは、Google Researchが開発した時系列予測用の事前学習済みfoundation modelです。最新の3.0では、多変量予測と、過去および未来のcovariateへの対応が加わりました。
  • JustVugg/colibri
    engine依存なしの純粋なCで書かれ、大規模なMoE(mixture-of-experts)モデルを一般向けハードウェアで動かす推論エンジンです。VRAM、RAM、ストレージを一つのメモリ階層として扱い、expertをディスクからストリーミングします。
  • tashfeenahmed/freellmapi
    FreeLLMAPIは、多くのLLM providerの無料枠をOpenAI互換の1つの/v1 APIにまとめます。routerが利用可能なモデルを選び、あるproviderがレート制限にかかると別のproviderに切り替え、無料枠の上限を超えないようキーごとの使用量を記録します。
  • router-for-me/CLIProxyAPI
    Codex、Claude Code、Antigravity、Grok BuildなどのCLIツールを、OpenAI、Gemini、Claude互換のAPIとして公開するGo製のプロキシサーバーです。互換クライアントやSDKからこれらのモデルを使え、複数のCLIアカウントにも対応します。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。

GitHubで見る (新しいタブで開きます)