FlashML-org/FreeToken

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

GPU、CPU、メモリに処理を分担させ、大規模なopen-weightのMoEモデルを個人のハードウェアで動かすservingエンジンです。コーディングagentが接続できるよう、AnthropicとOpenAI互換のAPIを提供します。

ATFへの役立ち方

HarnessがClaude CodeやCodexなどのexecutorに仕事を渡す場合に、それらが互換APIで呼び出せるローカルモデルサーバーとして比較する価値があります。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• sgl-project/sglang
  大規模言語モデルとマルチモーダルモデルのためのサービングフレームワークです。DeepSeek、Qwen、Llama、GLMなどの公開モデルを提供でき、画像や動画生成向けのdiffusionモデルも扱います。
• cactus-compute/needle
  Needle 2は、tool calling、デバイス操作、構造化抽出のための45Mパラメータの公開モデルで、14MBの単一エンジンに収まっています。Pythonパッケージは推論、LoRAファインチューニング、エクスポートを扱い、tool呼び出しを信頼度スコア付きのJSONで返します。
• jingyaogong/minimind
  約64Mパラメータの小さな言語モデルを、PyTorchの基本機能でゼロから実装した教育用プロジェクトです。コードはpretraining、SFT、LoRA、RLHF、tool use、distillationなど学習の全工程を扱います。
• unslothai/unsloth
  Unslothは、LLM、拡散、埋め込み、音声モデルを実行し学習させるデスクトップアプリで、GGUFとMLX形式に対応します。ローカルモデルをClaude Code、Codex、MCPと組み合わせて使え、ウェブ検索とRAGも備えます。
• experientiallabs/experiential
  ホスティングモデル、BYOK、ローカルモデルを一つのOpenAI互換APIにまとめるオープンソースのgatewayです。ユーザーとagentごとに使えるモデルと支出上限を決め、本番トラフィックから独自のrouterやモデルを作れます。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。