sgl-project/sglang

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

大規模言語モデルとマルチモーダルモデルのためのサービングフレームワークです。DeepSeek、Qwen、Llama、GLMなどの公開モデルを提供でき、画像や動画生成向けのdiffusionモデルも扱います。

ATFへの役立ち方

AX consultingの現場で公開モデルを自社サーバーで提供したい場合の参考になります。Harnessのexecutorが呼び出せるself-hostedのモデルendpointを検討する際、他のサービングエンジンと比較する価値があります。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• jingyaogong/minimind
  約64Mパラメータの小さな言語モデルを、PyTorchの基本機能でゼロから実装した教育用プロジェクトです。コードはpretraining、SFT、LoRA、RLHF、tool use、distillationなど学習の全工程を扱います。
• FlashML-org/FreeToken
  GPU、CPU、メモリに処理を分担させ、大規模なopen-weightのMoEモデルを個人のハードウェアで動かすservingエンジンです。コーディングagentが接続できるよう、AnthropicとOpenAI互換のAPIを提供します。
• experientiallabs/experiential
  ホスティングモデル、BYOK、ローカルモデルを一つのOpenAI互換APIにまとめるオープンソースのgatewayです。ユーザーとagentごとに使えるモデルと支出上限を決め、本番トラフィックから独自のrouterやモデルを作れます。
• cactus-compute/needle
  Needle 2は、tool calling、デバイス操作、構造化抽出のための45Mパラメータの公開モデルで、14MBの単一エンジンに収まっています。Pythonパッケージは推論、LoRAファインチューニング、エクスポートを扱い、tool呼び出しを信頼度スコア付きのJSONで返します。
• bojieli/ai-infra-book
  ハードウェアの制約とモデルアーキテクチャから出発し、LLMの推論と学習システムの設計を定量的に導く中国語のオープンソース書籍です。リポジトリには本文全体、PDF、付属の計算ツールと実験が含まれます。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。