unslothai/unsloth

出典
GitHub
初登場日
分野
モデル推論
GitHubスター数
76,266
主な言語
Python
ウェブサイト
unsloth.ai/docs (新しいタブで開きます)

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

unslothai/unsloth

何をするか

Unslothは、LLM、拡散、埋め込み、音声モデルを実行し学習させるデスクトップアプリで、GGUFとMLX形式に対応します。ローカルモデルをClaude Code、Codex、MCPと組み合わせて使え、ウェブ検索とRAGも備えます。

ATFへの役立ち方

ローカルモデルをClaude Code、Codex、MCPにつなげるため、Harnessのexecutorとしてローカルモデルを検討する際に比較する価値があります。モデルを現場の機器で動かす必要があるAX consultingの現場でも参考になり得ます。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

  • cactus-compute/needle
    Needle 2は、tool calling、デバイス操作、構造化抽出のための45Mパラメータの公開モデルで、14MBの単一エンジンに収まっています。Pythonパッケージは推論、LoRAファインチューニング、エクスポートを扱い、tool呼び出しを信頼度スコア付きのJSONで返します。
  • FareedKhan-dev/kimi-k3-in-c
    GPU、BLAS、フレームワークなしで、1つのCPU上でKimi K3の推論を動かす移植性のあるC99エンジンで、モデルをディスクから読み込みます。READMEでは、ピークメモリ使用量が8.24 GBで、RAMを増やすと速度だけが上がると書かれています。
  • FlashML-org/FreeToken
    GPU、CPU、メモリに処理を分担させ、大規模なopen-weightのMoEモデルを個人のハードウェアで動かすservingエンジンです。コーディングagentが接続できるよう、AnthropicとOpenAI互換のAPIを提供します。
  • lyogavin/airllm
    AirLLMはモデルのレイヤーを1つずつ順に読み込むことで、大規模言語モデルの推論に必要なGPUメモリを減らします。量子化、蒸留、プルーニングなしで70Bモデルを4GBのGPU 1枚で動かせ、学習機能も追加されました。
  • sgl-project/sglang
    大規模言語モデルとマルチモーダルモデルのためのサービングフレームワークです。DeepSeek、Qwen、Llama、GLMなどの公開モデルを提供でき、画像や動画生成向けのdiffusionモデルも扱います。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。

GitHubで見る (新しいタブで開きます)