FareedKhan-dev/kimi-k3-in-c

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

GPU、BLAS、フレームワークなしで、1つのCPU上でKimi K3の推論を動かす移植性のあるC99エンジンで、モデルをディスクから読み込みます。READMEでは、ピークメモリ使用量が8.24 GBで、RAMを増やすと速度だけが上がると書かれています。

ATFへの役立ち方

1つのCPUで大きなモデルを動かす事例として、GPUのない現場でのAX consultingの軽い参考になり得ます。ただしREADME自体も生成が遅いと書いています。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• unslothai/unsloth
  Unslothは、LLM、拡散、埋め込み、音声モデルを実行し学習させるデスクトップアプリで、GGUFとMLX形式に対応します。ローカルモデルをClaude Code、Codex、MCPと組み合わせて使え、ウェブ検索とRAGも備えます。
• lyogavin/airllm
  AirLLMはモデルのレイヤーを1つずつ順に読み込むことで、大規模言語モデルの推論に必要なGPUメモリを減らします。量子化、蒸留、プルーニングなしで70Bモデルを4GBのGPU 1枚で動かせ、学習機能も追加されました。
• cactus-compute/needle
  Needle 2は、tool calling、デバイス操作、構造化抽出のための45Mパラメータの公開モデルで、14MBの単一エンジンに収まっています。Pythonパッケージは推論、LoRAファインチューニング、エクスポートを扱い、tool呼び出しを信頼度スコア付きのJSONで返します。
• MoonshotAI/Kimi-K3
  Kimi K3は、総パラメータ2.8T、活性パラメータ104Bのopen-weightマルチモーダルMixture-of-Expertsモデルで、100万tokenのcontext windowに対応します。テキスト、画像、動画を理解し、長時間にわたるcoding、知識業務、推論を対象としています。
• FlashML-org/FreeToken
  GPU、CPU、メモリに処理を分担させ、大規模なopen-weightのMoEモデルを個人のハードウェアで動かすservingエンジンです。コーディングagentが接続できるよう、AnthropicとOpenAI互換のAPIを提供します。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。