drumih/turbo-fieldfare

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

Apple Silicon Mac上で、Gemma 4 26B-A4Bモデルを約2 GBのRAMで動かすSwiftとMetalのruntimeです。共有コアとKV cacheだけをメモリに置き、必要なexpertだけをSSDからストリーミングします。

ATFへの役立ち方

私たちの製品とは緩やかな関係にとどまり、Apple Silicon Macを対象としています。それでも、メモリの少ない機器で大きなモデルを動かす方法について、AXコンサルティングの参考になり得ます。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• MoonshotAI/Kimi-K3
  Kimi K3は、総パラメータ2.8T、活性パラメータ104Bのopen-weightマルチモーダルMixture-of-Expertsモデルで、100万tokenのcontext windowに対応します。テキスト、画像、動画を理解し、長時間にわたるcoding、知識業務、推論を対象としています。
• lidge-jun/opencodex
  opencodexは、CodexのResponses APIを他のプロバイダーの形式に変換するローカルproxyで、streamingやtool callも変換します。これにより、Codex、Claude Code、Claude Desktop、Grok BuildでGemini、DeepSeek、Ollamaのモデルなどを使えます。
• lyogavin/airllm
  AirLLMはモデルのレイヤーを1つずつ順に読み込むことで、大規模言語モデルの推論に必要なGPUメモリを減らします。量子化、蒸留、プルーニングなしで70Bモデルを4GBのGPU 1枚で動かせ、学習機能も追加されました。
• Robbyant/lingbot-map
  ストリーミングで3D再構成を行うフィードフォワード型モデルです。Geometric Context Transformerがアンカーコンテキスト、姿勢参照ウィンドウ、軌跡メモリを使い、長いフレーム列で生じるドリフトを補正します。
• FareedKhan-dev/kimi-k3-in-c
  GPU、BLAS、フレームワークなしで、1つのCPU上でKimi K3の推論を動かす移植性のあるC99エンジンで、モデルをディスクから読み込みます。READMEでは、ピークメモリ使用量が8.24 GBで、RAMを増やすと速度だけが上がると書かれています。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。