wici-ai/inferssd

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

InferSSDは、RAMやGPUメモリに全体が収まらないMoEモデルをSSDから読み込むローカル推論エンジンです。モデルそのものではなくllama.cppの拡張実行ツールで、対応GGUF重みと要求から生成結果を返します。トークンごとに選ばれた専門家の重みをSSDから読み、RAMにキャッシュし、環境に応じてCPUとGPU経路を使います。ブラウザチャットとOpenAI互換APIで外部クライアントを接続できます。重みは別途取得し、モデルごとの大きなSSD容量と作業メモリが必要です。公式資料はApple Silicon MetalとLinux CUDAを説明し、ソースビルドにはPythonやC/C++ツールも必要です。README冒頭はWindows対応を進行中としながら本文にはWindows 11パッケージがあるため、実リリースの対応バックエンドを別に確認すべきです。全モデルや全機器の対応は保証されず、速度はSSD、キャッシュ、要求条件に依存します。公開APIには認証がないためアクセス制御が必要で、モデル重みのライセンスも別です。公開スループットは回答品質や自社機器の性能保証ではありません。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• canivel/dynolab
  Dyno Labは、ローカルモデルの動作を観察し仮説を試すApple Silicon向け研究アプリです。研究者は質問、プロンプト、モデル、実験設定を入力し、応答、活性化測定、保存資料を得ます。要求の確認、研究ノート、比較実験、線形プローブ、小型の疎なオートエンコーダー作業を提供します。アプリにPythonとMLXは含まれますが、モデル重みは別途取得して起動します。Apple SiliconとmacOS 14以上が必要で、大きなGGUFモデル向けWindows NVIDIA作業機との接続は実験的GPUプールです。読み込み済みモデルの測定と別のモデル複製を起動する実験では必要メモリが異なります。Python SDK、HTTP API、ローカルstdio MCPを備えますが、MCPの開始だけではモデルや実験は自動実行されません。結果はローカル保存でも、接続した外部アシスタントが読んだ結果を提供者へ送る可能性があり、公開範囲の確認が必要です。活性化の大きさやモデルが出力した思考は安全認証でも内部計算の忠実な説明でもありません。公式資料も探索実験と検証済み安全監視器を区別しています。
• huawei-csl/MACaQ
  MACaQは、対応モデルの重みと一部の実行方式での活性値を低精度に変換し、ローカル推論の資源負担を減らすための較正付き量子化ツールです。対応する元のモデルファイルと代表的な較正用テキスト、プロンプト、条件画像を入力し、小さなGGUFまたはsafetensorsのチェックポイントと処理設定を出力します。確認した密なテキストモデルの経路では、活性値の統計で重みの大きさを調整し、ブロックHadamard変換を行った後に低ビット量子化とコードブックの調整を実施します。文書に示されたテキスト、拡散生成、音声モデル群には個別の接続実装があるため、モデル非依存という名称をすべての構造への自動対応とは解釈できません。llama.cpp経路は二、三、四ビットの重み形式を扱い、別の経路は重みと活性値を各四ビットにするW4A4などを提供しますが、一部の部品は高い精度を維持します。変換を含む通常のGGUF経路は同梱ランタイムを使い、MACaQ-Rは一部のMoEモデルで既存形式を変えずに重みコードを調整し、標準llama.cppで動くと説明されています。準備には実行方式別の依存関係、一致する元の重み、較正資料、作業用ストレージが必要で、ガイドはPython 3.12、vLLM向けLinux、llama.cpp向けCPU経路を示しています。保存済みモデルの再読み込みで較正は繰り返しませんが、ランタイム互換性と元モデルの許諾条件は残り、拡散モデルのガイドはあるコミュニティ音声チェックポイントのライセンスが不明だと明記しています。READMEのメモリー、速度、品質の数値は今回再現しておらず、別のモデル、装置、用途で同じ結果を保証するものではありません。
• Generated-Computers/Locals
  複数エージェントの要求をApple Silicon Macで処理するローカル言語モデルサーバーです。モデルの重みそのものではなく、MLX系モデルを読み込み、バッチ処理とプロンプトキャッシュを提供する実行層です。会話とツール定義をAPIから受け取り、文章、ツール呼び出し、構造化JSONを返します。OpenAI互換に加え、Anthropic MessagesやOllama形式の対応要求を変換します。Apple Silicon M1以上、macOS 14以上、選択モデルに必要なメモリーと初回ダウンロードが必要です。既存アプリにはサーバーとモデルの設定、または提供される起動接続を別途指定します。一度に実行するモデルは一つで、GGUFをそのまま扱うサーバーではありません。高速化の数値は作者による特定機器と同時実行条件の結果で、単一要求、長い入力、他の量子化方式では変わります。既定のローカル接続に認証はないため外部公開に注意が必要で、Ollamaの埋め込みや画像理解など全機能を置き換えるものではありません。
• SheepSeb/tinyworldformer
  tinyworldformerは、Raspberry Pi Pico 2 W上で二つのニューラルネットワークにより小さなゲームを生成して遊ぶ実験です。環境予測モデルはトークン格子の現在画面と行動を入力とし、次の画面と報酬を予測します。別の行動モデルが生成画面から抽出した特徴を読み、次の行動を選ぶため、基板上の通常のゲームエンジンを操作する方式ではありません。環境予測モデルは一つのTransformerブロックを繰り返し使い、ボールやプレイヤーを一つだけ配置するなどの出力規則を加えます。PythonとPyTorchで学習し、量子化誤差を考慮した学習とエクスポートを通して、マイクロコントローラー、ホスト、WebAssembly向けのint8 Rust推論エンジンを作ります。学習は付属の小さなゲームで記録した状態遷移から始め、基板上で新しい強化学習の行動モデルを一遷移ずつ学習させることも選べます。行動モデルが予測環境の誤りを利用できるため、評価コードは生成した遷移を元のゲーム規則と照合します。汎用の動画世界モデルや産業シミュレーターではなく、READMEでは実機Picoのフレームレートは未測定とされ、確認したファイル一覧とパッケージ設定にもリポジトリのライセンスは見当たりませんでした。
• skyzh/tiny-llm
  tiny-llmは、ローカル言語モデル推論の内部を理解したいシステムエンジニア向けの実習教材です。Qwen3のモデル重みとトークン化した会話を入力とし、注意計算、サンプリング、反復生成を通してテキストを出力します。学習者はMLX配列、Python、C++、Metalで演算を実装し、MLXを正しさの基準と性能比較の対象にします。その後、過去の注意計算のキーと値を保持するKVキャッシュを、連続バッチ処理とページ単位のメモリ管理に結び付けます。第4週ではJSONの行動を検証し、変更前に承認を得て、観測可能な結果を記録する教育用コーディングエージェントを扱います。学習者用パッケージには未完成の演習があり、完成した参照実装とは別です。標準の対応環境は、指定のPython依存関係、Xcode、ネイティブ拡張のビルドツールを備えたApple Silicon Macです。本番用の隔離環境や永続的なトランザクションシステムではなく、実モデル用のエージェントコマンドが後半の再開機能や分岐機能をすべて統合するわけでもありません。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。