NVIDIA/Model-Optimizer

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

量子化、枝刈り、蒸留、投機的デコーディングを提供するモデル最適化ライブラリです。推論フレームワーク向けに最適化したチェックポイントを出力します。

ATFへの役立ち方

HarnessのAI実行を支える推論基盤で、モデル最適化の選択肢を比較する際に参考にできます。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• Low-Zi-Hong/ESP32s3-LLM-Cluster
  ESP32-S3ノード7台と1.58ビット量子化を使う分散言語モデル推論プロジェクトです。親ノードがトークン化と埋め込みを担当し、SPI接続されたノードがモデル層を処理します。
• Taichu-AI/ZDTaichu5.0-9B
  テキスト、画像、動画に対応し、視覚理解、空間推論、エージェントのツール使用、身体性AI研究を扱うマルチモーダルモデルです。Qwen3.5-9Bの言語基盤とC-RADIOv4-Hの視覚エンコーダを組み合わせています。
• Niko1221/Strata
  NVIDIA GPU搭載のWindowsおよびLinux PCでQwen3.8-Flash-Nextを実行するローカル推論エンジンです。リポジトリはOpenAIとAnthropic互換のローカルAPIと任意の画像入力を説明しています。
• mizorewww/laya-coreml
  Layaの型付き判断モデルをApple Core MLとNeural Engineへ移植したものです。トークンを生成せず端末上で実行し、速度と消費電力の測定値、Snakeのデモを公開しています。
• firelex/jeff
  Qwen3.5とGemma 4を微調整した分類モデルです。自然言語で記述した状況と選択肢を受け取り、文章を生成せずに各選択肢の確率を返します。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。