Low-Zi-Hong/ESP32s3-LLM-Cluster

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

ESP32-S3ノード7台と1.58ビット量子化を使う分散言語モデル推論プロジェクトです。親ノードがトークン化と埋め込みを担当し、SPI接続されたノードがモデル層を処理します。

ATFへの役立ち方

LabChinで資源の限られた組み込み機器の推論実験を計画する際に参考にできます。実運用への適合性を示すものではありません。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• Niko1221/Strata
  NVIDIA GPU搭載のWindowsおよびLinux PCでQwen3.8-Flash-Nextを実行するローカル推論エンジンです。リポジトリはOpenAIとAnthropic互換のローカルAPIと任意の画像入力を説明しています。
• NVIDIA/Model-Optimizer
  量子化、枝刈り、蒸留、投機的デコーディングを提供するモデル最適化ライブラリです。推論フレームワーク向けに最適化したチェックポイントを出力します。
• firelex/jeff
  Qwen3.5とGemma 4を微調整した分類モデルです。自然言語で記述した状況と選択肢を受け取り、文章を生成せずに各選択肢の確率を返します。
• Taichu-AI/ZDTaichu5.0-9B
  テキスト、画像、動画に対応し、視覚理解、空間推論、エージェントのツール使用、身体性AI研究を扱うマルチモーダルモデルです。Qwen3.5-9Bの言語基盤とC-RADIOv4-Hの視覚エンコーダを組み合わせています。
• mizorewww/laya-coreml
  Layaの型付き判断モデルをApple Core MLとNeural Engineへ移植したものです。トークンを生成せず端末上で実行し、速度と消費電力の測定値、Snakeのデモを公開しています。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。