microsoft/BitNet

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

bitnet.cppは1ビットLLM向けの公式推論フレームワークで、CPUとGPU向けに最適化されたカーネルを備えます。1ビットの埋め込みモデルと、その変換と実行のガイドも公開しています。

ATFへの役立ち方

顧客の現場が既存のCPUサーバーで言語モデルや埋め込みモデルを動かす必要がある場合に、AX consultingで比較する価値があります。1ビットの埋め込みモデルは、控えめな性能の機器でCompany Brainの検索を組む際の参考にもなり得ます。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• RunanywhereAI/runanywhere-sdks
  一つのC++コアを共有するSDK群で、LLM、ビジョン、音声、voice agent、embedding、RAG、画像生成を、スマートフォン、ブラウザ、デスクトップ、サーバー上でローカルに実行します。capability registryが各呼び出しを端末上のエンジンに振り分けます。
• Lordog/dive-into-llms
  上海交通大学の講義から生まれた無料の中国語LLM実践チュートリアルシリーズです。fine-tuningとデプロイ、promptとchain of thought、知識編集、数学推論、GUI agent、alignmentを、スライド、解説、notebookで扱います。
• p-e-w/heretic
  directional ablationにより、transformer言語モデルからsafety alignmentによる拒否動作を取り除くCLIツールです。Optunaベースのoptimizerが、拒否を減らしつつ元のモデルから大きく離れないパラメータを探します。
• deepseek-ai/Engram
  Engramは、大規模言語モデルのconditional memoryに関する論文の公式実装です。N-gram embeddingを定数時間で引けるよう改良したモジュールで静的なmemoryを取り出してhidden stateと融合し、Mixture-of-Expertsを補完します。
• AlexsJones/llmfit
  llmfitはマシンのCPU、RAM、GPU、VRAMを調べ、その環境で動かせるオープンソースLLMと量子化形式を推奨します。ターミナルUI、Webダッシュボード、REST APIを備え、ローカルで実際の毎秒トークン数を測るベンチマークもできます。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。