deepseek-ai/DeepGEMM

出典
GitHub
初登場日
分野
モデル推論
GitHubスター数
8,159
主な言語
Cuda

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

deepseek-ai/DeepGEMM

何をするか

行列積や融合MoEなど、言語モデルの計算向けのCUDAテンソルコアカーネルライブラリです。DeepJITで実行時にカーネルをコンパイルします。

ATFへの役立ち方

LabChinで言語モデルのGPU計算実験を計画する際に、カーネル実装を参考にできます。研究ノートやワークフローのツールではなく、低レベルのライブラリです。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

  • Ebony-Vinyl/dsh-our-free-model
    dshエージェントを外部のモデルサービスに接続するプラグインであり、モデルの重みをローカルで実行するものではありません。会話、ツールの結果、必要に応じて画像を外部ゲートウェイに送り、回答やツール呼び出しを受け取ります。アダプターはモデル一覧を更新し、利用可能性を確認して、複数の応答規格をホストのストリーミング形式に変換します。他のプログラム向けのOpenAI互換ローカル転送サービスと、ローカルの利用記録も備えています。開始には対応するdshホスト、対応するNode.js実行環境、ネットワーク接続が必要です。Kiloは無料モデルへの匿名アクセスを公式に認めていますが、IP単位の回数制限があります。OpenCode経路ではクライアントの識別情報も模倣するため、すべてを公式公開APIとみなさず、利用権限と規約を別途確認する必要があります。他のアカウント経路とデスクトップのEAC経路には別のログインや承認が必要であり、無料ゲートウェイを無制限、非公開、機密の本番データ向けと考えてはいけません。
  • Edge0-AI/Edge0
    Edge0はSSDへのエキスパートのオフロード、Recover-LoRA、ルーティング予測を使うストリーミングMoE推論フレームワークです。READMEでは公開済みのプラットフォーム別エンジンと2026年第4四半期予定の統合フレームワークを区別しています。
  • Vibra-Ingenn/Janus
    gguf modelを自分の計算機で動かす単一のGo実行ファイルです。llama.cppを使いAMD、Intel、NVIDIAのグラフィックスのVulkanで動かし、無い場合はCPUで動かし、OpenAIと同じ形のAPIでchat completionsとmodelsを公開します。再起動せずにmodelを入れ替え、推論部分を別の項目に分け、chat templateをgguf情報から読み取ります。PythonやDockerは必要ありません。
  • magnitudedev/magnitude
    ユーザーのハードウェア上でカーネルをコンパイルして調整するエージェント向け推論エンジンです。Apple Silicon、NVIDIA、AMDまたはCPUで公開モデルを実行し、デスクトップアプリとCLIから既存のエージェントに接続します。
  • ProjectDMX/DMI
    LLMの推論と学習中の内部状態を確認する、分離型の非同期観測バックエンドです。HuggingFace、vLLM、Megatron-LMとの連携を提供する研究プレビュー段階で、APIは変更される可能性があります。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。

GitHubで見る (新しいタブで開きます)