bojieli/ai-infra-book

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

ハードウェアの制約とモデルアーキテクチャから出発し、LLMの推論と学習システムの設計を定量的に導く中国語のオープンソース書籍です。リポジトリには本文全体、PDF、付属の計算ツールと実験が含まれます。

ATFへの役立ち方

モデルの遅延とコストがなぜ変わるのかを理解する背景資料として、Harnessで実行側を選ぶ際の参考になり得ます。再利用できるソフトウェアではなく書籍です。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• modelscope/ms-cookbook
  ModelScope Cookbookは、open-sourceモデルで実際のアプリケーションを作る方法をまとめた公開ガイドです。モデル選定、推論、fine-tuning、評価、RAG、agentを扱い、企業ナレッジQ&Aやカスタマーサービス品質分析などの実行可能な例を収めています。
• experientiallabs/experiential
  ホスティングモデル、BYOK、ローカルモデルを一つのOpenAI互換APIにまとめるオープンソースのgatewayです。ユーザーとagentごとに使えるモデルと支出上限を決め、本番トラフィックから独自のrouterやモデルを作れます。
• vinnylarouge/jevlike
  Jevlikeは、テキストと変化するテキストの選択肢リストを受け取り、一回の処理で選択肢ごとに確率を一つずつ返す独立したスターターモデルです。デモでは同じ方式でDoomのコントローラーボタンやチェスの指し手を選びます。
• jingyaogong/minimind
  約64Mパラメータの小さな言語モデルを、PyTorchの基本機能でゼロから実装した教育用プロジェクトです。コードはpretraining、SFT、LoRA、RLHF、tool use、distillationなど学習の全工程を扱います。
• PrismML-Eng/Bonsai-demo
  GPUやCPUでBonsai言語モデルをローカル実行するデモです。Bonsai 2のデモには視覚入力、ツール呼び出し、MCPサーバーへの対応が含まれます。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。