bojieli/ai-infra-book

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

一本中文开源书，从硬件约束和模型架构出发，通过量化估算推导LLM推理与训练系统的设计。仓库包含全书正文、PDF以及配套计算工具和实验。

对 ATF 的帮助

可作为理解模型延迟与成本差异的背景资料，在Harness中选择执行端时提供参考。它是一本书，而不是可复用的软件。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• modelscope/ms-cookbook
  ModelScope Cookbook是一份用开源模型构建实际应用的开源指南，涵盖模型选型、推理、微调、评测、RAG和agent，并提供企业知识问答、客服质检分析等可运行示例。
• experientiallabs/experiential
  开源gateway，把托管模型、BYOK模型和本地模型统一到一个兼容OpenAI的API之下。可按用户和agent设定可用模型与支出上限，并能用生产流量构建定制的router或模型。
• vinnylarouge/jevlike
  Jevlike是一个独立的入门模型，接收一段文本和一组会变化的文本选项，一次计算即为每个选项返回一个概率。演示中用同样的方法选择Doom手柄按键和国际象棋走法。
• jingyaogong/minimind
  一个教学性质的项目，用原生PyTorch从零实现约64M参数的小型语言模型。代码涵盖pretraining、SFT、LoRA、RLHF、tool use和distillation等完整训练流程。
• PrismML-Eng/Bonsai-demo
  这是在GPU或CPU上本地运行Bonsai语言模型的演示。其Bonsai 2演示包括视觉输入、工具调用和MCP服务器支持。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。