sgl-project/sglang

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

一个面向大语言模型和多模态模型的推理服务框架。它可以部署DeepSeek、Qwen、Llama、GLM等开放模型，也支持用于图像和视频生成的diffusion模型。

对 ATF 的帮助

当AX consulting现场希望在自有服务器上部署开放模型时，可作为参考。在考虑可供Harness的executor调用的自托管模型endpoint时，值得与其他推理服务引擎进行比较。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• jingyaogong/minimind
  一个教学性质的项目，用原生PyTorch从零实现约64M参数的小型语言模型。代码涵盖pretraining、SFT、LoRA、RLHF、tool use和distillation等完整训练流程。
• FlashML-org/FreeToken
  一款serving引擎，把计算分配到GPU、CPU和内存上，在个人硬件上运行大型open-weight MoE模型。它提供兼容Anthropic和OpenAI的API，便于编码agent接入。
• experientiallabs/experiential
  开源gateway，把托管模型、BYOK模型和本地模型统一到一个兼容OpenAI的API之下。可按用户和agent设定可用模型与支出上限，并能用生产流量构建定制的router或模型。
• cactus-compute/needle
  Needle 2是一个面向工具调用、设备操作和结构化抽取的45M参数开放模型，整体打包为一个14MB的引擎。其Python包支持推理、LoRA微调和导出，以JSON形式返回工具调用并附带置信度分数。
• bojieli/ai-infra-book
  一本中文开源书，从硬件约束和模型架构出发，通过量化估算推导LLM推理与训练系统的设计。仓库包含全书正文、PDF以及配套计算工具和实验。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。