FlashML-org/FreeToken

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

一款serving引擎，把计算分配到GPU、CPU和内存上，在个人硬件上运行大型open-weight MoE模型。它提供兼容Anthropic和OpenAI的API，便于编码agent接入。

对 ATF 的帮助

作为一种可让Harness所交接的Claude Code、Codex等executor通过兼容API调用的本地模型服务器，值得进行比较。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• sgl-project/sglang
  一个面向大语言模型和多模态模型的推理服务框架。它可以部署DeepSeek、Qwen、Llama、GLM等开放模型，也支持用于图像和视频生成的diffusion模型。
• cactus-compute/needle
  Needle 2是一个面向工具调用、设备操作和结构化抽取的45M参数开放模型，整体打包为一个14MB的引擎。其Python包支持推理、LoRA微调和导出，以JSON形式返回工具调用并附带置信度分数。
• jingyaogong/minimind
  一个教学性质的项目，用原生PyTorch从零实现约64M参数的小型语言模型。代码涵盖pretraining、SFT、LoRA、RLHF、tool use和distillation等完整训练流程。
• unslothai/unsloth
  Unsloth是用于运行和训练LLM、扩散、嵌入和音频模型的桌面应用，支持GGUF和MLX格式。本地模型还可与Claude Code、Codex和MCP配合使用，并提供网页搜索和RAG。
• experientiallabs/experiential
  开源gateway，把托管模型、BYOK模型和本地模型统一到一个兼容OpenAI的API之下。可按用户和agent设定可用模型与支出上限，并能用生产流量构建定制的router或模型。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。