JustVugg/colibri

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

一个用纯C编写、无engine依赖的推理引擎，可在消费级硬件上运行大型MoE（mixture-of-experts）模型。它把VRAM、RAM和存储视为同一个内存层级，并从磁盘流式加载expert。

对 ATF 的帮助

对需要在客户现有硬件上运行模型的AX consulting场景，可作参考。项目自己说明不保证速度，因此更适合作为研究参考，而非直接使用。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• router-for-me/CLIProxyAPI
  一个用Go编写的代理服务器，把Codex、Claude Code、Antigravity、Grok Build等CLI工具封装成OpenAI、Gemini、Claude兼容的API。兼容的客户端和SDK可以借此调用这些模型，也支持多个CLI账号。
• deepseek-ai/DeepSpec
  DeepSpec是用于训练和评估推测解码（speculative decoding）草稿模型的代码库。它包含数据准备、草稿模型实现、基于缓存目标模型输出的训练，以及在基准任务上测量接受率的评估。
• Robbyant/lingbot-map
  用于流式3D重建的前馈模型。其Geometric Context Transformer利用锚点上下文、位姿参考窗口和轨迹记忆，校正长帧序列中的漂移。
• diegosouzapw/OmniRoute
  OmniRoute是采用MIT许可的AI网关，把多家模型提供方集中到同一个endpoint之后，供Claude Code、Codex、Cursor、Cline等工具使用。它提供考虑配额的自动回退、token压缩，以及追踪各提供方免费额度的仪表盘。
• lidge-jun/opencodex
  opencodex是一个本地proxy，把Codex的Responses API转换成其他供应商的格式，包括streaming和tool call。这样Codex、Claude Code、Claude Desktop和Grok Build就能使用Gemini、DeepSeek或Ollama模型等模型。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。