drumih/turbo-fieldfare

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

这是一个基于Swift和Metal的runtime，可在Apple Silicon Mac上用约2 GB内存运行Gemma 4 26B-A4B模型。它只把共享核心和KV cache保留在内存中，只从SSD流式读取所需的expert。

对 ATF 的帮助

与我们的产品关系较弱，且面向Apple Silicon Mac。不过对于在内存较小的硬件上运行大模型的方法，仍可以作为AX咨询的参考。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• MoonshotAI/Kimi-K3
  Kimi K3是一个开放权重的多模态Mixture-of-Experts模型，总参数2.8T，激活参数104B，支持100万token的context window。它能理解文本、图像和视频，面向长周期编码、知识工作和推理。
• lidge-jun/opencodex
  opencodex是一个本地proxy，把Codex的Responses API转换成其他供应商的格式，包括streaming和tool call。这样Codex、Claude Code、Claude Desktop和Grok Build就能使用Gemini、DeepSeek或Ollama模型等模型。
• lyogavin/airllm
  AirLLM通过逐层依次加载模型，降低大语言模型推理所需的GPU显存，无需量化、蒸馏或剪枝即可在单张4GB GPU上运行70B模型，并已加入训练支持。
• Robbyant/lingbot-map
  用于流式3D重建的前馈模型。其Geometric Context Transformer利用锚点上下文、位姿参考窗口和轨迹记忆，校正长帧序列中的漂移。
• FareedKhan-dev/kimi-k3-in-c
  用可移植C99编写的引擎，在单个CPU上运行Kimi K3推理，不需要GPU、BLAS或框架，模型从磁盘流式读取。README称峰值内存为8.24 GB，增加内存只会提升速度。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。