NVIDIA/Model-Optimizer

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

提供量化、剪枝、蒸馏和推测解码的模型优化库。可导出供下游推理框架使用的优化检查点。

为支撑 Harness AI 执行的推理基础设施比较模型优化选项时，可以参考该库。

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

Low-Zi-Hong/ESP32s3-LLM-Cluster
这是使用七个ESP32-S3节点和1.58位量化的分布式语言模型推理项目。主节点处理分词和嵌入，通过SPI连接的节点处理模型层。
Taichu-AI/ZDTaichu5.0-9B
支持文本、图像和视频的多模态模型，面向视觉理解、空间推理、代理工具使用和具身 AI 研究。它结合了 Qwen3.5-9B 语言骨干与 C-RADIOv4-H 视觉编码器。
Niko1221/Strata
这是在配备NVIDIA GPU的Windows和Linux电脑上运行Qwen3.8-Flash-Next的本地推理引擎。仓库介绍了兼容OpenAI和Anthropic的本地API以及可选图像输入。
mizorewww/laya-coreml
这是把Laya类型化决策模型移植到Apple Core ML与Neural Engine的项目，在设备端运行且不生成token，并公开了速度与能耗基准和一个贪吃蛇演示。
firelex/jeff
这是对Qwen3.5和Gemma 4进行微调的分类模型。它接收自然语言描述的情境和选项，不生成文本，直接返回各选项的概率。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。