Low-Zi-Hong/ESP32s3-LLM-Cluster

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

这是使用七个ESP32-S3节点和1.58位量化的分布式语言模型推理项目。主节点处理分词和嵌入，通过SPI连接的节点处理模型层。

Niko1221/Strata
这是在配备NVIDIA GPU的Windows和Linux电脑上运行Qwen3.8-Flash-Next的本地推理引擎。仓库介绍了兼容OpenAI和Anthropic的本地API以及可选图像输入。
NVIDIA/Model-Optimizer
提供量化、剪枝、蒸馏和推测解码的模型优化库。可导出供下游推理框架使用的优化检查点。
firelex/jeff
这是对Qwen3.5和Gemma 4进行微调的分类模型。它接收自然语言描述的情境和选项，不生成文本，直接返回各选项的概率。
Taichu-AI/ZDTaichu5.0-9B
支持文本、图像和视频的多模态模型，面向视觉理解、空间推理、代理工具使用和具身 AI 研究。它结合了 Qwen3.5-9B 语言骨干与 C-RADIOv4-H 视觉编码器。
basetenlabs/baseten-switch
这是在原生供应商和 Baseten 模型之间切换受支持编程执行器请求的本地 macOS 应用及网关，提供全局路由开关和客户端模型映射，目前处于测试阶段。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。