Low-Zi-Hong/ESP32s3-LLM-Cluster

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

这是使用七个ESP32-S3节点和1.58位量化的分布式语言模型推理项目。主节点处理分词和嵌入，通过SPI连接的节点处理模型层。

对 ATF 的帮助

LabChin规划资源受限嵌入式硬件上的推理实验时可作参考。这并不证明其适合生产业务。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• Niko1221/Strata
  这是在配备NVIDIA GPU的Windows和Linux电脑上运行Qwen3.8-Flash-Next的本地推理引擎。仓库介绍了兼容OpenAI和Anthropic的本地API以及可选图像输入。
• NVIDIA/Model-Optimizer
  提供量化、剪枝、蒸馏和推测解码的模型优化库。可导出供下游推理框架使用的优化检查点。
• firelex/jeff
  这是对Qwen3.5和Gemma 4进行微调的分类模型。它接收自然语言描述的情境和选项，不生成文本，直接返回各选项的概率。
• Taichu-AI/ZDTaichu5.0-9B
  支持文本、图像和视频的多模态模型，面向视觉理解、空间推理、代理工具使用和具身 AI 研究。它结合了 Qwen3.5-9B 语言骨干与 C-RADIOv4-H 视觉编码器。
• mizorewww/laya-coreml
  这是把Laya类型化决策模型移植到Apple Core ML与Neural Engine的项目，在设备端运行且不生成token，并公开了速度与能耗基准和一个贪吃蛇演示。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。