Edge0-AI/Edge0

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

Edge0是使用SSD专家卸载、Recover-LoRA和路由预测的流式MoE推理框架。README区分了已发布的平台引擎与计划于2026年第四季度推出的统一框架。

Harness在评估本地推理执行器时，可以比较其SSD卸载方式。各平台的可用范围与规划中的统一框架应分别评估。

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

Vibra-Ingenn/Janus
这是一个单一的Go可执行文件，在本机运行gguf模型，通过llama.cpp使用AMD、Intel、NVIDIA显卡的Vulkan，并可回退到CPU，同时提供与OpenAI兼容的API，包括chat completions和models。它支持不重启热切换模型、把推理内容拆分到单独字段，并从gguf元数据读取chat template，无需Python和Docker。
magnitudedev/magnitude
这是在用户硬件上编译和调优内核的智能体推理引擎。它在Apple Silicon、NVIDIA、AMD或CPU上运行开放模型，并通过桌面应用和CLI连接现有智能体。
ProjectDMX/DMI
这是用于查看LLM推理和训练内部状态的解耦异步观测后端。它处于研究预览阶段，提供HuggingFace、vLLM和Megatron-LM集成，API可能变化。
ninjahawk/livenerf
这是追踪模型发布后能力变化的长期基准，使用固定提示词、锁定的 CLI 版本、固定评分器和留存的原始日志。
deepopen-com/deepopen
这是基于 Laya 的多语言结构化决策引擎，不逐个生成词元，而是通过一次前向传播完成多维分类。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。