Vibra-Ingenn/Janus

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

这是一个单一的Go可执行文件，在本机运行gguf模型，通过llama.cpp使用AMD、Intel、NVIDIA显卡的Vulkan，并可回退到CPU，同时提供与OpenAI兼容的API，包括chat completions和models。它支持不重启热切换模型、把推理内容拆分到单独字段，并从gguf元数据读取chat template，无需Python和Docker。

对 ATF 的帮助

Harness会连接外部执行器来完成AI任务，但也有一些任务因为数据不能外传而必须在厂内的机器上完成。用单个可执行文件在本地硬件上提供OpenAI风格API的做法，在考虑这类情况时值得比较。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• magnitudedev/magnitude
  这是在用户硬件上编译和调优内核的智能体推理引擎。它在Apple Silicon、NVIDIA、AMD或CPU上运行开放模型，并通过桌面应用和CLI连接现有智能体。
• ProjectDMX/DMI
  这是用于查看LLM推理和训练内部状态的解耦异步观测后端。它处于研究预览阶段，提供HuggingFace、vLLM和Megatron-LM集成，API可能变化。
• ninjahawk/livenerf
  这是追踪模型发布后能力变化的长期基准，使用固定提示词、锁定的 CLI 版本、固定评分器和留存的原始日志。
• deepopen-com/deepopen
  这是基于 Laya 的多语言结构化决策引擎，不逐个生成词元，而是通过一次前向传播完成多维分类。
• basetenlabs/baseten-switch
  这是在原生供应商和 Baseten 模型之间切换受支持编程执行器请求的本地 macOS 应用及网关，提供全局路由开关和客户端模型映射，目前处于测试阶段。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。