omnimind-ai/OmniInfer

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

OmniInfer是基于Rust的CLI兼本地网关，用于在本地运行LLM和VLM（可同时读取图像的语言模型）。实际推理由llama.cpp、MLX、MNN、vLLM等现有运行时完成。发布版面向Linux、macOS和Windows，Android和iOS应用可将其作为Gradle模块或Swift包嵌入使用。运行omniinfer会打开终端界面，推荐兼容的后端，加载本地模型并开始对话。安装脚本只安装CLI，运行时和模型需另行安装，预构建运行时在安装时会用SHA-256校验。serve命令在127.0.0.1:9000启动网关，提供可接收文本和图像的OpenAI兼容聊天接口，以及转换工具调用的Anthropic兼容Messages接口。聊天请求只有在加载模型后才会被处理。通过LAN模式和Cloudflare Quick Tunnel访问需要API密钥，管理接口默认仅限本地，而来自同一设备的请求无需密钥即可处理。内置advisor给出的内存数值是估算值，运行时支持因设备而异，README中的速度说法在本次调查中尚未核实。许可证为Apache-2.0。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• huggingface/transformers
  Transformers是Hugging Face的Python库，汇集了文本、图像、语音、视频和多模态模型的定义，供推理和训练使用。主要用户是想下载并运行或微调开放模型的研究人员、ML工程师和开发者，Hub上公开了超过100万个这种格式的检查点。它是一个共同基准，同一套模型定义也被Axolotl、Unsloth、DeepSpeed等训练工具，vLLM、SGLang、TGI等推理引擎，以及llama.cpp和mlx共同使用。每个模型由配置、模型和预处理器三个类组成，Pipeline用几行代码即可运行文本生成、语音识别、图像分类和视觉问答。Trainer支持混合精度、torch.compile、FlashAttention和分布式训练，generate提供流式输出和多种解码方式。开始使用需要Python 3.10及以上和PyTorch 2.6及以上，下载的模型保存在HF_HUB_CACHE目录中，离线使用时需先用snapshot_download下载，再设置HF_HUB_OFFLINE=1。通过serving附加安装使用的transformers serve会在localhost:8000开启兼容OpenAI SDK的服务器，提供chat completions、responses、语音转写、模型列表等端点。工具调用适用于分词器声明了工具调用token的模型，官方文档把这个服务器定位为评估、实验和中等负载部署用途，大规模生产则推荐vLLM或SGLang。官方README把这个库介绍为以模型定义为中心的工具，由于训练API是针对Transformers提供的PyTorch模型设计的，它建议通用训练loop使用Accelerate，示例脚本则按具体情况修改后使用。README中仍保留在PyTorch、JAX和TF2.0之间迁移模型的说法，但当前的setup.py(5.19.0.dev0)和安装文档只涉及PyTorch，并且虽然库本身采用Apache-2.0，各个检查点可能有各自的许可证和访问条件。
• Tencent-Hunyuan/Hy-MT2
  Hy-MT2是腾讯混元团队发布的翻译专用语言模型系列，有1.8B、7B和混合专家(MoE)结构的30B-A3B三种规模。它支持33种语言之间的互译，支持语言表中包括韩语和日语。把原文和翻译指令作为提示词输入即可得到译文，README提供了术语指定、文风、个性化、分隔符和结构化数据的提示词模板。最大上下文长度为8192个token，且没有默认系统提示词，因此长文档需要先切分再输入。用于缩小模型文件的FP8和GGUF量化版本最低到2位和1.25位格式，README称1.8B模型经1.25位量化后存储空间约为440MB。运行需要开启trust_remote_code（会执行模型仓库中代码的设置）的transformers 5.6.0及以上版本，或从源码构建的vLLM和SGLang，README还说明在llama.cpp中使用低位格式需要拉取请求22836中的STQ内核。可通过LLaMA-Factory和DeepSpeed进行LoRA或全量微调，训练说明要求1.8B使用1张24GB以上的GPU，7B的LoRA使用1张80GB GPU，30B使用8张80GB GPU。用于评估指令遵循翻译的IFMTBench也以CC-BY-4.0公开，以规则和LLM评分评估6类约束。根据LICENSE.txt，模型许可证为Apache 2.0，README中的性能对比数据此次未能独立核实。
• Ebony-Vinyl/dsh-our-free-model
  这是把dsh智能体连接到外部模型服务的插件，并不在本地运行模型权重。它把对话、工具结果和可选图像发送到上游网关，接收回答或工具调用。适配器会刷新模型目录、探测可用性，并把多种响应协议转换为宿主的流式格式。它还提供供其他程序调用的OpenAI兼容本地转发服务和本地用量记录。开始使用需要兼容的dsh宿主、受支持的Node.js运行环境和网络连接。Kilo官方允许匿名调用免费模型，但会按IP限制请求次数。OpenCode路径还会模拟客户端识别信息，因此不能把所有路径都视为官方支持的公共API，需要单独审查授权和服务条款。其他账号渠道和桌面EAC渠道需要各自的登录或授权，免费网关也不能被视为无限量、私有或适合敏感生产数据的服务。
• deepseek-ai/DeepGEMM
  面向语言模型计算的CUDA张量核心内核库，包括矩阵乘法和融合MoE。通过DeepJIT在运行时编译内核。
• Edge0-AI/Edge0
  Edge0是使用SSD专家卸载、Recover-LoRA和路由预测的流式MoE推理框架。README区分了已发布的平台引擎与计划于2026年第四季度推出的统一框架。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。