wici-ai/inferssd

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

InferSSD是在RAM或显存无法完整容纳MoE模型时，从SSD流式读取权重的本地推理引擎。它是llama.cpp扩展运行工具而非模型本身，接收支持的GGUF权重和用户请求并生成回答。引擎读取每个令牌选择的专家权重，放入RAM缓存，并按环境使用CPU和GPU路径。浏览器聊天及OpenAI兼容API可连接外部客户端。权重需另行下载，不同模型可能需要大量SSD空间和运行工作内存。官方资料介绍Apple Silicon Metal和Linux CUDA，源码构建还需Python与C/C++工具。README开头将Windows标为开发中，正文却介绍Windows 11包，因此需另查实际发行版的后端支持。不能据此认为支持全部模型或硬件，速度取决于SSD、缓存和请求条件。网络API没有认证，需要访问控制，模型权重许可也独立于引擎。公布吞吐量不保证回答质量或自有设备性能。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• canivel/dynolab
  Dyno Lab是用于观察本地模型行为和检验假设的Apple Silicon研究应用。研究者输入问题、提示词、模型和实验设置，获得回答、激活测量及保存的实验材料。它提供请求检查、研究笔记、对照实验、线性探针和小型稀疏自编码器工作流。应用内含Python与MLX，但模型权重需另外下载并启动。基础要求是Apple Silicon和macOS 14以上，为大型GGUF模型连接Windows NVIDIA工作节点的GPU池仍属实验功能。复用已加载模型进行测量与启动另一个模型副本的实验有不同内存需求。它提供Python SDK、HTTP API和本地stdio MCP桥，但仅启动MCP不会自动启动模型或实验。结果保存在本地，外部助手仍可能将读到的结果发送给其服务商，因此需检查暴露范围。激活幅度和模型输出的思考文本不是安全认证，也不是对内部计算的忠实解释。官方资料明确区分探索性实验与已验证的安全监测器。
• huawei-csl/MACaQ
  MACaQ是一套基于校准的量化工具，通过降低受支持模型权重以及部分后端激活值的数值精度，降低本地推理的资源负担。输入包括相互匹配的原始模型文件，以及有代表性的校准文本、提示词或条件图像，输出包括紧凑的GGUF或safetensors模型文件和处理配置。在已检查的稠密文本模型路径中，激活统计用于平衡权重，随后进行分块Hadamard变换、低比特量化和码本优化。文本、扩散生成和语音模型家族分别有专用适配代码，因此模型无关这一名称不意味着自动支持任何架构。llama.cpp路径提供二、三、四比特权重格式，其他适配器提供权重和激活各四比特的W4A4等方式，但部分组件会保留更高精度。包含变换的常规GGUF流程使用随仓库提供的运行时，MACaQ-R则在部分MoE模型中保留原有格式并优化权重编码，文档说明其结果可由标准llama.cpp加载。准备工作需要后端专用依赖、匹配的原始权重、校准资料和工作存储空间，指南指定Python 3.12、vLLM使用Linux，并为llama.cpp提供CPU路径。重新加载已保存模型不需要重复校准，但仍要核对运行时兼容性和原模型许可，扩散模型指南还明确指出一个社区音频权重的许可不清楚。README报告了内存、速度和模型质量结果，但本次没有复现，不能据此保证其他模型、硬件或应用也有相同取舍。
• Generated-Computers/Locals
  这是在Apple Silicon Mac上处理多个代理请求的本地语言模型服务器。它不是模型权重本身，而是加载MLX系列模型并提供批处理和提示缓存的执行层。它通过API接收对话与工具定义，返回文本、工具调用和结构化JSON。除OpenAI兼容请求外，也转换支持的Anthropic Messages和Ollama格式请求。启动需要Apple Silicon M1以上、macOS 14以上、能容纳所选模型的内存及首次模型下载。现有应用仍需另设服务器和模型配置，或使用提供的启动连接。它一次运行一个模型，不能直接作为GGUF文件服务器。作者公布的加速数据来自特定设备和并发条件，单请求、长输入或其他量化格式的表现可能不同。默认本地服务器没有认证，外部暴露需谨慎，也不能替代Ollama嵌入或图像理解等所有原服务功能。
• SheepSeb/tinyworldformer
  tinyworldformer是在Raspberry Pi Pico 2 W上使用两个神经网络生成并游玩小型游戏的实验。环境预测模型输入当前令牌网格画面和动作，预测下一画面及奖励。独立的动作模型读取从生成画面提取的特征并选择下一动作，而不是在板上控制普通游戏引擎。环境预测模型重复使用同一个Transformer模块，并加入只放置一个球或玩家等解码约束。项目使用Python和PyTorch训练，通过考虑量化误差的训练和导出流程生成面向微控制器、主机及WebAssembly的int8 Rust推理引擎。训练从自带小游戏记录的状态转移开始，也可选择在板上让全新的强化学习动作模型逐条转移学习。由于动作模型可能利用预测环境的错误，评估代码会将生成的转移与原始游戏规则对照。它不是通用视频世界模型或工业模拟器，README明确表示尚未测量Pico实机帧率，在已检查的文件树和包配置中也未找到仓库许可证。
• skyzh/tiny-llm
  tiny-llm是面向系统工程师的实践课程，用于理解本地语言模型推理的内部过程。它输入Qwen3模型权重和分词后的对话，通过注意力计算、采样和反复解码输出文本。学习者使用MLX数组、Python、C++和Metal实现算子，并以MLX作为正确性参照和性能基线。后续课程将保存历史注意力键值的KV缓存与连续批处理、分页内存管理联系起来。第四周介绍教学用编程代理，验证JSON动作，在产生修改前获取批准，并记录可观察的结果。学习者包包含尚未完成的练习，与完整的参考实现分开。支持的原生环境是配有指定Python依赖、Xcode和原生扩展构建工具的Apple Silicon Mac。它不是生产级隔离环境或持久事务系统，真实模型代理命令也没有整合后续所有检查点恢复和分支机制。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。