Generated-Computers/Locals

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

这是在Apple Silicon Mac上处理多个代理请求的本地语言模型服务器。它不是模型权重本身，而是加载MLX系列模型并提供批处理和提示缓存的执行层。它通过API接收对话与工具定义，返回文本、工具调用和结构化JSON。除OpenAI兼容请求外，也转换支持的Anthropic Messages和Ollama格式请求。启动需要Apple Silicon M1以上、macOS 14以上、能容纳所选模型的内存及首次模型下载。现有应用仍需另设服务器和模型配置，或使用提供的启动连接。它一次运行一个模型，不能直接作为GGUF文件服务器。作者公布的加速数据来自特定设备和并发条件，单请求、长输入或其他量化格式的表现可能不同。默认本地服务器没有认证，外部暴露需谨慎，也不能替代Ollama嵌入或图像理解等所有原服务功能。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• SheepSeb/tinyworldformer
  tinyworldformer是在Raspberry Pi Pico 2 W上使用两个神经网络生成并游玩小型游戏的实验。环境预测模型输入当前令牌网格画面和动作，预测下一画面及奖励。独立的动作模型读取从生成画面提取的特征并选择下一动作，而不是在板上控制普通游戏引擎。环境预测模型重复使用同一个Transformer模块，并加入只放置一个球或玩家等解码约束。项目使用Python和PyTorch训练，通过考虑量化误差的训练和导出流程生成面向微控制器、主机及WebAssembly的int8 Rust推理引擎。训练从自带小游戏记录的状态转移开始，也可选择在板上让全新的强化学习动作模型逐条转移学习。由于动作模型可能利用预测环境的错误，评估代码会将生成的转移与原始游戏规则对照。它不是通用视频世界模型或工业模拟器，README明确表示尚未测量Pico实机帧率，在已检查的文件树和包配置中也未找到仓库许可证。
• skyzh/tiny-llm
  tiny-llm是面向系统工程师的实践课程，用于理解本地语言模型推理的内部过程。它输入Qwen3模型权重和分词后的对话，通过注意力计算、采样和反复解码输出文本。学习者使用MLX数组、Python、C++和Metal实现算子，并以MLX作为正确性参照和性能基线。后续课程将保存历史注意力键值的KV缓存与连续批处理、分页内存管理联系起来。第四周介绍教学用编程代理，验证JSON动作，在产生修改前获取批准，并记录可观察的结果。学习者包包含尚未完成的练习，与完整的参考实现分开。支持的原生环境是配有指定Python依赖、Xcode和原生扩展构建工具的Apple Silicon Mac。它不是生产级隔离环境或持久事务系统，真实模型代理命令也没有整合后续所有检查点恢复和分支机制。
• Fractal-Compute-Orchestrations/FractalWorkspace
  FractalWorkspace是组织Python服务器和Android边缘计算客户端的父工作区及架构资料集合。README描述两种流程，即分派训练任务并汇总返回检查点，以及将模型层拆分到多台设备上推理。文档输入包括模型、数据片段、设备注册和资源预算，预期输出包括汇总模型更新与推理结果。已查看的子模块配置分离FractalCore和FractalAndroid，因此仅下载父仓库并不意味着计算服务可以运行。文档设置需要Python、Android构建工具、兼容设备、启用Firestore的Firebase项目，以及服务器和客户端配置。电池与温度限制、任务标识和租户隔离被描述为系统约定，但本次未验证组件代码中的端到端实现。隐私描述比模型与数据片段下载图所示范围更广，必须检查实际数据流，不能直接假定原始数据绝不移动。其许可是带商业限制的源码可见许可，也限制未经单独许可的企业内部使用，并非可自由采用的开源框架。
• deepseek-ai/DeepInfer
  DeepInfer是面向DeepSeek模型大规模推理的执行框架，公开版本提供离线推理，而非完整的在线服务。模型运维人员输入提示词和模型检查点后，可获得生成的词元与文本。明确列出的支持模型是DeepSeek-V4.1-Flash，示例包含文本和图像输入。框架通过优化算子、数据并行与专家并行、草稿词元验证和异步调度组织推理任务。它还提供正则表达式、JSON模式和文法形式的输出约束。环境要求包括Linux、Python 3.12、GCC 13及以上，以及NVIDIA SM100或Huawei Ascend 950，对应CUDA 13或CANN 9.2。入门示例从Hugging Face下载权重，或使用本地检查点。完整服务仍需单独配置KV缓存体系、阶段分离和副本间负载均衡，公开基准不能视为普通电脑上的结果。
• deepseek-ai/deepseek-recipe
  deepseek-recipe是连接多种AI API格式与DeepSeek推理后端的Rust库和Python绑定集合。它将Messages、Chat Completions和Responses请求转换为统一会话表示，再渲染为模型提示词及词元输入。它还能把后端输出转换回各协议的完整响应或流式事件。库处理工具定义、生成配置和结构化输出信息，但实际推理、工具执行与HTTP传输需由调用方提供。Python支持3.10及以上，图像处理需考虑OpenCV环境和模型支持范围。DeepSeek V4不接受图片，应与V4.1图像输入路径区分。FastAPI示例使用生成固定答案的模拟推理，而非真实模型。示例缺少认证和私网图像地址过滤，因此安装不等于完成公开生产服务，输出约束是否真正强制执行也由后端决定。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。