jundot/omlx

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

面向Apple Silicon Mac的本地LLM推理服务器，可从macOS菜单栏管理。它采用continuous batching，并把KV cache分层保存在内存和SSD中，使以往的context可在多个请求间复用。

对 ATF 的帮助

如果Harness把任务交给本地部署的模型，值得比较。其在请求之间复用KV cache的方式，可为context不断变化的长时间agent会话提供参考。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• TheTom/turboquant_plus
  TurboQuant+是TurboQuant的研究实现，使用PolarQuant和Walsh-Hadamard旋转压缩transformer的KV cache。仓库包含Python参考实现、验证论文和benchmark数据。
• karpathy/nanochat
  一个精简的代码库，可在单个GPU节点上训练自己的chat LLM并与之对话，涵盖tokenization、pretraining、finetuning、评估和推理。只需设置depth一项，其余超参数随之确定。
• google-ai-edge/gallery
  一个展示端侧生成式AI用例的应用，让人们在移动设备上离线试用开源模型。它包含带thinking mode的聊天功能，以及可添加Wikipedia等tool的agent skill。
• maderix/ANE
  这是一个研究性质的概念验证，通过逆向工程得到的私有API，直接在Apple Neural Engine上训练神经网络，不使用CoreML训练API、Metal或GPU。作者表示它并不是一个持续维护的框架。
• shiyu-coder/Kronos
  Kronos是一组在金融K线数据上预训练的decoder-only基础模型。tokenizer先把价格和成交量序列转换为离散token，再用这些token训练的Transformer完成预测等量化任务。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。