AlexsJones/llmfit

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

llmfit会检测机器的CPU、RAM、GPU和VRAM，推荐该硬件可以运行的开源LLM及量化格式。它提供终端UI、Web仪表盘和REST API，还能在本地测量实际的每秒token数。

对 ATF 的帮助

在AX consulting中确认客户现场硬件能运行哪些开源LLM时，可作为参考。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• maderix/ANE
  这是一个研究性质的概念验证，通过逆向工程得到的私有API，直接在Apple Neural Engine上训练神经网络，不使用CoreML训练API、Metal或GPU。作者表示它并不是一个持续维护的框架。
• p-e-w/heretic
  一个利用directional ablation从transformer语言模型中去除safety alignment所带来的拒答行为的命令行工具。基于Optuna的优化器会寻找既减少拒答、又使模型尽量接近原模型的参数。
• karpathy/nanochat
  一个精简的代码库，可在单个GPU节点上训练自己的chat LLM并与之对话，涵盖tokenization、pretraining、finetuning、评估和推理。只需设置depth一项，其余超参数随之确定。
• RunanywhereAI/runanywhere-sdks
  一组共享同一个C++核心的SDK，可在手机、浏览器、桌面和服务器上本地运行LLM、视觉、语音、voice agent、embedding、RAG和图像生成。capability registry会把每次调用路由到设备上的引擎。
• jundot/omlx
  面向Apple Silicon Mac的本地LLM推理服务器，可从macOS菜单栏管理。它采用continuous batching，并把KV cache分层保存在内存和SSD中，使以往的context可在多个请求间复用。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。