microsoft/BitNet

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

bitnet.cpp是面向1比特LLM的官方推理框架，提供针对CPU和GPU优化的内核。项目还发布了1比特嵌入模型，以及转换和运行这些模型的指南。

对 ATF 的帮助

当客户现场需要在已有的CPU服务器上运行语言模型或嵌入模型时，AX consulting可以拿它作比较。1比特嵌入模型也可作为在配置较低的硬件上实现Company Brain搜索的参考。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• RunanywhereAI/runanywhere-sdks
  一组共享同一个C++核心的SDK，可在手机、浏览器、桌面和服务器上本地运行LLM、视觉、语音、voice agent、embedding、RAG和图像生成。capability registry会把每次调用路由到设备上的引擎。
• Lordog/dive-into-llms
  源自上海交通大学课程的免费中文大模型编程实践教程系列。它以课件、教程和notebook讲解微调与部署、prompt与思维链、知识编辑、数学推理、GUI agent和对齐等主题。
• p-e-w/heretic
  一个利用directional ablation从transformer语言模型中去除safety alignment所带来的拒答行为的命令行工具。基于Optuna的优化器会寻找既减少拒答、又使模型尽量接近原模型的参数。
• deepseek-ai/Engram
  Engram是一篇关于大语言模型条件记忆（conditional memory）论文的官方实现。其模块改进了N-gram嵌入以实现常数时间查找，将检索到的静态记忆与隐藏状态融合，作为对混合专家（MoE）的补充。
• AlexsJones/llmfit
  llmfit会检测机器的CPU、RAM、GPU和VRAM，推荐该硬件可以运行的开源LLM及量化格式。它提供终端UI、Web仪表盘和REST API，还能在本地测量实际的每秒token数。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。