cactus-compute/needle

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

Needle 2是一个面向工具调用、设备操作和结构化抽取的45M参数开放模型，整体打包为一个14MB的引擎。其Python包支持推理、LoRA微调和导出，以JSON形式返回工具调用并附带置信度分数。

对 ATF 的帮助

高于置信度阈值就执行、低于阈值就上报的做法，可作为Harness权衡结果是否可接受或需要上报时的参考。除此之外，它与我们的产品关系不大。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• FlashML-org/FreeToken
  一款serving引擎，把计算分配到GPU、CPU和内存上，在个人硬件上运行大型open-weight MoE模型。它提供兼容Anthropic和OpenAI的API，便于编码agent接入。
• unslothai/unsloth
  Unsloth是用于运行和训练LLM、扩散、嵌入和音频模型的桌面应用，支持GGUF和MLX格式。本地模型还可与Claude Code、Codex和MCP配合使用，并提供网页搜索和RAG。
• sgl-project/sglang
  一个面向大语言模型和多模态模型的推理服务框架。它可以部署DeepSeek、Qwen、Llama、GLM等开放模型，也支持用于图像和视频生成的diffusion模型。
• FareedKhan-dev/kimi-k3-in-c
  用可移植C99编写的引擎，在单个CPU上运行Kimi K3推理，不需要GPU、BLAS或框架，模型从磁盘流式读取。README称峰值内存为8.24 GB，增加内存只会提升速度。
• jingyaogong/minimind
  一个教学性质的项目，用原生PyTorch从零实现约64M参数的小型语言模型。代码涵盖pretraining、SFT、LoRA、RLHF、tool use和distillation等完整训练流程。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。