snchimata/tokenfold

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

Tokenfold提供将材料控制在LLM令牌预算内的SDK和工具。主要用户是向请求中提供JSON、工具定义和分组上下文的开发者。输入文本、上下文组或服务商请求后，会返回调整后的内容以及变换、令牌计算和警告记录。基于Rust的Core减少结构冗余，并通过恢复原值检查可逆变换。Data默认使用紧凑普通JSON，列式表达必须主动选择。按查询筛选完整资料组的Select属于实验功能，需要单独准备模型文件、运行配置，并逐次同意。Python SDK要求3.12以上，Node SDK要求22以上，基础调整不需要模型或GPU。MCP和代理是独立入口，安装本身不会拦截现有智能体请求。无法满足预算时，经过校验的结果访问会报错，令牌计算也不保证等于服务商实际计费量。数据可精确恢复并不保证模型回答准确率不变。

许可证

Apache-2.0 宽松许可，含专利授权。可商用，需保留声明并注明修改。

同领域的其他仓库

• Tencent-Hunyuan/Hy-Memory
  Hy Memory是面向代理的Python记忆SDK和引擎，用于跨任务保留对话与工作轨迹。它接收文本、消息和工具调用记录，返回按聊天、一般工作或编码组织的记忆检索结果。聊天采用分层记忆，工作区分会话事实与可复用经验，编码在两层结构上增加代码版本变化上下文。文档描述从Git或可识别的替换操作保存真实差异，但版本链属于尽力记录，这里未独立检查内部实现。开始使用需要配置模型和嵌入端点，并在调用程序中显式接入写入和搜索，安装本身不会采集应用活动。工作与编码处理需要pro或ultra模式及工具调用证据，lite会忽略场景并保存原始记忆。同仓库的MemHub是独立的本地优先桌面与CLI产品，来源读取、模型处理及宿主访问分别授权，文档中的正式发行目标为Linux和macOS而非Windows。安装SDK、安装MemHub运行环境及连接获准应用是不同步骤，本地优先或开放模型权重也不保证全部处理离线进行。
• qf-studio/navigator
  一个按需加载文档而非一次性加载全部文档的Claude Code插件。它还介绍了跨会话记忆用户偏好以及检测协作中重复纠正的功能。
• facebookresearch/context-language-models
  这是Context Language Models论文的官方仓库，提出把context当作模型可以无限制改写的文件，让模型自行管理自己的context。作者报告称，即使用现有模型零样本构建，也在多项任务上优于既有的context管理策略，在BrowseComp-Plus与EdgeBench上以更少的计算量取得更高的成绩，并且该方法可扩展到多个agent的context以文件形式共存的场景。
• tigerless-labs/agent-memory
  面向 AI agent 的长期 memory 运行时。普通 Markdown 文件是唯一可信来源，SQLite 索引是可删除的缓存，本地排序检索返回文件路径，Claude Code 和 Codex 共用一个存储。
• kunchenguid/backpass
  读取七种 agent harness 的本地会话记录，并在 token 预算内为 AGENTS.md、CLAUDE.md 和项目 skill 提出有依据的修改建议的工具。分析阶段不写入任何内容，每项修改都由人决定接受或拒绝。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。