promptfoo/promptfoo

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

用于评估和红队测试LLM应用的CLI与库。通过声明式配置测试提示词、智能体和RAG，并排比较模型，扫描漏洞，并在CI/CD中运行检查。

对 ATF 的帮助

可作为以可重复方式测试Harness和ATF Works AI助手的提示词与智能体输出的参考。其红队检查值得与必须在每个人权限范围内运行的AI功能进行比较。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• NVIDIA/NemoClaw
  NemoClaw 是 NVIDIA 的参考技术栈，用于在 NVIDIA OpenShell sandbox 中运行 OpenClaw、Hermes、LangChain Deep Agents 等 AI agent。它通过 CLI 提供引导配置、managed inference、网络策略、快照和生命周期管理。
• vxcontrol/pentagi
  一个用于执行渗透测试任务的自主AI agent系统。支持多个LLM提供商，并包含agent监督、Langfuse集成和Graphiti知识图谱。
• sherlock-project/sherlock
  Sherlock是一个CLI工具，可在400多个社交网络中查找与一个或多个用户名匹配的账号。找到的账号会按用户名分别保存为文本文件。
• QuipNetwork/hashsigs-rs
  基于哈希的后量子签名方案Rust工作区，包含WOTS+、SPHINCS+C以及混合式SHRINCS签名器和验证器。还提供WebAssembly绑定和仅用于验证的Solana程序。
• google/magika
  Magika使用可在单个CPU上运行的小型深度学习模型识别文件内容类型，训练涵盖200多种二进制和文本内容类型，并提供命令行工具。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。