promptfoo/promptfoo

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

LLMアプリの評価とレッドチーミングを行うCLI兼ライブラリです。宣言的な設定でプロンプト、エージェント、RAGをテストし、モデルを並べて比較し、脆弱性をスキャンし、CI/CDでチェックを実行します。

ATFへの役立ち方

HarnessやATF WorksのAIアシスタントのプロンプトとエージェント出力を再現性のある形でテストする方法の参考にできます。レッドチームのチェックは、各人の権限内で動くべきAI機能と比較する価値があります。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

• NVIDIA/NemoClaw
  NemoClawは、OpenClaw、Hermes、LangChain Deep AgentsなどのAI agentをNVIDIA OpenShellのsandbox内で動かすための、NVIDIAのリファレンススタックです。CLIからオンボーディング、managed inference、ネットワークポリシー、スナップショット、ライフサイクル操作を扱います。
• vxcontrol/pentagi
  ペネトレーションテストのタスクを実行する自律型AIエージェントのシステムです。複数のLLMプロバイダーに対応し、エージェントの監督、Langfuseとの連携、Graphitiのナレッジグラフを備えています。
• sherlock-project/sherlock
  Sherlockは、1つ以上のユーザー名に一致するアカウントを400以上のソーシャルネットワークで探すCLIツールです。見つかったアカウントはユーザー名ごとのテキストファイルに保存されます。
• QuipNetwork/hashsigs-rs
  ハッシュベースの耐量子署名方式をまとめたRustのワークスペースで、WOTS+、SPHINCS+C、ハイブリッド型のSHRINCS署名器と検証器を含みます。WebAssemblyバインディングと検証専用のSolanaプログラムもあります。
• google/magika
  Magikaは、単一のCPUでも動く小さなディープラーニングモデルでファイルの内容の種類を判定します。200を超えるバイナリとテキストの種類で学習しており、コマンドラインツールがあります。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。