google-research/harness2

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

モデルの重みを変えずに実行環境を改善したいエージェント開発者向けの研究フレームワークです。タスクと基本環境から修正候補を提案し、同じタスクで試した実行差を基に改善案を構成します。プロンプト、メモリ、ツール案内、スキルなどを編集対象にします。並列方式で候補を探索する方法と、逐次方式で改善を重ねる方法があります。採用した環境と根拠のある教訓は、後続タスクの改善環境に残します。出力には成果物、採用設定、振り返りと評価記録が含まれます。LinuxとPythonを中心とし、モデル実験には認証、実行器とベンチマーク別の依存環境が必要です。ローカルデモはモデル認証不要ですが、モデル実験にはAPI費用が発生します。インストールだけで既存エージェントが自動改善されるわけではありません。実行器のネットワークとCodexで無効化されたサンドボックスは別途管理が必要で、Googleの公式サポート製品ではありません。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• anthropics/claude-quickstarts
  Claude APIでアプリを作る開発者向けの公式サンプル集です。単一の完成製品ではなく、顧客対応、金融分析、コンピューターやブラウザ操作などの例を選び拡張する出発点です。選んだ例に応じて質問、文書や作業指示を受け取り、回答、ツール実行結果や画面を作ります。自律コーディング例は初期化役と実装役を分け、複数セッションに進捗を残す構成を説明します。Managed Agentsの例にはメッセージ連携、日次要約や知識ウィキもあります。確認した最小ブラウザ例はChromiumの一つのタブをCDPで操作し、ツール呼び出しをモデル実行ループに接続します。モデル実行にはClaude API認証、例ごとのPythonまたはNode.js環境と外部サービス設定が必要です。取得だけですべての例が動作したり業務システムにつながったりするわけではありません。最小ブラウザドライバーは運用向けではなく、文字入力やアップロードなどが未実装です。訪問ページの内容がエージェントに影響するため、一時プロファイル、隔離環境とネットワーク管理が必要です。
• SakanaAI/AI-Scientist-v3
  The Agentic Scientist(リポジトリAI-Scientist-v3)はSakana AIのApache-2.0のPythonパイプラインで、コーディングエージェントに課題を実験から論文まで進めさせます。改善するプログラムと採点するevaluatorがある計算研究が対象で、例はCPU向けの円充填(circle packing)とGPU 2枚向けのGRPO学習です。入力はtask.md、初期プログラム、evaluatorを入れた課題フォルダーで、短い説明だけから課題を作る機能は実験段階で、円充填のような小さな課題では動きますが、大きな課題では失敗することがあります。課題作成、アイデアと実験を繰り返す探索、ベースラインとのablation、封印された最終評価、事後分析、論文作成の6段階が順に実行されます。実行ごとに課題のsnapshot、試行と結果、費用の記録、LaTeXの論文とPDFを収めたフォルダーができ、run inspectorがそれをブラウザーで表示します。論文の段階は主張ごとにhash付きの根拠ファイルを結び付け、Semantic Scholar、OpenAlex、Google Scholarから文献を集め、引用や根拠の結び付きが検証を通らなければ失敗で終わります。Headless CLIでClaude Code、Codex、Cursor、OpenCode、Gemini、Piを動かし、任意のreview段階は完成した論文をOpenAIベースのレビューモデルに送ります。始めるにはPython 3.11以上とuv、Docker、.envのAPI keyかClaudeのログインが必要で、GPUはGPU presetのときだけ必要であり、最初の確認はagsci doctorです。READMEは、エージェントがすべてのツール権限で任意のコマンドを実行し、API keyを引き継ぎ、読み込むファイルに行動を左右されると警告し、Docker内での実行を求めています。GRPOの評価1回は1時間から2時間の学習を行い、費用ファイルはproviderが報告した費用と定価ベースの推定を分け、ハードウェアの費用を含めず、請求の基準はproviderの請求書です。
• perplexityai/SPACE
  SPACEは、エージェントのコードをFirecracker microVM(軽量な仮想マシン)で隔離して実行する、PerplexityのRust製でApache-2.0のプラットフォームです。エージェント、利用者の作業空間、コード実行ジョブに別の実行環境が必要なアプリケーションが対象で、何を実行して何を残すかはアプリケーションが決めます。templateは開始時の環境で、sandboxはそのtemplateから作るインスタンスとして、自分のVMと書き込みできるファイルシステムで複数のコマンドを実行します。アプリケーションはHTTP APIでsandboxとコマンドのセッションを作り、sandboxの状態変更はoperation IDで完了を確認し、コマンドの出力と終了結果はセッション専用のtokenを使う別の接続でserver-sent eventsとして受け取ります。一時停止はメモリをworkerに残し、suspendはsnapshotとして保存し、6時間活動がなければ既定でsuspendされます。E2B互換のwrapperにより既存のE2BクライアントがSPACEをbackendとして使え、試験基準はPythonパッケージのe2b 2.21.1とe2b-code-interpreter 2.6.2です。network policyはsandboxの接続先を許可または遮断し、既定で無効のcredential ruleを有効にすると、TLSを傍受するgatewayが指定hostへのリクエストにcredentialのheaderを加えます。ローカル環境は、KVMのあるapt系Linux x86_64ホストにKind(Docker内のKubernetes)クラスターを作り、macOSは対応範囲の外です。リポジトリの説明はruntimeを差し替えられるとしていますが、文書にある現在の実装はKVM上のFirecrackerだけです。0.8.0が公開の基準版で、1.0までは互換性を壊す変更があり得て、セキュリティ修正は最新のminor releaseだけに入ります。
• wangmiaozero/pi-harness
  Pi-HarnessはPi Coding Agentを視覚的な作業空間で包んだAGPL-3.0-onlyのElectronデスクトップアプリで、エージェントの実行は本来のPi runtimeが担います。macOS、Windows、Linuxで動き、セッション、設定、ツール、Skill、extensionがPiと互換性を保つため、同じ作業をアプリの外のPiで続けられます。作業空間は会話、プロジェクト、ファイルブラウザーとエディター、Gitのdiffと履歴とcommitとworktree、モデルのprovider、SkillとpackageとMCPを扱います。Harness画面はtrace、replay、forkと再試行のrun tree、token、費用、時間を記録し、ツールのポリシー、実行ごとの予算、checkpointを加えます。ソースでは、評価はAIの判定モデルなしに、test、lint、typecheck、buildのコマンドとその終了コード、Gitの状態といった実行の根拠から計算されます。既定のポリシーは作業空間外のファイル変更とforce pushを禁じ、削除、push、ネットワークのコマンドの前には確認を求め、rm -rfのようなコマンドには承認を求め、予算の上限は空のままにします。エージェントチームは依存関係と優先度のあるタスクを割り当てて順番にまたは並列に実行し、結果を引き渡し、review gateを使い、変更をGit worktreeで分けます。履歴画面はClaude Code、Codex、Cursor、Cursor Agent、Gemini CLI、OpenCode、Piのローカルの会話記録を読み取り専用で読み、handoffで新しいPiの会話に作業を引き継ぎます。インストーラーはGitHub Releasesにあり、最新版はPi 1.2.0の互換性を壊す変更に合わせた10月14日の2.0.0で、macOSのコミュニティビルドは署名がない場合があります。WindowsとLinuxではAPI keyをアプリ自身のvaultに暗号化して保管しますが、Piのmodels.jsonには元のkeyの値がそのまま書かれます。
• onehumanbeing/esp32-iphone-agent
  ESP32 iPhone Agentは、PythonのサーバーとArduinoのファームウェアからなるMITライセンスのプロジェクトで、AIのビジョンモデルにMac、Xcode、開発者アカウント、スマートフォンのアプリ、脱獄なしで実機のiPhoneを操作させます。人が使う経路である画面とポインターでiPhoneを自動化したい開発者と趣味の制作者が対象で、READMEは、自分が所有するか使用を許された端末とアカウントだけを自動化し、各アプリの規約を守るよう求めています。スマートフォンの画面はAirPlayでmacOSかLinuxのコンピューター上のUxPlayにミラーリングされ、GStreamerがJPEGのフレームに変え、USB端子に挿したESP32-S3ボードは標準のUSBマウスとキーボードとして認識されます。iOSのAssistiveTouch(画面にポインターを表示するアクセシビリティ設定)をオンにすると、クリックがタップに、ドラッグがスワイプになり、ボードは2.4GHzのWi-Fiで受け取ったclickやtypeなどの1行のコマンドだけを実行します。判断はすべてコンピューター上のFastAPIサーバーが担い、そのコードではWeb APIとボードのポートが既定でログインの仕組みなしにすべてのネットワークインターフェースで開かれ、コマンドはTCP上を平文でやり取りされます。ユーザーが8890番ポートのWeb画面に目標を入力すると、plannerモデルが最大6段階の計画を書き、actorモデルが新しい画面写真ごとにtapやswipeなどの動作を0から1000の座標で最大6個返します。ポインターは相対移動で動くため、サーバーはポインターを少し揺らしてミラーリング画面上で見つけて補正し、動作ごとに画面が変わったかを確かめてモデルに伝え、効果のない同じ動作が繰り返されると計画を立て直します。1回の実行は40段階か3回連続のエラーで終わり、Web画面は判断ごとに根拠になった画面写真の上に動作を描いたstep wallと、Escキーでも作動する緊急停止を表示します。準備するものは、ファームウェアを書き込んだESP32-S3ボード(試験用のボードは約7ドルのSeeed XIAO ESP32S3)、USB-CのiPhoneかカメラアダプターを使うLightningのiPhone、Python 3.10以上です。モデルは画像を受け付けるOpenAI互換のチャットAPIであればよく、plannerとactorに別々のモデルを使え、呼び出しごとに現在の画面写真が送られるため、クラウドのAPIを使うとスマートフォンの画面に映る内容がその提供元に渡ります。開発と時間の計測はNVIDIA DGX Spark 2台のローカルモデルで行われ(動作ごとに約1.3秒、計画ごとに2秒)、同梱のserveフォルダーのサーバーはエージェント全体の実行での試験が未実施の実験用です。READMEが挙げる制限は、iOSがパスコード入力、Apple Pay、DRMの動画をミラーリングから外すためエージェントがその画面を見られないこと、スマートフォンがロックされるとミラーリングが止まること、入力はASCIIだけで横向きのアプリは未対応であることです。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。