vercel-labs/agent-desktop

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

AIエージェントが座標を推測せず、OSのアクセシビリティ構造からデスクトップアプリを読み取り操作するためのRust CLIとCライブラリです。自動化を開発する人がアプリとウィンドウを指定すると、操作対象の参照値を含むJSONスナップショットを受け取ります。エージェントは参照値でクリックや入力を要求し、新しいスナップショットで結果を確認します。標準ではポインター移動やアプリの前面表示を行わないアクセシビリティAPIを使い、物理入力には別モードが必要です。npmパッケージやOS別の配布ファイルから始められ、macOSではアクセシビリティ権限、LinuxではグラフィカルセッションとAT-SPI環境が必要です。Windowsでも実行プロセスの整合性レベルと対象アプリの条件を確認する必要があります。画面変更で古くなった参照値や曖昧な対象にはエラーを返すため、再観察が必要です。モデルや計画器を備えた完成版のアシスタントではなく、任意のJEVヘルパーと異なりネイティブCLI自体は遠隔モデルを要求しません。スナップショット、クリップボード、画面画像には個人情報が含まれ、対応機能もOSごとに異なります。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• CopilotKit/OpenBot
  企業が自社環境向けに変更して運用するための、AI同僚プラットフォームのベータ版テンプレートです。完成したホスティングサービスやモデルではなく、React画面、APIサーバー、PostgreSQL、ブラウザー実行環境、AG-UIエージェント接続を提供します。会話と作業依頼をエージェントへ送り、ブラウザーやファイル操作、結果画面、監査記録につなぐ流れを構成します。サーバーゲートウェイは対象を解決し、規則を評価して監査記録を書いた後、許可された操作を実行器へ渡す設計です。規則エンジンは拒否優先ですが、配布時の起動設定は全許可なので、導入だけで業務権限が制限されるとは考えるべきではありません。開始にはDockerとBun、DBと暗号化設定、別のモデル資格情報、CopilotKit Intelligenceへの接続と利用権限が必要です。会話と記憶はIntelligenceに接続し、アプリ連携やMCPツールにも資格情報と権限付与が別途必要です。標準の単一ユーザー設定では要求を一人の管理者として扱うため、他者がアクセスする前にログイン、役割、ネットワーク分離を設定すべきです。ブラウザーのログイン情報とDocker制御権限を持つ構成要素を保護し、業務向けの完成と検証は運用側が担う必要があります。
• jacke-pp/open-yoki
  open-yokiは、会話応答、音声、動くアバターを一つのアプリで運用したい人向けの、自己ホスト型AI配信者の基盤です。Webページのコメントや外部から転送された配信ルームのイベントを受け取り、音声回答、字幕、アバターの動作、配信映像を生成します。高速な言語モデルが会話を処理し、任意の長時間稼働エージェントが日記と人物設定のファイルを維持してSNS投稿を準備します。ローカルの記憶には訪問者メモや配信要約を保存し、送信待ちキューには外部投稿処理から報告された結果を記録します。画面を表示しないChromeが配信画面を描画し、ffmpegがライブ映像をプラットフォームへ送るRTMP方式で転送します。文書上の開始環境はNode.jsとffmpegで、全機能の運用にはx86_64 UbuntuサーバーとOpenRouterまたはDeepSeek、Volcengineの音声およびリアルタイム映像転送サービスRTC、Viduなどの外部サービスが必要です。元の配信者の素材とアカウントは含まれないため、運用者が利用権限のある画像、録音、認証情報、プラットフォームのコメント転送機能、配信ごとの送信情報を用意する必要があります。公開版にはウォレットや取引機能はなく、サーバー一台の構成はオフライン動作やログインから配信ルーム作成までの完全自動化を意味しません。
• wangzan101/Mika
  自然言語の依頼からAndroidアプリとウェブを操作し、結果と実行過程を示す個人向けアシスタントアプリです。独立したバックグラウンド画面でアプリを開き、アクセシビリティ情報、文字認識、任意の視覚モデルで画面を読みます。内蔵ブラウザーでウェブ資料やファイルを扱い、対応端末では会話別のLinuxサンドボックスで計算や文書処理ができます。APKの導入だけでは端末操作は有効にならず、デバッグ接続、権限、ツール呼び出し対応モデルの設定が必要です。導入はAndroid 11以上、アプリ操作はAndroid 13以上で、Android 14以上を推奨し、サンドボックスはarm64専用です。モデルは別のAPIや対応ログイン方式で接続し、画面内容が選択したモデル提供者へ送られるため、端末上の実行は完全なオフライン処理ではありません。ログインや認証は人に引き継ぎますが、標準の問い合わせモードでも送信や削除をすべて事前承認するわけではありません。自律モードでは決済関連の確認も減るため、業務アカウントへの適用前に区別が必要です。公開ベータであり、端末互換性、保護画面の観察制限、外部アプリの規約やアカウント制限のリスクがあります。
• amosblomqvist/learnharness
  学習者の現在の理解から目標まで、授業と練習をつなぐAI学習アプリです。学びたい内容、回答、自信度、考え方を入力し、前提知識の確認、計画、説明、確認問題を得ます。正誤だけでなく、概念を表す命題と前提や結論を知識グラフに蓄積します。以前のセッションの知識を次の授業や練習に使い、個人ノートも取り込めます。公式構造文書は授業文からの抽出、既存知識との同一性確認、保存時の統合を分離しています。グラフツールのソースでも診断役と抽出監査役に渡す情報範囲が異なります。macOS、Windows、Linuxのデスクトップ配布版で提供者APIキーとモデルを設定して始めます。音声入力とウェブ検索は別のサービスキーが必要で、選択したモデル提供者には必要な文脈を送信します。会話、グラフ、設定はローカルファイルですが、完全オフラインとは限りません。説明や推論の正確性と学習効果は紹介文だけでは検証できず、出力確認が必要です。
• ccch1mneyyy/dsh-Go
  DSH Goは、AndroidからDeepSeek Harnessの会話や作業を利用する非公式クライアントです。端末にUbuntu、Node.js、DSHの環境を用意してエンジンを動かすか、SSHやDSH Remoteでコンピューター側のエンジンに接続します。テキスト、画像、音声入力を送り、回答、ツール承認要求、作業状態を表示します。端末でエンジンを動かすことは言語モデルの端末内推論を意味せず、モデル要求は設定した提供元へ送られます。Android 8以上と対応する64ビット版が必要で、初回にローカル環境または遠隔ホストとモデル認証情報を別に設定します。画面操作にはローカルエンジンと追加権限が必要で、決済やパスワードなどの機微な操作は人へ戻すと説明されています。DSH Remoteには画像以外の添付、アプリ内Web表示、DS Bot、会話ログ出力の制限があり、接続方法ごとに機能が違います。画面情報がモデルへ送られる可能性があり、匿名利用統計は標準で有効なのでプライバシー設定の確認が必要です。本体はAGPL-3.0、SDKと例はMITと案内されていますが、名前やマスコットなどは別条件のためコードと画像資産の利用を区別する必要があります。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。