h4ckf0r0day/obscura

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

Obscuraは、WebスクレイピングとAI agentの自動化のためにRustで書かれたheadlessブラウザエンジンです。V8でJavaScriptを実行し、PuppeteerやPlaywrightとともにChrome DevTools Protocolに対応し、スクリーンショットの取得やPDFの書き出しもできます。

ATFへの役立ち方

LabChinでWeb上の資料を集める場合や、Harnessのexecutorがブラウザ作業を行う場合のブラウザエンジンとして比較する価値があります。検知回避機能が組み込まれている点は慎重に検討する必要があります。

ライセンス

Apache-2.0 寛容で特許許諾を含みます。商用利用できます。告知を残し、変更点を明記します。

同じ分野のリポジトリ

• CloakHQ/CloakBrowser
  ブラウザのfingerprintをC++のソースレベルで変更し、ボット検知システムに通常のブラウザと判定させるChromiumビルドです。PythonとJavaScriptでPlaywrightやPuppeteerの代わりにそのまま置き換えて使う想定です。
• sansan0/TrendRadar
  複数プラットフォームの話題のニュースとRSSフィードを集め、キーワードやAIで絞り込み、AIによる分析ブリーフをWeChat、Feishu、Telegram、メール、Slackなどのチャネルに送るツールです。MCPサーバーとしても動かせます。
• Panniantong/Agent-Reach
  AI agentがTwitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShuなどのプラットフォームを有料API費用なしで読み、検索できるようにするCLIです。たとえば動画の字幕や読みやすいWebページ本文を取得できます。
• jackwener/OpenCLI
  OpenCLIは、Webサイト、ブラウザセッション、Electronアプリ、ローカルツールを、人とAI agentが使えるCLIに変えます。skillを使うと、agentはユーザーがログイン済みのChromeでページ移動、クリック、フォーム入力、データ抽出ができます。
• firecrawl/firecrawl
  ウェブを検索し、ページをMarkdown、HTML、スクリーンショット、構造化JSONとしてスクレイピングし、抽出前にページを操作することもできるweb data APIです。オープンソースで、ホスティングサービスとしても提供されています。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。