CloakHQ/CloakBrowser

出典
GitHub
初登場日
分野
データ収集
GitHubスター数
31,506
主な言語
Python
ウェブサイト
cloakbrowser.dev (新しいタブで開きます)

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

CloakHQ/CloakBrowser

何をするか

ブラウザのfingerprintをC++のソースレベルで変更し、ボット検知システムに通常のブラウザと判定させるChromiumビルドです。PythonとJavaScriptでPlaywrightやPuppeteerの代わりにそのまま置き換えて使う想定です。

ATFへの役立ち方

関連は薄いです。LabChinやCompany Brainの資料収集はサイトのルールとアクセス範囲を守る必要があり、ボット検知を回避する方式はそれに合いません。サイトが自動化ブラウザをどう見分けるかの参考程度にとどまります。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

  • Panniantong/Agent-Reach
    AI agentがTwitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShuなどのプラットフォームを有料API費用なしで読み、検索できるようにするCLIです。たとえば動画の字幕や読みやすいWebページ本文を取得できます。
  • h4ckf0r0day/obscura
    Obscuraは、WebスクレイピングとAI agentの自動化のためにRustで書かれたheadlessブラウザエンジンです。V8でJavaScriptを実行し、PuppeteerやPlaywrightとともにChrome DevTools Protocolに対応し、スクリーンショットの取得やPDFの書き出しもできます。
  • firecrawl/firecrawl
    ウェブを検索し、ページをMarkdown、HTML、スクリーンショット、構造化JSONとしてスクレイピングし、抽出前にページを操作することもできるweb data APIです。オープンソースで、ホスティングサービスとしても提供されています。
  • sansan0/TrendRadar
    複数プラットフォームの話題のニュースとRSSフィードを集め、キーワードやAIで絞り込み、AIによる分析ブリーフをWeChat、Feishu、Telegram、メール、Slackなどのチャネルに送るツールです。MCPサーバーとしても動かせます。
  • AhmadIbrahiim/Website-downloader
    wgetでページと素材を取得し、archiverでまとめるNode.jsのウェブダウンロードツールです。オフライン閲覧向けにリンクを変換します。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。

GitHubで見る (新しいタブで開きます)