firecrawl/firecrawl

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

ウェブを検索し、ページをMarkdown、HTML、スクリーンショット、構造化JSONとしてスクレイピングし、抽出前にページを操作することもできるweb data APIです。オープンソースで、ホスティングサービスとしても提供されています。

ATFへの役立ち方

ウェブページをきれいなMarkdownや構造化データとして返すため、LabChinが研究課題に沿って検索した資料を集める方式と比較する価値があります。

ライセンス

AGPL-3.0 ネットワーク コピーレフトです。改変版をサービスとして提供する場合もソース公開が必要です。製品利用の前に確認が必要です。

同じ分野のリポジトリ

• AhmadIbrahiim/Website-downloader
  wgetでページと素材を取得し、archiverでまとめるNode.jsのウェブダウンロードツールです。オフライン閲覧向けにリンクを変換します。
• Panniantong/Agent-Reach
  AI agentがTwitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShuなどのプラットフォームを有料API費用なしで読み、検索できるようにするCLIです。たとえば動画の字幕や読みやすいWebページ本文を取得できます。
• pandorafuture/wx-cli
  macOSで自分のローカルWeChat履歴を照会、検索し、新着メッセージを購読するツールです。エクスポート、REST API、特定の連絡先やグループを除外するフィルターを提供します。
• CloakHQ/CloakBrowser
  ブラウザのfingerprintをC++のソースレベルで変更し、ボット検知システムに通常のブラウザと判定させるChromiumビルドです。PythonとJavaScriptでPlaywrightやPuppeteerの代わりにそのまま置き換えて使う想定です。
• atilaahmettaner/tradingview-mcp
  AIクライアントに市場データ、テクニカル指標、銘柄検索、バックテストを提供する独立したMCPサーバーです。READMEではTradingViewセッションの自動化ではなく公開データエンドポイントを利用すると説明しています。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。