AhmadIbrahiim/Website-downloader

出典
GitHub
初登場日
分野
データ収集
GitHubスター数
5,563
主な言語
HTML
ウェブサイト
website-downloader.onrender.com (新しいタブで開きます)

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

AhmadIbrahiim/Website-downloader

何をするか

wgetでページと素材を取得し、archiverでまとめるNode.jsのウェブダウンロードツールです。オフライン閲覧向けにリンクを変換します。

ATFへの役立ち方

LabChinで収集許可のある研究資料を保存する際に、オフライン用にページをまとめる方法を参考にできます。

ライセンス

MIT 寛容なライセンスです。著作権表示を残せば商用利用と改変ができます。

同じ分野のリポジトリ

  • pandorafuture/wx-cli
    macOSで自分のローカルWeChat履歴を照会、検索し、新着メッセージを購読するツールです。エクスポート、REST API、特定の連絡先やグループを除外するフィルターを提供します。
  • firecrawl/firecrawl
    ウェブを検索し、ページをMarkdown、HTML、スクリーンショット、構造化JSONとしてスクレイピングし、抽出前にページを操作することもできるweb data APIです。オープンソースで、ホスティングサービスとしても提供されています。
  • atilaahmettaner/tradingview-mcp
    AIクライアントに市場データ、テクニカル指標、銘柄検索、バックテストを提供する独立したMCPサーバーです。READMEではTradingViewセッションの自動化ではなく公開データエンドポイントを利用すると説明しています。
  • Panniantong/Agent-Reach
    AI agentがTwitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShuなどのプラットフォームを有料API費用なしで読み、検索できるようにするCLIです。たとえば動画の字幕や読みやすいWebページ本文を取得できます。
  • CloakHQ/CloakBrowser
    ブラウザのfingerprintをC++のソースレベルで変更し、ボット検知システムに通常のブラウザと判定させるChromiumビルドです。PythonとJavaScriptでPlaywrightやPuppeteerの代わりにそのまま置き換えて使う想定です。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。

GitHubで見る (新しいタブで開きます)