D4Vinci/Scrapling

外部のオープンソース リポジトリを紹介するページです。HDATFの製品ではありません。

何をするか

Scraplingは、ページが変わってもパーサーが要素を再検出するPythonのWebスクレイピングフレームワークです。anti-botシステムを回避するfetcherと、一時停止、再開、プロキシのローテーションに対応した並行クロール用のspiderフレームワークを備えています。

ATFへの役立ち方

adaptiveなセレクターと再開可能なクロールは、LabChinがWebから検索した資料を集める方法の参考になり得ます。ただしanti-bot回避機能には、サイト規約や法的な問題が伴います。

ライセンス

BSD-3-Clause 寛容なライセンスです。商用利用できます。告知を残し、作者名を宣伝に使ってはいけません。

同じ分野のリポジトリ

• pinchtab/pinchtab
  AIエージェントがChromeを操作できるようにするGo製の独立したHTTPサーバーで、ヘッドレスブラウザのインスタンス、ダッシュボード、HTTP API、MCPサーバーを備えます。まずはローカルで一人のユーザーが使う前提で設計されています。
• koala73/worldmonitor
  厳選したニュースフィードをAIによる要約ブリーフにまとめ、地政学、インフラ、金融市場のシグナルを追跡するリアルタイムダッシュボードで、3D地球儀と平面地図の表示があります。AIはOllamaでローカル実行できます。
• lightpanda-io/browser
  Lightpandaは、AI agentと自動化のためにZigでゼロから作られたheadless browserです。ChromiumやWebKitのフォークではありません。
• pathwaycom/pathway
  バッチ処理とストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワークです。Pythonのコードは増分計算を行うRustエンジン上で動き、同じコードでローカル開発、バッチジョブ、ストリーミングに対応します。
• calesthio/Crucix
  フライト追跡、放射線監視、紛争データ、市場価格など27のオープンソースインテリジェンスのフィードを15分ごとに集めて表示する、ローカル実行型のダッシュボードです。LLMを接続すると、TelegramやDiscordに通知を送り、コマンドに応答します。

Trendshiftのランキングに入ったリポジトリだけを載せ、リストは候補を探すためだけに使いました。順位の数字は転載していません。説明、ライセンス、スター数は各GitHubリポジトリで確認しました。解説は私たちの判断です。これらを試験したわけではなく、上昇リストに載ったことは品質の証明ではありません。