firecrawl/firecrawl

来源
GitHub
首次上榜日期
领域
数据采集
GitHub 星标数
186,013
主要语言
TypeScript
网站
firecrawl.dev (在新标签页中打开)

本页介绍外部开源仓库,并非 HDATF 产品。

firecrawl/firecrawl

它做什么

一款web data API,可搜索网络,把页面抓取为Markdown、HTML、截图或结构化JSON,并能在提取前与页面交互。它是开源的,也提供托管服务。

对 ATF 的帮助

它能把网页返回为干净的Markdown或结构化数据,值得与LabChin围绕研究问题收集检索来源的方式进行比较。

许可证

AGPL-3.0 网络 Copyleft 许可。以服务形式提供修改版也须公开源码。用于产品前需要评估。

同领域的其他仓库

  • AhmadIbrahiim/Website-downloader
    这是一个使用wget下载页面和资源、再用archiver打包的Node.js网页下载工具。它会转换链接以供离线浏览。
  • Panniantong/Agent-Reach
    一个让AI agent无需付费API即可读取和搜索Twitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShu等平台的CLI,例如获取视频字幕或可读的网页正文。
  • pandorafuture/wx-cli
    这是一个在macOS上查询和搜索本人本地微信记录并订阅新消息的工具。它提供导出、REST API以及排除指定联系人或群聊的过滤器。
  • CloakHQ/CloakBrowser
    一个在C++源码层面修改浏览器指纹、让反机器人系统将其视为普通浏览器的Chromium构建版本。它设计为在Python和JavaScript中直接替换Playwright或Puppeteer。
  • atilaahmettaner/tradingview-mcp
    这是向AI客户端提供市场数据、技术指标、筛选器和回测的独立MCP服务器。README说明其使用公开数据端点,而非自动操作TradingView会话。

只收录进入 Trendshift 排行榜的仓库,榜单仅用于寻找候选项目,不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目,上榜并不证明质量。

在 GitHub 上查看 (在新标签页中打开)