firecrawl/firecrawl

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

웹을 검색하고, 페이지를 Markdown, HTML, 스크린샷, 구조화된 JSON으로 스크래핑하며, 추출 전에 페이지를 조작할 수도 있는 web data API입니다. 오픈소스이며 호스팅 서비스로도 제공됩니다.

ATF에 주는 도움

웹 페이지를 깔끔한 Markdown이나 구조화된 데이터로 돌려주므로, LabChin이 연구 질문에 맞춰 검색한 자료를 모으는 방식과 비교해 볼 만합니다.

라이선스

AGPL-3.0 네트워크 카피레프트입니다. 수정본을 서비스로 제공해도 소스를 공개해야 합니다. 제품에 쓰기 전에 검토가 필요합니다.

같은 분야 저장소

• AhmadIbrahiim/Website-downloader
  wget으로 페이지와 자산을 내려받고 archiver로 묶는 Node.js 웹 다운로드 도구입니다. 오프라인 열람을 위해 링크를 변환합니다.
• Panniantong/Agent-Reach
  AI agent가 Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu 같은 플랫폼을 유료 API 비용 없이 읽고 검색하게 해 주는 CLI입니다. 예를 들어 영상 자막이나 읽기 쉬운 웹 페이지 본문을 가져올 수 있습니다.
• pandorafuture/wx-cli
  macOS에서 자신의 로컬 WeChat 기록을 조회하고 검색하며 새 메시지를 구독하는 도구입니다. 내보내기, REST API, 특정 연락처나 그룹을 제외하는 필터를 제공합니다.
• CloakHQ/CloakBrowser
  브라우저 fingerprint를 C++ 소스 수준에서 바꿔 봇 탐지 시스템이 일반 브라우저로 판단하게 만든 Chromium 빌드입니다. Python과 JavaScript에서 Playwright나 Puppeteer 대신 그대로 바꿔 쓰도록 만들어졌습니다.
• atilaahmettaner/tradingview-mcp
  AI 클라이언트에 시장 데이터, 기술 지표, 종목 검색, 백테스트를 제공하는 독립 MCP 서버입니다. README는 TradingView 세션 자동화 대신 공개 데이터 엔드포인트를 사용한다고 설명합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.