D4Vinci/Scrapling

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

Scrapling은 페이지가 바뀌어도 parser가 요소를 다시 찾아내는 Python web scraping 프레임워크입니다. anti-bot 시스템을 우회하는 fetcher와, 일시정지, 재개, 프록시 교체를 지원하는 동시 크롤링용 spider 프레임워크를 제공합니다.

ATF에 주는 도움

adaptive 선택자와 이어서 할 수 있는 크롤링은 LabChin이 웹에서 검색한 자료를 모으는 방식에 참고할 수 있습니다. 다만 anti-bot 우회 기능에는 사이트 약관과 법적 문제가 따릅니다.

라이선스

BSD-3-Clause 허용 범위가 넓습니다. 상업적 이용이 가능하며 고지 문구를 유지하고 저작자 이름을 홍보에 쓰면 안 됩니다.

같은 분야 저장소

• pinchtab/pinchtab
  AI agent가 Chrome을 직접 조작할 수 있게 해 주는 Go 기반 독립 HTTP 서버로, headless 브라우저 인스턴스, 대시보드, HTTP API, MCP 서버를 제공합니다. 우선 로컬에서 한 사용자가 쓰는 환경을 기준으로 설계했습니다.
• koala73/worldmonitor
  엄선한 뉴스 피드를 모아 AI 요약 브리핑으로 만들고 지정학, 인프라, 금융 시장 신호를 추적하는 실시간 대시보드로, 3D 지구본과 평면 지도 화면이 있습니다. AI는 Ollama로 로컬에서 돌릴 수 있습니다.
• lightpanda-io/browser
  Lightpanda는 AI agent와 자동화를 위해 Zig로 처음부터 새로 만든 headless browser입니다. Chromium이나 WebKit을 고쳐 만든 것이 아닙니다.
• pathwaycom/pathway
  batch와 stream 처리, 실시간 분석, LLM pipeline, RAG를 위한 Python ETL framework입니다. Python 코드는 증분 계산을 하는 Rust 엔진에서 실행되며, 같은 코드로 로컬 개발, batch 작업, streaming을 모두 처리합니다.
• calesthio/Crucix
  비행 추적, 방사능 모니터링, 분쟁 데이터, 시장 가격 등 27개 공개 출처 정보(OSINT) 피드를 15분마다 모아 보여 주는 로컬 실행형 대시보드입니다. LLM을 연결하면 Telegram과 Discord로 알림을 보내고 명령에 답합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.