pathwaycom/pathway

외부 오픈소스 저장소를 소개하는 글입니다. HDATF 제품이 아닙니다.

무엇을 하나

batch와 stream 처리, 실시간 분석, LLM pipeline, RAG를 위한 Python ETL framework입니다. Python 코드는 증분 계산을 하는 Rust 엔진에서 실행되며, 같은 코드로 로컬 개발, batch 작업, streaming을 모두 처리합니다.

ATF에 주는 도움

AX consulting에서 MES나 ERP 같은 시스템의 기록이 바뀔 때마다 분석이나 검색으로 흘려보내야 할 때 참고할 수 있습니다. 증분 처리 방식은 Company Brain을 최신 상태로 유지하는 방법으로도 비교해 볼 만합니다.

라이선스

자체 라이선스 표준이 아닌 자체 라이선스입니다. 재사용 전에 라이선스 파일을 직접 읽어야 합니다.

같은 분야 저장소

• koala73/worldmonitor
  엄선한 뉴스 피드를 모아 AI 요약 브리핑으로 만들고 지정학, 인프라, 금융 시장 신호를 추적하는 실시간 대시보드로, 3D 지구본과 평면 지도 화면이 있습니다. AI는 Ollama로 로컬에서 돌릴 수 있습니다.
• D4Vinci/Scrapling
  Scrapling은 페이지가 바뀌어도 parser가 요소를 다시 찾아내는 Python web scraping 프레임워크입니다. anti-bot 시스템을 우회하는 fetcher와, 일시정지, 재개, 프록시 교체를 지원하는 동시 크롤링용 spider 프레임워크를 제공합니다.
• pinchtab/pinchtab
  AI agent가 Chrome을 직접 조작할 수 있게 해 주는 Go 기반 독립 HTTP 서버로, headless 브라우저 인스턴스, 대시보드, HTTP API, MCP 서버를 제공합니다. 우선 로컬에서 한 사용자가 쓰는 환경을 기준으로 설계했습니다.
• lightpanda-io/browser
  Lightpanda는 AI agent와 자동화를 위해 Zig로 처음부터 새로 만든 headless browser입니다. Chromium이나 WebKit을 고쳐 만든 것이 아닙니다.
• calesthio/Crucix
  비행 추적, 방사능 모니터링, 분쟁 데이터, 시장 가격 등 27개 공개 출처 정보(OSINT) 피드를 15분마다 모아 보여 주는 로컬 실행형 대시보드입니다. LLM을 연결하면 Telegram과 Discord로 알림을 보내고 명령에 답합니다.

Trendshift 순위 목록에 오른 저장소만 담았고, 목록은 후보를 찾는 데만 썼습니다. 순위 숫자는 옮기지 않았습니다. 설명과 라이선스, 별 수는 각 GitHub 저장소에서 확인했습니다. 해설은 우리의 판단입니다. 이 프로젝트들을 직접 시험한 것은 아니며, 상승 목록에 올랐다고 품질이 증명되지는 않습니다.