D4Vinci/Scrapling

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

Scrapling是一个Python网页抓取框架，页面变化时解析器能重新定位元素。它提供可绕过反爬系统的fetcher，以及支持暂停、恢复和代理轮换的并发爬取spider框架。

其自适应选择器和可恢复的爬取方式，可作为LabChin从网络收集检索资料的参考。不过，其绕过反爬系统的功能涉及网站条款和法律问题。

BSD-3-Clause 宽松许可。可商用，需保留声明，不得用作者名义背书。

pinchtab/pinchtab
用Go编写的独立HTTP服务器，让AI智能体直接控制Chrome，提供无头浏览器实例、仪表盘、HTTP API和MCP服务器。它首先面向本地单用户使用而设计。
koala73/worldmonitor
一个实时仪表盘，把精选新闻源汇总成AI撰写的简报，并追踪地缘政治、基础设施和金融市场信号，提供3D地球和平面地图视图。其AI可通过Ollama在本地运行。
lightpanda-io/browser
Lightpanda是为AI agent和自动化用Zig从零编写的headless browser。它并非Chromium或WebKit的分支。
pathwaycom/pathway
一个用于批处理和流处理、实时分析、LLM流水线和RAG的Python ETL框架。Python代码运行在进行增量计算的Rust引擎上，同一套代码可用于本地开发、批处理作业和流式处理。
calesthio/Crucix
一个在本地运行的情报仪表盘，每15分钟汇集27个开源情报数据源，例如航班追踪、辐射监测、冲突数据和市场价格。接入LLM后，它会向Telegram和Discord推送提醒并响应指令。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。