onehumanbeing/esp32-iphone-agent

本页介绍外部开源仓库，并非 HDATF 产品。

它做什么

ESP32 iPhone Agent是一个由Python服务器和Arduino固件组成、采用MIT许可证的项目，它让AI视觉模型在无需Mac、Xcode、开发者账号、手机应用或越狱的情况下操作一部真实的iPhone。目标用户是希望通过人使用手机的同一途径，即屏幕和指针，来自动化iPhone的开发者和爱好者，README要求只自动化自己拥有或获准使用的设备和账号，并遵守各应用的条款。手机通过AirPlay把屏幕镜像到macOS或Linux电脑上的UxPlay，由GStreamer转成JPEG帧，插在手机USB口上的ESP32-S3开发板被识别为标准USB鼠标和键盘。打开iOS AssistiveTouch(在屏幕上显示指针的辅助功能设置)后，点击就是点按，拖动就是滑动，开发板只执行通过2.4GHz Wi-Fi收到的click、type等单行命令。所有判断都由电脑上的FastAPI服务器负责，在这套代码中，网页API和开发板端口默认不经登录就在所有网络接口上开放，命令以明文经TCP传输。用户在8890端口的网页中输入目标后，planner模型写出最多6步的计划，actor模型针对每张新截图以0到1000的坐标返回最多6个tap、swipe等动作。由于指针按相对位移移动，服务器会轻微晃动指针并在镜像画面中找到它来校准，每个动作后检查屏幕是否变化并告知模型，在无效的相同动作重复时重新规划。一次运行到40步或连续3次出错时结束，网页显示在每次决策所依据的截图上画出动作的step wall，以及也可用Esc键触发的紧急停止。所需准备包括刷写了固件的ESP32-S3开发板(测试用板是约7美元的Seeed XIAO ESP32S3)、USB-C接口的iPhone或配合相机转接器的Lightning接口iPhone，以及Python 3.10及以上。模型可以是任何接受图像的OpenAI兼容聊天API，planner和actor可以使用不同的模型，由于每次调用都会附带当前截图，使用云端API时，手机屏幕上显示的内容会传给该服务商。开发和计时使用的是在两台NVIDIA DGX Spark上运行的本地模型(每个动作约1.3秒，每次规划2秒)，附带的serve文件夹中的服务器是尚未经过完整智能体运行测试的实验版本。README列出的限制是，iOS会把密码输入、Apple Pay和受DRM保护的视频排除在镜像之外，智能体看不到这些画面，手机锁屏后镜像会停止，输入只支持ASCII，横屏应用尚未支持。

许可证

MIT 宽松许可。保留版权声明即可商用和修改。

同领域的其他仓库

• T-Auto/dsh-ops
  dsh-ops是面向DeepSeek Harness(DSH)的第三方插件，它为Windows上的AI智能体提供专用的bash和PowerShell 7以及Rust文件工具，以减少反复出现PowerShell错误所耗费的token和时间。0.3.0版本只支持Windows x64，目标宿主为DSH 0.2.0-rc.2，需要22系列中的Node.js 22.19及以上或24及以上，可以通过DSH插件marketplace或npx命令安装。默认开启的shell component会发布ops_bash，并让宿主的pwsh工具使用随包的PowerShell 7，同时保持系统默认终端和PATH不变。同样默认开启的file component在独立的Rust worker中运行文件工具，并为修改提供dry run和原子替换。在默认关闭的两个component中，background只在danger-full-access会话中处理长时间任务，PTC只在通过SDK从代码调用工具的PTC-only会话中添加ops_batch。ops_batch在执行复制、移动、删除时会进行SHA-256校验，在每项操作之前先写入逐项状态，并支持中断后恢复，其审计记录是.dsh-ops文件夹中workspace所有者可以改动的普通本地记录。在DSH的read-only和workspace-write模式下，任意Bash和PTC代码都在OS隔离(confinement)中运行，没有不受限的后备路径，但Windows宿主把这种隔离报告为partial。danger-full-access按设计会绕过这种隔离，插件还会对当前用户拥有的workspace根目录先备份原有权限，再只为该目录添加WRITE_OWNER权限。随包的bash和PowerShell 7以压缩大小分别为161.2 MB和107.6 MB的可选npm包形式安装，如果registry镜像中缺少这些包，安装仍会在没有警告的情况下以退出码0结束。README中token减少97%和65%的数据来自作者自己的benchmark，而PTC设计文档写明没有提出固定的节省比例，也没有实际模型轮次的benchmark。LICENSE文件把插件定为MIT，把FastCtx定为Apache-2.0，随包的shell遵循GPL(Git for Windows)和MIT(PowerShell)条款，PROVENANCE.md写明GPL源码提供义务尚未审查。文档还记录了各DSH版本上的实际安装尚未得到证实，以及2026-10-08旧版本因工具注册冲突导致所有新DSH会话启动失败，当前设计通过只注册自己的工具来避免这一问题。
• mksglu/context-mode
  Context Mode是面向使用AI编码智能体的开发者的MCP服务器兼hook插件，它把大型工具输出挡在context window之外，并在对话压缩(compaction)后恢复工作状态。在11个MCP工具中，ctx_execute、ctx_batch_execute和ctx_execute_file在独立的子进程中运行12种语言的代码，只把打印出的结果传入context。ctx_index、ctx_search和ctx_fetch_and_index把Markdown和抓取的网页存入SQLite FTS5索引，只返回按BM25排序的匹配部分。hook会把curl、wget和web fetch调用转到这些工具，并把文件编辑、git操作、错误和用户决定记录到按项目划分的SQLite数据库中，README还写明不带--continue启动新会话时会删除之前会话的数据。对话压缩后，它们会注入一份包含各分类摘要和搜索调用的恢复用snapshot，而固定commit中的代码会忽略README所写的2 KB限制。它需要Node.js 22.5及以上或Bun，Claude Code通过marketplace以插件形式安装，其他客户端则在配置文件中加入MCP服务器和hook条目，或使用客户端专用的插件。只安装MCP服务器时只能使用工具而没有自动routing，会话延续在Claude Code等客户端上为完整，在Cursor、Codex CLI和Kiro上为部分，在Antigravity IDE和Zed上则没有。README声明没有数据离开本机，也没有telemetry，但服务器在启动时会向npm registry查询最新版本，ctx_insight会打开context-mode.com上的Insight仪表板。README中没有说明的hooks/platform-bridge.mjs，只要platform.json中有API key和服务器地址，就会在遮盖部分秘密值格式、邮箱地址和主目录路径后，把每个会话事件发送到所配置的Insight服务器。ctx_execute_file被限制在项目文件夹内，但README写明ctx_execute和ctx_batch_execute以进程自身的文件访问权限运行任意代码，并建议保持主机层面的sandbox开启。用户的permission deny规则也适用于sandbox工具，ctx_fetch_and_index在设置CTX_FETCH_STRICT=1之前允许访问本地和私有网络地址。LICENSE文件是Elastic License 2.0(ELv2)，允许使用、修改和再分发，但禁止把软件作为托管或管理型服务提供给第三方以及删除许可声明。
• rociiu/talorys
  Talorys是由一位所有者部署到自己Cloudflare账号中的个人AI助手，把聊天、记忆、任务、笔记、项目和提醒集中到一个浏览器应用里，仓库说明的版本是0.1.4。它没有注册流程，所有者密码在本地用PBKDF2-SHA256哈希后作为Cloudflare机密保存，公开的pages.dev地址由这个密码、SameSite=Strict会话Cookie和登录失败锁定来保护。请求从带有React界面的Cloudflare Pages应用转到没有公开URL的私有Worker，一个用Cloudflare Agents SDK构建的Durable Object把对话、记忆、任务、笔记、项目、自动化、设置和用量保存在SQLite中，所有者可以下载不含会话和凭据的备份文件。输入是在聊天框中输入的文字，回复由Workers AI(默认模型@cf/zai-org/glm-4.7-flash)生成的Markdown边生成边显示，界面上还会显示正在调用哪些工具。记忆是所有者可以查看、修改和删除的事实与偏好，每轮最多放入8条，先放与正文关键词检索匹配的条目，再用最近的偏好补足最多4条，使用@cf/baai/bge-m3的语义检索默认关闭，开启后默认每天有500次嵌入的上限。任务、笔记和项目在界面和聊天中都可以修改，在聊天中要求删除任务、笔记或记忆时会先变成删除提议，所有者在应用中按下Approve后才会执行。自动化分为一次性提醒和重复提醒、不用AI整理即将到期和已过期任务的任务摘要，以及只用只读工具并在200词以内回答的AI提示运行，可以按每天、选定的星期、每月或15分钟到31天的间隔由Durable Object闹钟触发执行，结果送到应用内的通知中心，在读过的代码中没有找到推送或邮件发送功能。默认上限是每轮输出1,024个token、工具调用6次、context 6,000个token(超过后会摘要旧对话)，以及每天AI请求200次、定时AI运行6次，每项都可以提高到规定的上限，AI额度用完后任务、笔记、记忆和提醒仍可继续使用。部署时在Node.js 22及以上版本运行npx create-talorys@latest，通过浏览器中的Cloudflare登录或带有Workers Scripts Edit、Cloudflare Pages Edit、Workers AI Read、Account Settings Read权限的API令牌完成，数据在不发送使用统计的情况下留在所有者的账号中，但聊天消息和放入提示的记忆会为了Workers AI推理由Cloudflare处理。README写明它按照Workers免费计划的额度设计，用量受Cloudflare规定并可能调整的额度限制，按撰写时Cloudflare的标准，Workers AI每天提供10,000 Neurons，因此免费计划用完后要到UTC 00:00重置才能继续聊天，付费计划每月最低5美元，超出的Neurons按每1,000个0.011美元计费。
• FeiZhuLulu/DeepSeek-Bot
  DeepSeek-Bot(DS Bot)是安装到DeepSeek Harness(DSH)中的机器人插件，增加了创建多个有名字和角色的机器人、与它们对话并以小组形式分派工作的功能。目标用户是想把工作分给多个AI机器人的DSH用户，仓库声明这是独立于DeepSeek官方产品的社区项目。每个机器人都是拥有各自名字、角色、指令和模型的DSH会话，机器人之间通过message_bot、create_bot、update_bot、ask_user工具互发消息，默认机器人Chief负责管理其他机器人。在群聊中，管理员机器人默认回答，可以用提及把发言权交给其他机器人，或用PASS标记跳过发言，每个成员在每个群里都有一个隐藏会话。机器人不使用DSH的对话压缩，而是在context使用率达到0.8时，通过单独调用一个小模型写下检查点。记忆分为机器人级和团队级两种范围，通过remember、forget、recall工具和每轮之后的复查来管理，有每条300字符、MEMORY.md为4,000字符等上限，看起来像秘密值的内容会被拒绝。网页搜索按照配置文件中指定的提供方、模型通道自带的搜索、公开的Bing和DuckDuckGo结果页的顺序尝试，Desktop中的机器人浏览器在按机器人隔离的只读界面中跳过密码和银行卡输入框，把页面读取为Markdown。request_secret被说明为只把通过用户输入卡片收到的值作为shell变量传递，并将其排除在state.json和日志之外，但只有原样复制的值会被遮盖，经过编码或拆分的值可能泄露，在Windows上文件权限600不起作用，通过http打开的页面会以明文传输该值。安装方式是在DSH Desktop(Windows、macOS)的Plugins菜单中通过Add plugin完成，或在DSH Web中用Node.js 22.19及以上版本和pnpm组装配置包，安装DSH与连接插件是两个独立的步骤。文档说明这是v0.1早期公开版，功能、工具和存储格式可能变化，并在Linux上的dsh 0.2.1-alpha.1中测试过，数据默认保存在用户目录的.dsh/bot下，用量界面只显示token而不显示费用。
• docker/docker-agent
  docker-agent是Docker推出的AI智能体运行工具，在YAML文件中定义智能体，并通过docker agent命令运行。YAML中写明模型、指令、toolset、子智能体、备用模型、迭代次数上限和skill。工具以MCP服务器形式接入，可通过Docker MCP Gateway、本地stdio或远程HTTP方式连接，另有think、todo、memory等内置工具。memory保存在用户主目录下的SQLite文件中，RAG支持将BM25与embedding结合的检索以及reranking。模型可从OpenAI、Anthropic、Gemini、Bedrock等外部服务商或Docker Model Runner的本地模型中选择，API密钥由用户自行设置。可使用Docker Desktop 4.63及以上版本自带的插件，也可通过Homebrew和发布的二进制文件安装。默认在运行有副作用的工具前请求用户确认，并可设置按拒绝、允许、确认顺序生效的权限规则。--yolo选项会自动批准所有工具，沙箱运行需另行安装Docker Sandboxes，且工作目录以可写方式挂载。它还能把任务交给PATH中的claude、codex等CLI，提供带会话数据库的REST API服务器，通过OCI仓库共享智能体，并以重放已保存会话的方式进行评估。使用数据收集(telemetry)默认开启，文档提醒不要假定收集的数据中不含机密或个人信息。

只收录进入 Trendshift 排行榜的仓库，榜单仅用于寻找候选项目，不转载名次。说明、许可证和星标数来自各 GitHub 仓库。解读是我们自己的判断。我们尚未测试这些项目，上榜并不证明质量。