把应用结构转为 JSON
快照通过原生无障碍接口返回角色、标签、窗口与可操作引用，为调用方提供受支持控件的结构化视图。
Agent Desktop
Agent Desktop 通过操作系统无障碍树读取并操作桌面应用。了解 Vercel Labs 的 CLI 与 C 库，围绕观察、操作和验证设计桌面工作流，处理失效元素引用，并核对不同平台的权限与能力边界。
让桌面步骤可以观察和验证
说明目标应用、记录和允许影响的字段或控件，让桌面任务请求包含当前目标观察及保存结果检查。自动操作前明确运行集成、平台权限和最终批准，不只描述一串点击动作。
带入 Floatboat 的请求
请求可预览和复制，不会从此处自动发送。
参考来源: Agent Desktop https://github.com/vercel-labs/agent-desktop 先阅读原始说明并核对当前环境与依赖。需要安装或连接新工具时，先提出方案。 我的任务: 阅读 Agent Desktop 的安装和快照文档，为每月发票导出梳理应用状态、所需权限、快照引用和导出检查。先给演练方案，暂不授予权限或操作应用。 期望交付: 观察、操作、验证的步骤，包含停止条件和完成证据。
关于 Vercel Labs Agent Desktop
Agent Desktop 是 Vercel Labs 发布的开源桌面自动化工具，通过 CLI 与 C 库访问操作系统无障碍接口，将应用结构转换为 JSON 快照和可操作元素引用。下一步由调用它的 Agent 决定；工具负责观察与控制，不自带负责规划的模型。
它的核心循环是读取快照、操作元素引用，再次观察结果。引用属于对应快照，目标失效或存在歧义时需要重新观察。默认操作通过无障碍接口执行，不主动抢占焦点；允许物理输入是另一项选择，具体能力也因操作系统而异。
对在 Floatboat 中组织的工作流，它为需要明确目标与结果验证的桌面步骤提供参考，例如把已核对的数据录入应用，再检查保存后的状态。实际复用仍需兼容的集成方式与必要权限，目录收录不会自动将这一工具接入 Floatboat。
观察桌面状态，操作后再次验证
JSON 快照描述应用结构，元素引用限定动作目标，返回值则记录命令结果。Agent Desktop 的这些证据需要配合实际状态检查，执行成功本身不能证明预期内容已经保存到应用中。
按快照中的元素引用操作
点击和赋值指向已观察的元素引用；目标过期或无法唯一确定时，需要重新取快照，而不是悄悄换一个目标继续。
先理解错误再决定重试
命令返回统一结果与结构化错误；重试标记帮助调用方判断可以安全重复，还是必须先调查当前状态。
Agent Desktop的使用场景
向应用录入资料后要读回保存值，列表变化后要重新定位目标。Agent Desktop 的控制方式可用于研究这些桌面流程，运行层的批准和最终核验仍由外围工作流承担。
把已核对资料录入应用
向应用录入信息前，先核验源数据并明确允许填写的字段。定位真实控件后再输入，保存后重新读取结果进行核对。如果目标或保存值与预期记录不一致，应停止处理，避免在不确定的桌面状态下继续操作。
在列表变化后恢复操作
列表变化可能让之前的行位置或控件引用失效。条目消失或目标不明确时，重新获取快照，依据目标记录的识别条件再次定位。后续行动保留重新定位后的证据，不依赖已经过期的坐标或引用继续操作。
为既有运行层补充桌面能力
已有规划和任务上下文的 Agent 运行时，可以将 CLI 调用与 C 库作为桌面控制接口进行比较。把所需操作对应到现有权限和运行边界，并将批准判断与桌面结果验证保留在外围工作流中，不因选用某种适配器而省略。
调查未成功的桌面动作
控制调用失败，可能与目标不可访问、应用状态变化或平台条件未满足有关。重试前检查返回错误和当前观察，再对照目标应用的实际状态判断原因。权限调整和批准仍交给外围工作流处理，不用反复调用代替对失败机制的理解。
核对 Agent Desktop 平台访问条件
桌面控制依赖平台权限、目标应用的无障碍暴露和所采集观察数据。以下条件需要结合操作系统与显示环境核对，再在任务中使用截图、剪贴板内容或模型辅助功能。
确认权限与会话条件
macOS 需要无障碍权限；Windows 操作受进程完整性级别限制；Linux 需要可访问的图形会话及文档要求的平台依赖。
核对应用与显示系统
先验证目标应用是否暴露需要的无障碍控件。Linux 的 X11 与 Wayland 在输入、截图和剪贴板方面存在差异，应查看当前平台能力表。
控制观察资料的范围
快照、剪贴板、截图与跟踪记录可能包含私人资料，应只采集任务所需证据，并单独检查可选模型辅助功能的数据流向。
相关软件项目
比较这些项目的用途、运行条件和源码许可。
Agent Desktop 常见问题
Agent Desktop 是 Agent Harness 或模型吗？
它是可由 Agent 调用的工具，以 CLI 和 C 库交付。规划、模型请求、审批以及是否继续执行，仍由外围 Agent 与工作流负责。
它和 Agent Browser 有什么区别？
Agent Desktop 通过操作系统无障碍接口操作桌面应用；Agent Browser 主要面向浏览器自动化。应根据任务控件实际所在的环境选择。
元素引用失效时应该怎么办？
引用受对应快照约束。目标过期或存在歧义时，应重新观察并使用新快照中的引用，不能假定旧引用仍指向原来的元素。
默认 headless 是否代表不需要图形环境？
不是。这里指默认通过无障碍接口操作，不抢占焦点或移动鼠标。Linux 仍需要用户图形会话，物理输入还受额外平台条件限制。
三个操作系统的能力完全相同吗？
不相同。文档分别说明鼠标输入、截图、剪贴板、通知与系统面板等差异，需要针对实际运行环境核对当前能力表。
安装 Skill 就拥有桌面操作权限了吗？
没有。Skill 说明 Agent 应如何使用工具；可执行程序、平台辅助文件、操作系统权限与宿主集成仍是独立的准备条件。