Stateful Agent Environments and Grounded Verification
Summary
有状态 Agent 的可复用评测单元不是单个页面或一条轨迹，而是 environment + tasks + verifier：环境提供跨页面、跨用户和跨操作的状态与约束，任务定义要完成的工作流，验证器从更权威的状态判断结果是否成立。Echoverse 的证据表明，行为保真、状态连贯和工作流深度比单纯增加页面数量或同一环境的轨迹数量更接近泛化问题的核心；但这些结果仍局限于其合成环境、模型和评测配置。
Durable unit: environment + tasks + verifier
Environment
环境应尽量保留真实任务中的因果结构，而不只是提供能点击的静态外观：路由可达，控件行为有约束，跨页面状态持续，跨用户数据关系合理，写操作改变持久状态，错误路径和边界状态可再次进入。
Tasks
任务应覆盖有意义的工作流深度，而不是把一项操作拆成大量表面相似样本。任务集合需要暴露状态依赖、组合控件、跨页目标和失败恢复；能力专项 world 则可以把高频瓶颈（例如日期选择器、嵌套筛选器）从完整业务流中隔离出来，再用未见布局或真实网页任务检查迁移。
Verifier
验证器应尽量读取任务的权威结果，而不是把截图相似度或“按钮消失”当成业务成功。对读操作可比较规范化的状态语义；对写操作可比较持久记录的状态翻转和前后 diff；读写混合任务应明确组合规则。验证器也必须能暴露自身偏差，不能把 verifier 错误归因给模型。
Evaluation dimensions
- 行为保真（behavioral fidelity）：控件、路由、校验、错误路径和操作副作用是否表现出真实的因果约束。
- 状态连贯（state coherence）：跨页面、跨用户和跨步骤读取到的状态是否互相一致，且写入是否留下可追溯的持久变化。
- 工作流深度（workflow depth）：任务是否需要组合控件、状态依赖、长链路判断和失败处理，而非只测单页点击。
- 权威结果校验（authoritative outcome verification）：完成判断是否来自数据库、API、记录、历史、回执或文件等更权威状态，而不是交互层现象。
- 领域价值（domain value）：任务是否代表真实业务目标、风险和用户价值；高保真但没有业务意义的 world 仍可能优化错目标。
这些维度应作为评测设计问题，而不是对所有 computer-use 任务的统一硬性清单。
What Echoverse contributes
原文报告了 12 个训练 world：10 个深度领域 world 和日期选择器、嵌套筛选器两个能力 world；环境由 React、FastAPI 和 SQLite 组成，并用 SQL 语义等价、数据库 row 状态翻转和前后 diff 实现 grounded verifier。来源还报告了浅层/深层环境消融、EchoStay 控件修复前后结果、14 个合成评测集的 9B 模型结果，以及 capability world 到真实 Web 任务的迁移。
原文的关键 scaling 观察是：同一环境增加轨迹从 6,400 到 20,000 后，真实网页迁移可能饱和甚至下降；增加环境 breadth 和多样性比只堆重复轨迹更有价值。原文同时把环境、模型、任务和验证器视为共同演进对象，并通过反复检查失败来区分四类根因：模型行为、环境控制、任务设计和验证器。
Failure attribution
| Failure owner | 典型信号 | 处置问题 |
|---|---|---|
| Model | 目标明确、环境可达、权威状态未改变或读取错误 | 模型是否选错工具、参数、顺序或停止时机？ |
| Environment | 同一控件/路径阻塞多个合理轨迹 | 环境是否错误实现状态、权限、控件或持久化？ |
| Task | 目标歧义、种子数据缺失、工作流无法从 UI 完成 | 任务是否可执行、可重置且代表目标领域？ |
| Verifier | UI 与权威状态冲突，或等价状态被错误判失败 | 读取语义、row diff、评分组合和数据契约是否正确？ |
Capability worlds and co-evolution
能力专项 world 适合在确认瓶颈后做窄化实验：固定能力目标，改变布局、上下文、约束和组合方式，再用 hold-out 或真实网页检查迁移。它不等于为每个 UI 控件建立永久训练集。
共同演进意味着每轮都要记录模型、环境、任务和验证器版本以及修复原因；环境修复、任务重写或 verifier 校准都可能改变分数含义。SFT/RL、数据库 grader 和 synthetic world 是 Echoverse 的研究配置，不是普通浏览任务的默认流程或 AI Agent 的强制要求。
AI Agent mapping
以下是 AI Agent 映射，均为 [推论]，不是 Echoverse 或 Stencil 原文事实：
- 对需要持久业务状态的 GUI 动作，在声明完成前优先读回最权威可用状态；截图变化、AX/driver 的
confirmed或控件消失只证明交互层效果。 - 对只读浏览、导航、临时 UI 或没有状态契约的任务，不为形式完整而增加业务回读；无法回读时明确验证限制。
- 对 Agent runtime 的 rewind、fork、resume、cancel、child-agent cleanup 和外部副作用，优先验证权威 session/run/job 状态；进程退出、视图变化或 worker 自报完成不足以单独证明恢复或业务成功。
- 把“环境 + 任务 + 验证器”用于评测设计和失败归因，不把它外推成所有 computer-use 任务都必须有 synthetic world、RL 或数据库 grader。
- 先复用已有、低风险、可撤销任务验证 action → readback，再决定是否需要更高权威的验证面；不因一篇研究自动创建 fixture、project、monitor 或 multi-agent chain。
这条映射与 [[production-ai-agent-evaluation-framework]] 的工具行为和多步连贯性指标相连，也与 [[agent-development-lifecycle]] 的测试/监控/治理闭环、[[agent-self-validation-loops]] 的反馈和停止条件相连。Harness 的控制平面/执行平面边界与 [[subagent-orchestration-patterns]] 交叉，但不构成新的编排模式。
Evidence boundary
Echoverse 的数字来自特定模型、合成环境和任务配置；真实 Web 的迁移增幅小于合成评测增幅，且 RL reward 使用 GPT-4.1/4.1 Vision judge。本文不把作者的收益数字转成 AI Agent 阈值，也不把合成环境的数据库验证器转成普通网页操作的默认依赖。