验收用例与证据矩阵
文档性质：补编设计稿；编写日期：2026-10-20。当前实施状态统一见阅读导航。以下 40 项为完整验收用例，尚无任一项满足全部证据条件。已有局部开发验证记录见下文，不代替真实设备或发布验收。
2026-10-20 开发验证记录
- 真实 MySQL 8.4.11 的新建
opc 库已运行 Alembic 至 0002_datetime_precision；alembic check 无结构差异。业务账号仅允许本机连接，数据库端口仅监听环回地址。
- Python 自动化检查共 8 项通过，其中 MySQL 集成测试以外层事务回滚，覆盖登录、配对码一次性使用、显式设备授权和浏览器执行关闭边界。该覆盖只是 IAM-03、DEV-01、DAT-01 等用例的部分步骤，不将整项标为“通过”。
- 专用 Windows 测试机与隔离网络尚未提供；依赖
WIN、NET 的完整用例无法执行。生产 MFA、备份恢复和运维演练也未开展。表内“未执行”表示完整用例尚未执行完成；这些环境依赖是当前阻塞项。
1. 执行约定
本表对应七项门禁，共 40 个用例。每个用例允许拆为多条自动化或人工测试，但只有全部适用步骤完成且证据齐全时才能判为通过。接口、错误码、消息字段和状态转换取自正式开发规格；速率、时间、容量和保留期取自设计决策与参数基线，不在测试中自行创造宽松阈值。
环境代号
| 代号 |
实际执行时必须具备的环境 |
DB |
独立 MySQL 8.4 测试库，记录数据库版本、迁移版本、字符集、时区约定和普通业务账号；可控并发屏障、事务失败注入及清理机制。不得以 SQLite 替代。 |
API |
单实例 API 与 DB，测试用 Web 客户端和原始 HTTP/WebSocket 客户端；可重启进程、断开连接及注入异常。 |
WIN |
专用真实 Windows 测试设备，普通用户运行真实 Agent 和独立浏览器上下文，获授权操作并可恢复。不得连接用户日常设备验证破坏性故障。 |
NET |
隔离网络、可控 DNS/重定向/HTTP/HTTPS/WebSocket 测试端点、受控出口及连接观测。禁止目标由测试端点模拟，不访问真实云元数据或用户内网业务。 |
WEB |
实际 Web 构建与受支持浏览器，可检查认证、加载/失效状态、Cookie、渲染及网络请求。 |
EXT |
模型或扩展启用后的隔离验证环境；模拟服务用于故障注入，真实获授权服务单独记录出站与费用结果。首版禁用检查仅使用 API 与 WIN。 |
OPS |
隔离预发布环境与可恢复测试数据，具备发布包验证、证书、网络入口检查、备份、恢复、告警和故障注入权限。 |
测试身份至少覆盖管理员、两个彼此隔离的操作员及只读用户；设备覆盖已授权、未授权、已撤销及离线情形。测试账号、配对码、密钥和数据均使用专用测试材料。具体账号及设备数量由测试步骤决定，不代表生产容量参数。
证据按“用例 ID／执行批次”组织，至少包含：
- 执行时间、执行人、代码和协议版本、迁移版本、配置基线版本、环境类型。
- 前置数据摘要、操作顺序、可复现的请求/故障注入过程和实际观察结果。
- 脱敏的请求响应、相关
correlation_id、task_id、事件序号及审计记录；确有必要时附受限访问的网络或系统观测。
- 预期与实际对比、结果、问题链接、证据位置；不将截图作为数据库事务或网络阻断的唯一证明。
后续状态可登记为“通过”“失败”“阻塞”或“未执行”。未启用模块通过关闭边界用例后，其未来功能用例仍保留“未执行”，并注明该发布未启用，不能伪装为完整功能通过。
2. 身份、对象授权与撤销
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| IAM-01 |
正向／拒绝：初始化与用户管理 |
在空库执行一次性初始化并登录；重复或并发初始化不能产生额外初始管理员。调用公开注册和非管理员创建、禁用用户或授权入口均被拒绝；无默认密码可用。 |
DB、API |
事务结果、用户行摘要、脱敏响应、初始化关闭及管理拒绝审计。 |
未执行 |
| IAM-02 |
拒绝／异常：会话、限速、MFA、CSRF |
按基线触发登录限速；注销或撤销会话后重放请求与 WebSocket 连接失效。检查 Cookie 属性及跨站有副作用请求；生产配置下未完成 MFA 的管理员不能取得管理能力，恢复路径不能绕过核验。 |
API、WEB、OPS |
响应与限速计数摘要、Cookie 属性、撤销事件、跨站请求和 MFA 验证记录。 |
未执行 |
| IAM-03 |
正向／拒绝：设备与能力矩阵 |
操作员对已授权设备和能力成功创建任务；新设备、未授权设备、缺失能力和已失效授权被拒绝。只读用户可读自己的任务和已授权设备，创建、取消或推进任务被拒绝。 |
DB、API、WEB |
各角色授权快照、请求结果、未产生任务或许可的数据库证明、前端无权/失效表现。 |
未执行 |
| IAM-04 |
拒绝：跨用户与所有者伪造 |
操作员或只读用户替换任务、会话、截图、文件及模型配置标识，伪造 user_id，并尝试历史事件与 WebSocket 订阅。只能取得当前允许访问的对象；无权与不存在对象不泄露可区分信息。未启用对象入口保持关闭。 |
API、WEB |
请求响应对照、所有者持久化值、订阅拒绝及脱敏审计；启用范围清单。 |
未执行 |
| IAM-05 |
正向／拒绝：管理员排障访问 |
管理员读取运维摘要和审计成功；直接读取他人任务正文、输出或私人聊天被拒绝。若独立排障授权已实现，只有具备原因和范围的有效授权才可读取，超范围或授权失效后拒绝。 |
API、DB |
摘要字段清单、正文拒绝响应、排障授权及访问审计；未实现时的关闭证明。 |
未执行 |
| IAM-06 |
异常：撤销与开始许可竞争 |
分别使用户禁用、设备撤销、设备授权撤销或能力撤销事务先于开始许可提交，确认无新许可且无副作用；再使许可先提交，确认任务按已开始处理，撤销仅请求取消，未经确认不标记已取消。 |
DB、API、WIN |
并发屏障与锁定顺序、提交次序、许可记录、本地执行记录、取消和实际结果。 |
未执行 |
| IAM-07 |
异常：权限变更后的已有连接 |
任务列表、结果订阅和事件补齐进行中撤销权限，确认相关会话或订阅关闭/失效，后续 HTTP 读取及旧游标续订被拒绝；前端清除不再有权展示的缓存内容。 |
API、WEB |
撤销提交时间、连接事件、续订响应、前端缓存与呈现观察，不包含他人私密正文。 |
未执行 |
3. 设备凭据与通信
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| DEV-01 |
正向／拒绝：配对生命周期 |
有效配对码配对成功但不自动赋予操作员执行授权；错误、过期、已消费配对码及超过基线速率的请求被拒绝，数据库和日志不保存明文配对码。 |
DB、API、WIN |
配对前后行摘要、过期边界与限速结果、默认授权结果、秘密检索结果。 |
未执行 |
| DEV-02 |
异常：配对码并发与事务回滚 |
对同一码并发配对，并在消费和设备写入之间注入失败；最多一个有效配对结果，失败事务不留下半成品设备或可复用的已成功配对码。重试按实际提交状态处理。 |
DB、API |
并发请求与提交结果、唯一约束、回滚后配对码和设备状态、审计关联。 |
未执行 |
| DEV-03 |
拒绝：凭据类型与设备绑定 |
用网页会话连接 Agent 通道、设备凭据请求用户接口、设备甲回报设备乙任务，均拒绝；长期凭据不出现在 WebSocket URL、访问日志和错误响应。 |
API、WIN |
握手和消息响应、连接身份与消息设备绑定摘要、URL/日志脱敏检查。 |
未执行 |
| DEV-04 |
正向／异常：存储、轮换、撤销、丢失 |
真实 Windows 上检查凭据受保护保存；轮换确认响应丢失时可幂等查询/确认，不重复签发；准备态到期不能执行。轮换后按约定失效旧凭据，撤销阻止旧连接和重连取得开始许可。模拟凭据丢失后只能重新配对，不回退共享秘密；应用普通日志不泄露凭据。 |
API、WIN |
受保护存储元数据和访问测试、轮换中断/期限/撤销记录、旧凭据拒绝、重新配对证据。 |
未执行 |
| DEV-05 |
拒绝／边界：TLS 与 Windows 运行方式 |
无效、过期或主机名不匹配证书连接失败，配置无法跳过验证；检查 Agent 无公网监听、普通用户运行，安装/启动/卸载可见，未要求关闭安全工具或绕过会话边界。 |
WIN、NET、OPS |
TLS 握手结果、配置审查、监听与进程权限观测、安装卸载记录。 |
未执行 |
4. 任务、事件与恢复
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| TSK-01 |
正向／异常：持久化与服务端重启 |
创建任务，分别在提交前、提交后发送前、发送后断开进程；未提交不分发，已提交任务及初始事件可恢复，重复分发不产生重复副作用，不丢失已承诺任务。 |
DB、API、WIN |
故障注入位置、事务状态、恢复扫描记录、分发/事件/执行记录对照。 |
未执行 |
| TSK-02 |
拒绝：消息与任务契约 |
发送未知类型、未知字段、不兼容版本、超限消息、错误设备绑定、非法参数和时间约束不合法的任务；按统一契约拒绝，不创建许可、不触发执行，记录稳定错误与关联 ID。 |
API、WIN |
输入变体、错误响应和事件、无执行记录的验证、Schema 版本信息。 |
未执行 |
| TSK-03 |
正向／拒绝：创建幂等并发 |
同一作用域中并发提交同键同内容，返回同一任务；同键不同内容明确拒绝，不能覆盖原任务或创建另一个任务。跨作用域行为与正式契约一致。 |
DB、API |
规范化内容摘要、并发响应、唯一约束和最终行数、冲突审计。 |
未执行 |
| TSK-04 |
异常：Agent 重复投递、并发与崩溃 |
重复发送同一任务，在本地执行记录落盘前后、副作用前后及结果发送前注入退出；不重复执行，无法确认副作用则核对或 unknown_outcome。并发领取许可不得超过全局/设备限制；未知结果但未证明停止时不能释放名额启动下一任务。 |
DB、API、WIN |
本地记录、副作用计数、重启过程、并发事务结果、持久名额与停止证据。 |
未执行 |
| TSK-05 |
拒绝／异常：本地拒绝与许可丢失 |
Agent 执行前因本地策略拒绝已创建任务时产生 task.rejected 并最终 failed，保留错误码且无 rejected 状态。开始许可提交后丢弃或延迟响应，未收到有效许可不执行；往返耗时或时钟容差不得延长期限，重复开始请求不重新发许可或自动重做。 |
DB、API、WIN |
拒绝事件与最终行、许可响应和单调时间记录、时钟偏差样本、核对结果。 |
未执行 |
| TSK-06 |
正向／异常：取消与完成竞争 |
请求取消后仅为 cancel_requested；收到取消确认后才 cancelled。分别使完成与取消确认先到、晚到或重复到达，最终状态遵循真实已确认结果，迟到消息不能覆盖完成结果。 |
API、WIN |
两种到达次序、事件序号、最终状态、实际副作用与审计。 |
未执行 |
| TSK-07 |
异常：超时、断线、过期与重连 |
构造未开始即过期、运行中超时、断线后结果未知以及设备重连；过期任务不执行，结果不明标记 unknown_outcome 且不自动重试，重连先核对，已撤销/完成/过期/未知任务不重跑。核实修正保留依据。 |
DB、API、WIN |
服务端与 Agent 时间线、过期与超时边界、对账记录、人工或可信回报核实依据。 |
未执行 |
| TSK-08 |
异常：事件重复、乱序与控制台续传 |
重复、乱序和延迟回报事件，重连控制台并使用已保存游标补齐；持久事件有序且去重，最终结果不能被冲突回报覆盖。撤销后的补齐请求拒绝，不能通过旧游标泄露事件。 |
DB、API、WEB |
事件唯一约束、发送与持久顺序、续传响应、冲突处理和拒绝审计。 |
未执行 |
5. 浏览器与能力边界
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| CAP-01 |
正向：真实浏览器闭环与上下文隔离 |
授权操作员打开策略允许的测试 HTTPS 页面，真实 Windows 浏览器访问成功，任务结果实时返回并可重连查询。检查未读取个人浏览器 Cookie 或配置；若启用 browser.page_title，只读取当前获授权自动化上下文。 |
API、WIN、WEB、NET |
页面端实际请求、任务事件、本地执行记录、上下文配置摘要、UI 结果。 |
未执行 |
| CAP-02 |
拒绝：地址表示与协议 |
尝试非 HTTP/HTTPS、带混淆地址、环回/私网/链路本地/云元数据模拟目标及 IPv4/IPv6 等价表示；在连接前或受控出口处阻断，不通过错误泄露受限服务内容。 |
API、WIN、NET |
地址用例列表、策略拒绝、受控出口连接观测、测试目标未收到请求的记录。 |
未执行 |
| CAP-03 |
拒绝／异常：DNS 重绑定与重定向 |
允许域名初次解析到允许目标后切换为禁止目标，并构造多级重定向、混合地址解析及实际连接目标替换；每次实际连接受约束，不能靠首次 DNS 检查放行后续禁止访问。 |
WIN、NET |
DNS/重定向脚本配置摘要、解析与实际连接对应、出口拒绝及目标观测。 |
未执行 |
| CAP-04 |
拒绝：子资源、WebSocket 与出站旁路 |
允许页面请求禁止目标的图片、脚本、iframe、WebSocket、Service Worker 等，尝试浏览器可用的直连或其他联网通道；所有禁止连接被阻断，无法约束的通道被禁用。只有 Playwright 路由命中日志不足以通过。 |
WIN、NET |
子资源和通道清单、浏览器策略、实际出口观测、旁路尝试结果及未启用通道证明。 |
未执行 |
| CAP-05 |
拒绝／异常：资源限制与未开放能力 |
页面挂起、响应/输出超限、下载和外部协议触发时按基线中止或拒绝，不启动任意程序。直接调用未启用桌面、截图、Shell 及任意命令型任务在服务器和 Agent 双侧拒绝；未来启用时补测登记 ID、独立截图授权和类型化参数。 |
API、WIN、NET |
限制触发结果、进程/下载观测、关闭边界与未知类型拒绝、后续范围清单。 |
未执行 |
6. 数据、秘密与审计
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| DAT-01 |
正向／异常：迁移、约束、UTC 与 JSON |
在空库和受支持已有版本执行 Alembic 迁移；验证 UUID 主外键、比较规则、外键/唯一约束、utf8mb4、JSON 及带微秒 UTC 往返，API 输出明确时区。插入非法引用及唯一键冲突被数据库拒绝。 |
DB、API |
迁移版本、实际 DDL、输入/存储/输出对照、约束失败结果和兼容性记录。 |
未执行 |
| DAT-02 |
拒绝／异常：业务账号与事务完整性 |
使用实际业务账号检查不能执行不需要的管理操作；对授权修改、配对消费、幂等创建及开始许可注入回滚和并发竞争，数据库不留下不完整关系，旧权限不能绕过一致性检查。 |
DB、API |
账号权限摘要、事务注入与回滚结果、引用 IAM-06、DEV-02、TSK-03 的执行批次。 |
未执行 |
| DAT-03 |
拒绝：秘密泄露与对象产物 |
使用带可检索标记的测试秘密经过登录、配对、任务、异常和诊断流程；除必要认证输入和受控一次性秘密交付外，前端包、非保护存储、URL、响应、日志、任务载荷和产物不出现明文。截图/文件若启用，过期或无权访问被拒绝。 |
API、WIN、WEB |
允许交付边界、检索与脱敏结果、存储元数据、产物访问拒绝；证据不得包含真实秘密。 |
未执行 |
| DAT-04 |
正向／拒绝：审计追加与保留清理 |
授权、拒绝、执行、撤销和排障产生可关联审计；普通用户不能改删，业务写入不能覆盖旧记录。按各类保留策略清理测试数据，保留必要幂等/对账证据，清理不复活任务或破坏访问控制。 |
DB、API |
审计前后摘要、改删拒绝、保留策略版本、清理记录及清理后重复任务验证。 |
未执行 |
| DAT-05 |
拒绝：输出内容与提示注入呈现 |
将脚本、危险 HTML、Markdown 链接及伪造工具指令作为任务输出和错误内容显示；浏览器不执行脚本，不触发设备动作，不改变权限。页面加载/失败状态同样安全处理内容。 |
API、WEB |
输入样本、DOM/浏览器执行观测、网络和任务记录、实际构建版本。 |
未执行 |
7. 模型与扩展
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| EXT-01 |
拒绝：首版关闭边界 |
直接请求聊天执行、模型配置/调用、Skill 部署、MCP 注册/执行及相应协议任务；首版未启用入口在服务器、Agent 和执行适配器层不可达或明确拒绝，不仅是 UI 隐藏。 |
API、WIN |
功能开关与路由清单、原始请求、未知任务拒绝、无外部请求或进程启动证据。 |
未执行 |
| EXT-02 |
正向／拒绝：BYOK 所有权和撤销 |
未来启用后所有者可管理配置元数据并测试，其他用户及默认管理员不能取密钥明文；密钥不返回浏览器或进入任务。删除/撤销/轮换失效缓存引用并按策略销毁，后续调用不能继续使用旧引用。 |
API、DB、EXT |
元数据与 secret_ref 摘要、越权拒绝、缓存失效与销毁任务记录、秘密检索结果。 |
未执行 |
| EXT-03 |
拒绝／异常：模型/MCP 地址与预算 |
未来启用后测试无效 TLS、受限 DNS/重定向目标、超时/超大响应；重试和故障转移不得越过服务商及出站授权。达到费用、调用、步骤或时间预算后停止新增调用，记录实际计量及未验证的真实服务差异。 |
API、NET、EXT |
请求目标、出口观测、预算账本与停止点、模拟/真实服务标识及费用记录。 |
未执行 |
| EXT-04 |
拒绝：不可信计划与审批失效 |
未来启用后让网页、附件、模型或 MCP 返回要求提升权限、泄露秘密或绕过审批的内容；动作仍进入统一任务授权。审批后修改目标、参数或版本，原审批失效；工作流中途撤销权限阻止后续开始。 |
API、WIN、EXT |
不可信样本、计划与任务关联、不可变内容摘要、审批失效和逐步授权记录。 |
未执行 |
| EXT-05 |
拒绝／异常：Skill 与 MCP 生命周期 |
未来启用后导入篡改、路径穿越、符号链接、超大或不兼容 Skill 包，并注册未登记 stdio 程序或变更工具 Schema；分别拒绝或禁用待审核。紧急禁用阻止新执行，回滚可审计，扩展不能读取设备秘密或修改策略。 |
API、WIN、EXT |
包/版本摘要、导入拒绝、工具登记和 Schema 差异、禁用/回滚审计、隔离访问测试。 |
未执行 |
8. 发布、恢复与运维
| ID |
类型与场景 |
操作及预期结果 |
环境 |
应保留证据 |
状态 |
| OPS-01 |
正向／拒绝：发布来源与版本兼容 |
验证 Web/API/Agent/协议/迁移兼容组合、依赖和镜像固定信息；篡改 Agent 包或伪造来源不能安装，即使替换下载哈希也不能绕过来源验证。不兼容版本拒绝接入/升级并给出可审计原因。 |
OPS、WIN |
发布清单、签名或受保护清单验证、版本矩阵、篡改拒绝和兼容检查记录。 |
未执行 |
| OPS-02 |
异常：更新与回滚 |
在测试设备及小批量发布中注入安装或健康检查失败，能够暂停并回滚；正在执行受保护任务时不强制更新/重启。自动更新未启用时验证其入口关闭，人工发布仍验证来源与健康。 |
OPS、WIN |
发布批次、任务状态、暂停/回滚操作、安装和健康结果、未启用入口证据。 |
未执行 |
| OPS-03 |
正向／异常：备份恢复与状态核对 |
隔离恢复并按基线验证 RPO/RTO、可解密数据与兼容迁移恢复方案。识别备份后撤销身份和可能已执行任务；另删去备份后撤销证据，验证系统关闭执行、失效全部旧会话与设备凭据，重新核准授权而不凭设备自报放行。未知任务不自动重做。 |
OPS、DB、API、WIN |
恢复计时与版本、撤销证据有/无两种结果、旧身份拒绝、授权重建与未知任务记录。 |
未执行 |
| OPS-04 |
拒绝／边界：公网与就绪 |
从获授权探测点检查 HTTPS/WSS、HTTP 限定用途、SSH 来源控制及数据库/Agent 端口不可达；数据库断开、关键策略未就绪或版本不兼容时就绪检查失败，不再承诺可执行任务。 |
OPS、API、NET |
网络入口规则和实际探测、证书、健康/就绪响应、停止接单或许可拒绝记录。 |
未执行 |
| OPS-05 |
异常：告警与凭据泄露演练 |
注入任务积压、执行失败、Agent 离线、数据库/存储异常及备份失败；启用模型后另测费用异常。告警能定位关联 ID，负责人按流程停发、撤销泄露测试凭据并恢复；完成必要的保留、RPO/RTO 和处置责任确认。 |
OPS、API、WIN；模型启用时含 EXT |
监控与告警时间线、处置记录、撤销验证、恢复结果、参数基线和责任交接。 |
未执行 |
9. 汇总记录模板
完整验收执行后按发布或开发验收批次填写；上面的局部开发验证尚不足以形成放行结论：
| 字段 |
填写要求 |
当前值 |
| 验收范围 |
本批次启用功能及未启用功能；区分开发闭环和生产发布。 |
未执行 |
| 版本与环境 |
代码、协议、迁移、配置基线、真实 Windows/MySQL 和模拟服务标识。 |
未执行 |
| 执行统计 |
通过、失败、阻塞、未执行的用例及子步骤数量，不把关闭边界等同于未来功能通过。 |
未执行 |
| 门禁结论 |
逐项引用适用用例与证据；未验证不得判为通过。 |
未执行 |
| 剩余问题 |
问题影响、负责人与阻断的能力/发布，不用一般备注消除门禁。 |
未执行 |
| 恢复与回滚 |
本批次适用方案及实际演练位置。 |
未执行 |
| 评审结论 |
经实际证据形成可放行范围；没有证据时不形成上线结论。 |
未执行 |
文档内容和链接检查只能说明验收设计是否一致。局部自动化结果不使任何完整运行用例自动成为“通过”。