---
title: "AI Agent Document Fidelity Risk"
description: "说明 AI Agent 处理文档时的保真风险以及需要的证据、验证和人工边界。"
---

> Documentation Index
> Fetch the complete documentation index at: https://wiki.keyi.win/llms.txt
> Use this file to discover all available pages before exploring further.

# AI Agent Document Fidelity Risk

# AI Agent Document Fidelity Risk

## Summary

多轮 AI Agent 文档工作流的核心风险，不只是模型删掉内容，而是模型会在看似完成任务的过程中重写、扭曲或幻觉原有内容；越强的模型越可能把错误伪装成合理改写，导致只看最终产物的人类审查失效。

本页编译自 `[[venturebeat-frontier-ai-document-fidelity-risk-2026-05-13]]`，并补充 `[[production-ai-agent-evaluation-framework]]`、`[[agent-self-validation-loops]]`、`[[typed-ai-agent-boundaries]]` 与 `[[hermes-ai-workflow-formalization-principles]]`：长链路 Agent 可靠性要靠短步骤、可逆验证、差异检查、受限工具和中间态审计，而不是靠结束后的信任式检查。

## Core principle

不要把多轮 AI Agent 文档处理交给模型后，只在最后检查结果。

在长链路委托式工作中，模型可能连续数步看似保持正确，然后在某一次交互中发生灾难性内容损坏。更危险的是，前沿模型失败时不一定直接删除内容，而是把原文改写成“看起来合理但已经失真”的内容。这类错误对人类审查者更难发现。

## Source-backed evidence

以下数字来自 VentureBeat 报道的微软 DELEGATE-52 研究，应作为方向性 benchmark，而不是 AI Agent 本地强制阈值：

- DELEGATE-52 覆盖 `52` 个专业领域、`310` 个工作环境。
- 种子文档长度约 `2,000–5,000 tokens`，干扰文档约 `8,000–12,000 tokens`。
- 主实验模拟 `20` 次连续编辑交互。
- 全部模型在模拟结束时平均文档退化约 `50%`。
- 顶级前沿模型平均仍会损坏约 `25%` 文档内容。
- 约 `80%` 的总退化来自少数灾难性关键失败：单次交互丢失至少 `10%` 文档内容。
- 给模型通用 code execution / 文件读写工具，平均额外增加约 `6%` 退化。
- 嘈杂上下文在短链路可能只造成约 `1%` 性能下降，但长链路中会复利放大到约 `2–8%`。

这些数字的长期价值是提醒风险数量级；具体模型名称、排名和版本不应沉淀为长期判断。

## Mechanism

### 1. 委托式工作让审查天然变弱

用户把文档拆分、重排、改写、归档、代码编辑等知识工作交给模型时，往往没有时间或专业能力复查每一次修改。系统因此从“人类逐步确认”滑向“模型完成、用户信任”。

### 2. 多轮交互会放大微小失真

单轮测试低估风险。RAG 噪声、无关文件、格式理解偏差和上下文漂移，在短任务里可能只是轻微误差，在 20 步工作流中会累积成明显退化。

### 3. 前沿模型的错误更隐蔽

弱模型失败时更可能直接删除内容；强模型失败时更可能保留文本外观，但重写细节、改变含义、混入幻觉。后者更符合人类对“流畅文档”的预期，因此更难被最终审查捕捉。

### 4. 通用工具不是安全边界

给 Agent 宽泛文件读写或通用代码执行能力，不等于让它可靠。模型可能无法为不同领域文档临时写出正确程序，失败后退回到整文件读写和重写，反而扩大损坏面。

## Reusable pattern

把长链路文档任务改造成可审计工作流：

1. **短步骤**：把 20 步长任务拆成可单独检查的小任务。
2. **差异检查**：每步保留输入、输出、diff、日志或结构化变更摘要。
3. **可逆任务**：能设计逆向操作的地方，用 round-trip / 往返接力检验内容保真。
4. **受限工具**：用领域专用函数替代宽泛文件读写，例如“移动 ledger 条目”而不是“让模型重写 ledger 文件”。
5. **中间态审计**：人工审查应出现在关键中间节点，而不是只看最终结果。
6. **噪声隔离**：RAG/上下文检索要评估多步工作流中的长期影响，不只看单轮 retrieval 分数。

## AI Agent mapping

### Wiki

本页属于概念层：记录一种跨任务可复用的 Agent 风险模型。原文和抽取结果保存在 `[[venturebeat-frontier-ai-document-fidelity-risk-2026-05-13]]`。

### Skills

本页暂不直接授权修改 active skills。若后续在 AI Agent 的代码改写、wiki 入库、文章转写或多 agent 协作中多次遇到内容保真问题，可以把本页原则升级为对应 skill 的 reference 或 checklist。

### Runtime / tools

不要据此禁止 Agent 或多轮工作流。更合适的本地落点是：

- 对真实文件写入任务保留 read-back 和 diff 证据。
- 对长文档变换任务保留原文、清洗输入、输出和校验记录。
- 对工具权限采用窄工具、typed result 和 explicit dependency。
- 对 RAG/context-heavy 任务做多步验证，而不是只测单轮检索。

## Relationship to existing concepts

- `[[production-ai-agent-evaluation-framework]]` 说明生产 Agent 要评估检索、生成、工具行为和运营指标；本页补充“文档内容保真”这一长链路风险维度。
- `[[agent-self-validation-loops]]` 说明单个任务如何形成目标-反馈-迭代闭环；本页强调验证目标必须覆盖文档内容是否被悄悄改写。
- `[[typed-ai-agent-boundaries]]` 说明用 typed schema 和窄工具降低接口不确定性；本页说明为什么宽泛文件工具会放大内容损坏。
- `[[hermes-ai-workflow-formalization-principles]]` 说明自然语言任务要转成形式化产物和验证闭环；本页提供了可逆任务和往返评估的具体评估思路。

## What to preserve, what not to preserve

保留：

- 多轮委托式工作中的文档保真风险。
- “前沿模型错误更隐蔽”这个失败模式。
- DELEGATE-52 的 round-trip relay / 可逆任务评估方法。
- 上面的数量级 benchmark，且必须标注为来源实验结果。
- 短步骤、受限工具、中间态审计和多步 RAG 评估这些本地可迁移原则。

不保留为长期规则：

- 具体模型排名或版本优劣。
- “所有 Agent 都不可靠”这类过度泛化。
- 把 DELEGATE-52 数字硬编码成 AI Agent 阈值。
- 只因这篇文章就修改 runtime、cron、MCP、gateway 或 active skill。

## Related

- `venturebeat-frontier-ai-document-fidelity-risk-2026-05-13`
- [production-ai-agent-evaluation-framework](/concepts/production-ai-agent-evaluation-framework)
- [agent-self-validation-loops](/concepts/agent-self-validation-loops)
- [typed-ai-agent-boundaries](/concepts/typed-ai-agent-boundaries)
- [hermes-ai-workflow-formalization-principles](/concepts/hermes-ai-workflow-formalization-principles)
- [llm-summary-identification-step](/concepts/llm-summary-identification-step)
- [wiki-ingestion-workflow](/concepts/wiki-ingestion-workflow)
- [index](/)
- `log`

Source: https://wiki.keyi.win/concepts/ai-agent-document-fidelity-risk/index.mdx