Research / Project detail

RAG 与可信知识服务

从工业文档 OCR 鲁棒性到多文档证据分配,构建文档理解、检索与可信生成的评测和技术体系。

RAGDocument AIEvidence reasoning
问题

检索与 OCR 结果并不总能形成可靠答案。如何利用多份文档中的有效证据,并理解文档噪声的影响?

方法

结合知识检索、文档结构、证据分配与生成评测。相关论文覆盖 OCR-RAG 鲁棒性、BEAR 多文档证据分配和 TextlessRAG 视觉文档问答。

成果

InduOCRBench 覆盖 12 个行业、570 份文档、3,402 页和 11 类挑战;BEAR 在统一生成器与证据预算下评估层次化检索和多文档推理。

可信生成框架
可信生成框架
Results & evaluation

结果与评测

InduOCRBench · 工业文档鲁棒性

视觉样式文档的 OCR 准确率为 82.9%,对应 RAG 准确率为 52.8%,相差 30.1 个百分点。以下为论文 Table 2 中十种方法在通用与工业文档基准上的综合指标(Avg)。

InduOCRBench · 工业文档鲁棒性
OCR 方法OmniDocBench Avg ↑InduOCRBench Avg ↑
PP-StructureV386.760.3
MinerU275.566.5
Doc2x84.661.6
GPT-4o75.052.0
Qwen3-VL-235B89.270.9
Gemini-2.5 Pro88.074.5
Deepseek-OCR87.061.5
Hunyuan-OCR94.168.1
MinerU2.590.772.5
PaddleOCR-VL92.978.2

When Good OCR Is Not Enough · Table 2 / Figure 2 ↗

InduOCRBench:OCR 错误到检索与生成失效的端到端评测流程
InduOCRBench:OCR 错误到检索与生成失效的端到端评测流程 · When Good OCR Is Not Enough · Figure 2 ↗

BEAR · 有限预算下的证据分配

DragonBall 检索对比采用 Qwen3-32B 生成器,证据上下文在适用时按约 4K token 预算对齐;LongRefiner 使用不同的辅助模型。表列三次实验的均值 ± 标准差。BEAR(docs) 在 2Wiki 上的 EM/F1 为 34.63 ± 2.17 / 48.02 ± 1.45。

BEAR · 有限预算下的证据分配
方法Recall % ↑Completeness % ↑Hallucination % ↓Irrelevance % ↓
BM2529.17 ± 1.0635.13 ± 1.8432.55 ± 2.4032.25 ± 1.95
BGE-M358.17 ± 1.9159.56 ± 2.4528.81 ± 2.2611.54 ± 1.55
RAPTOR31.93 ± 1.6659.78 ± 2.7026.50 ± 2.4813.67 ± 1.29
LongRefiner29.24 ± 2.3243.86 ± 1.9834.88 ± 2.2521.26 ± 1.87
HippoRAG268.80 ± 1.7573.37 ± 2.2419.55 ± 1.846.93 ± 0.93
BEAR(docs)85.55 ± 0.4791.86 ± 1.325.64 ± 1.022.40 ± 0.49
BEAR(nodes)84.25 ± 0.8488.64 ± 1.527.60 ± 1.123.71 ± 0.86

BEAR · Table 1 / Figure 2 ↗

BEAR:离线层次索引与在线粗到细的探索—恢复双路径
BEAR:离线层次索引与在线粗到细的探索—恢复双路径 · BEAR · Figure 2 ↗
Related publications

关联论文