Invoice Haystack: Benchmarking Document Retrieval and Visual Question Answering Under Strong Visual Homogeneity

---

title: "Invoice Haystack: Benchmarking Document Retrieval and Visual Question Answering Under Strong Visual Homogeneity" tags: [arxiv, 論文, 企業LLM, 文件檢索, RAG] source: https://arxiv.org/abs/2606.25343 date: 2026-06-24 domain: 技術深讀 type: research status: active updated: 2026-08-30 ---# Invoice Haystack: Benchmarking Document Retrieval and Visual Question Answering Under Strong Visual Homogeneity

作者： Heethanjan Kanagalingam, Thenukan Pathmanathan, Mokeeshan Vathanakumar, Basim Azam, Sarah Monazam Erfani 發表： 2026-06-24

摘要

本文提出 Invoice Haystack 基準測試，專門評估視覺語言模型在大規模視覺同質文件集（如數千張發票）中檢索與問答的能力。現有基準測試混合不同文件類型，製造了嵌入空間中不真實的區隔；而企業場景中的文件往往視覺極度相似（發票、訂單、報表），使得檢索難度大幅提升。此基準填補了企業文件 RAG 系統評測的重要空白。

企業應用啟示

企業 LLM 導入中最常見的應用場景之一就是「大量同質文件檢索」（帳務、合約、報表）。Invoice Haystack 直擊此痛點，揭示現有 VLM 在視覺同質情境下效能嚴重衰退。顧問可將此基準用於評估客戶文件智慧化方案的實際能力邊界，避免在 POC 中用異質文件得出過度樂觀的結論。

關鍵技術 / 觀點

視覺同質性（Visual Homogeneity）是企業文件檢索的核心挑戰，而非異質性

現有基準測試混合文件類型，造成不真實的嵌入空間區隔

企業場景需針對同質文件集（發票/訂單/報表）設計專門的 RAG 策略