📄Paper: RORA-VLM: Robust Retrieval Augmentation for Vision Language Models

Mercy — Fri, 29 May 2026 04:13:04 +0000

Public At
International Conference on Learning Representations (ICLR) 2025

💡 Why I read this
最近在找論文的 idea 剛好找到這篇，發表在 ICLR 2025，不過被 Reject 了有點可惜
這篇主要是把 RAG 應用到 VLM ，讓模型在回答問題時可以利用外部知識
在很多 VQA 的任務中，答案其實不在圖片裡面，而是需要額外的背景知識
例如一張圖顯示一種鳥，問題是：「這種鳥主要分布在哪裡？」
圖片只能讓你看出鳥長什麼樣，但像棲地這種資訊一定要查資料才知道
這篇主要在解決：「當 retrieved knowledge 有 noise 時，VLM 怎麼還能穩定推理？

🧠 Core idea

作者提出一個 robust retrieval framework 給 VLM：

1. Two-stage retrieval

先用 image retrieve 相似 entity，再用 entity expansion 做 text retrieval。

在第一個階段，他們把 query image 當作一個「anchor」，去資料庫裡找很多長得很像的圖片。

他們用的資料庫叫 WIT，裡面有 3700 萬張圖片，每張圖片都搭配一個 entity 的名字跟描述。

在第二個階段，他們把在第一個階段拿到的 entity 名稱、描述加進原本的問題裡面，變成一個更具體的 query，再去用 google 查知識(call api)

✨ For Example

原本的問句:

which year was this building built?

找到的 Entity

Castle of Good Hope

新的 Query (原本的問句 + entity)

which year was Castle of Good Hope built?

2. Query-oriented visual token refinement

只保留和 query 最相關的 visual tokens，減少 image background noise。

一開始有兩個輸入：問題和圖片。
在 VLM 裡面，一張圖片會被切成很多塊，每個區塊會變成一個 visual token。

接下來，模型會根據問題的內容，計算每一塊(image patch) 和 query 的相關性。
與問題比較相關的區塊會被保留下來，不相關的就被忽略。

對於每一張檢索到的圖片，也會做一樣的篩選，用「query image 的比較重要的幾個 patch」來判斷，只留下和 query image 相關的區塊。

最後留下的這些區塊，會轉成對應的 visual tokens，並以 sequence 的形式排列(refined visual tokens)，作為 VLM 的 Input

也就是模型最後看到的圖片資訊，其實已經被篩選過了。

中間那些綠色的區塊，其實代表的是，每個 patch 和問題之間的相關性分數。

3. Noise-resilient RAG

training 時故意加入錯誤 retrieval，讓 model 學會忽略 irrelevant knowledge。

VLM 會同時看到：原始圖片、問題、還有多筆查到的知識（圖片 + 文字）

這些 retrieval 結果裡面，有些是正確的，有些是錯的。
模型要做的事就是根據相關程度(每張圖片與 query 到的 image)，決定要相信哪一段資訊。

👉 綠色 = 高 attention
👉 紅色 = 忽略

經過這個過程，模型可以回答問題，例如這個建築是在 1666–1679 年建造的。

✨ Full Workflow

📄Soure
https://openreview.net/pdf/1dff65b976d44f89183d623a8d26842e17ed51da.pdf

DEV Community: Mercy

📄Paper: RORA-VLM: Robust Retrieval Augmentation for Vision Language Models

🧠 Core idea