Tutty

Posted on Aug 8 • Edited on Aug 10

FinAbstain: Uncertainty-Calibrated Multimodal RAG for Selective Financial Forecasting

#agents #rag

エグゼクティブサマリ

FinAbstain は、金融予測において「確信が持てない場合は予測しない」という選択肢を組み込んだ、マルチモーダル RAG に基づく手法である。企業開示、ニュース、価格、出来高、テクニカル指標などを予測時点で利用可能な情報に限定して検索し、複数の専門エージェントで分析する。そのうえで、不確実性が高い場合には、予測を棄権する、追加調査に回す、人間のレビューを求めるといった判断を行う。

論文: https://arxiv.org/abs/2607.24875
arXiv: 2607.24875v1
投稿: 2026-07-27
著者: Dorothy Torres, Wei Cheng, Henan Huang
分野: Machine Learning / 金融予測 / RAG / 不確実性推定 / 選択的予測

概要

社会課題

金融市場では、企業開示、ニュース、価格変動などの情報が非同期に到着し、互いに矛盾することも多い。そのような状況で LLM が断定的な予測を出すと、根拠の弱い判断がそのまま投資判断につながるおそれがある。

技術課題

既存の金融 LLM / RAG には、予測時点より後の情報が混入する時点漏洩、証拠間の矛盾の見落とし、出力確率の未校正といった問題がある。さらに、根拠が不十分な場合でも必ず予測を出してしまい、棄権できない点も課題である。

提案

FinAbstain は、時点整合的に検索した証拠を複数エージェントで分析し、証拠矛盾や予測分布の曖昧さを統合して不確実性を推定する。不確実性が閾値を超えた場合には予測を棄権する。

効果

論文中のシミュレーション例では、全件に予測を出す場合よりも coverage は下がる一方で、採用したケースの精度、校正、Sharpe ratio、最大ドローダウンが改善する形で示されている。ただし、これらは設計仮説を説明するための模擬値であり、実データで検証された性能ではない。

FinAbstain 詳細

1. 問題設定

対象資産 i を予測時点 t で評価する。FinAbstain では、この時点で利用可能な証拠集合を次のように定義する。

E_{i,t} = \bigcup_{m \in \mathcal{M}} { e^{(m)}_j : \tau^{pub}_j \le t,\ \tau^{ing}_j \le t }

ここで、 $\mathcal{M}$ は filings、earnings calls、news、prices、volume、technical indicators などのモダリティ集合を表す。 $\tau^{pub}_j$ は証拠 $e_j$ が公開された時刻、 $\tau^{ing}_j$ はシステムに取り込まれた時刻である。

重要なのは、各証拠が次の 2 条件を満たす場合にのみ利用できる点である。

$\tau^{pub}_j \le t$ : 公開時刻が予測時点以前である
$\tau^{ing}_j \le t$ : システムへの取り込み時刻が予測時点以前である

この二重制約により、公開はされていたが当時のシステムには取り込まれていなかった情報や、後から修正されたデータによる future leakage を防ぐ。

予測ラベル集合は次の 3 クラスである。

\mathcal{Y} = {\text{bearish},\ \text{neutral},\ \text{bullish}}

各エージェント $a \in {1, \ldots, A}$ は、クラス確率 $p_{a,i,t} \in \Delta^2$ 、判断の根拠、引用証拠を返す。複数エージェントの出力を集約した予測確率を $\bar{p}_{i,t}$ とすると、棄権を含む最終出力は次のように表される。

\hat{y}{i,t} = \begin{cases} \arg\max{y \in \mathcal{Y}} \bar{p}{i,t}(y), & U{i,t} \le \theta \ \bot, & U_{i,t} > \theta \end{cases}

ここで、 $U_{i,t}$ は不確実性スコア、 $\theta$ は validation data で決める棄権閾値、 $\bot$ は abstain、つまり予測を出さない判断を表す。

また、棄権制御の評価では、受理関数を次のように置く。

g_\theta(x) = \mathbb{1}[U(x) \le \theta]

coverage と selective risk は次のように定義される。

\mathrm{Cov}(\theta) = \frac{1}{n}\sum_{n} g_\theta(x_n)

\mathrm{Risk}(\theta) = \frac{\sum_n g_\theta(x_n)\ell(\hat{y}n, y_n)}{\sum_n g\theta(x_n) + \epsilon}

coverage は全ケースのうち予測を採用した割合、selective risk は採用したケースだけで測った損失である。FinAbstain の目的は、coverage を一定以上に保ちながら selective risk を下げることである。

各ラベルの意味は以下の通りである。

bearish: 弱気。対象資産の価格や異常リターンが下落方向になると見る予測。
neutral: 中立。明確な上昇・下落方向を示さない、または変化が小さいと見る予測。
bullish: 強気。対象資産の価格や異常リターンが上昇方向になると見る予測。

2. 因果的マルチモーダル検索

検索対象には、SEC の 10-K / 10-Q / 8-K、決算説明会、時刻付きニュース、調整済み価格、出来高、MACD、RSI、移動平均、ヒストリカルボラティリティなどが含まれる。

各データには、イベント時刻、公開時刻、取り込み時刻、改訂時刻を付与し、予測時点で利用可能だったスナップショットだけを検索対象にする。テキストは dense retrieval と BM25 のハイブリッドで検索し、時系列データはレジームや新しさを考慮して選択する。また、ニュースが検索結果を独占しないように、モダリティごとに top-k の予算を配分する。

3. 役割分担エージェント

FinAbstain は、単一の LLM にすべてを要約させるのではなく、複数の専門エージェントに役割を分けて判断する。

各エージェントの役割は以下の通りである。

エージェント	役割
Fundamental agent	売上、マージン、キャッシュフロー、レバレッジ、ガイダンス、会計リスクを評価する。
Technical agent	価格、出来高、指標のみを見て、トレンド、モメンタム、流動性、ボラティリティを評価する。
News agent	イベントの極性、新規性、情報源の多様性を評価する。
Risk agent	強い反対仮説、欠落している証拠、失敗シナリオを列挙する。
Verifier	各主張が引用証拠によって支持されているか、証拠間に矛盾があるかを検査する。

この役割分担は異なる情報源が互いに矛盾しうることに対応している。単一の統合的な要約に押し込むと不一致が見えにくくなるため、FinAbstain では各エージェントがまず独立に分析し、その後に結果を集約する。これにより、特定のエージェントの見解に他のエージェントが引きずられる anchoring を抑える狙いがある。ただし、この 5 役割が最適であることを実験的に示しているわけではない。既存の金融分析の分解、RAG、tool-using / multi-agent reasoning、multi-agent debate の知見を踏まえた設計上の選択として読むのが妥当である。

この設計は、role-based / role-specialized agents に近い。関連研究として、古典的な role allocation の整理である Campbell and Wu, 2011、role-playing agents の CAMEL、マルチエージェント会話の AutoGen、複数視点の活用に近い Multiagent Debate が挙げられる。Verifier は、生成と批評を分ける Self-Refine の critic / feedback pattern とも関係する。

4. 不一致・矛盾・不確実性

エージェント間の予測分布の不一致は、Jensen-Shannon divergence の平均で表す。論文では、エージェント数を $A$ 、エージェント $a$ の予測分布を $p_{a,i,t}$ として、次のように定義している。

D_{i,t} = \frac{2}{A(A-1)} \sum_{a<b} \mathrm{JSD}(p_{a,i,t} | p_{b,i,t})

これは、すべてのエージェントのペアについて予測分布の差を計算し、その平均を取る式である。これにより、同じ bullish 予測でも「全員が同意している bullish」と「一部だけが強く bullish と見ているケース」を区別できる。

証拠矛盾は、検証器が取得証拠内の主張ペア $(j,k)$ に矛盾確率 $q_{jk}$ を付与し、それを検索関連度で重み付けして集約する。論文では、証拠 $j$ の検索関連度を $r_j \in [0,1]$ として、次のように定義している。

C_{i,t} = \frac{\sum_{j<k} r_j r_k q_{jk}} {\sum_{j<k} r_j r_k + \epsilon}

ここで、 $\epsilon > 0$ は分母が 0 に近い場合の数値安定化項である。重要度の高い証拠同士が矛盾しているほど、 $C_{i,t}$ は大きくなり、不確実性も高くなる。

最終的な hybrid uncertainty score は、複数の不確実性シグナルを重み付きで統合して算出する。論文では、次のようなロジスティック回帰型の合成スコアとして表される。

U_{i,t} = \sigma\left( w_0 w_D D_{i,t} w_C C_{i,t} w_S S_{i,t} w_R R_{i,t} w_H H_{i,t} w_G G_{i,t} \right)

ここで、 $\sigma$ はロジスティック関数であり、出力を 0 から 1 の不確実性スコアに変換する。 $H_{i,t}$ は、集約後の予測分布 $\bar{p}_{i,t}$ の正規化エントロピーとして、次のように書ける。

H_{i,t} = -\frac{1}{\log |\mathcal{Y}|} \sum_{y \in \mathcal{Y}} \bar{p}{i,t}(y)\log \bar{p}{i,t}(y)

各項の意味は次の通りである。

記号	意味	論文中の定義
$D_{i,t}$	エージェント間の予測分布の不一致	全エージェントペアの Jensen-Shannon divergence の平均として定義
$C_{i,t}$	証拠間の矛盾	証拠ペアの矛盾確率 $q_{jk}$ を検索関連度 $r_j r_k$ で重み付けして定義
$S_{i,t}$	反復推論サンプル間の不一致	複数回推論したときの agreement の低さ、すなわち $1 - \mathrm{agreement}$ として説明
$R_{i,t}$	検索証拠の不足	平均検索関連度 $\bar{r}$ を使い、 $R = 1 - \bar{r}$ として説明
$H_{i,t}$	予測分布の曖昧さ	集約予測分布 $\bar{p}_{i,t}$ の正規化エントロピーとして定義
$G_{i,t}$	直近の校正ギャップ	最近の予測確率と実際の正解率のずれとして説明

重み $w$ は validation data で調整される。このスコアは、予測ラベルそのものではなく、その予測を使ってよいかを判断するための指標である。

5. 校正と棄権制御

比較対象の校正手法として、以下が検討される。

raw maximum probability
temperature scaling
isotonic regression
split conformal prediction
hybrid uncertainty score

コントローラは、不確実性 U が閾値 theta 以下であれば最尤クラスを予測し、閾値を超える場合は棄権する。閾値は test data ではなく、validation data だけを使って決める。

棄権時のアクションは単なる無回答ではなく、次のような運用上の選択肢として扱われる。

追加モダリティを取得する
予測を拒否する
1 - U に応じてエクスポージャーを縮小する
アナリストにレビューを依頼する

特に証拠矛盾が大きい場合は、たとえ予測エントロピーが低くても人間レビューを必須にする設計になっている。

実験設計

データ

評価対象として想定されているのは S&P 100 構成銘柄で、期間は 2015-2024 年である。タスクは以下の通りである。

1 日先の異常リターン方向
5 日先の異常リターン方向
20 日先の実現ボラティリティ区間
abstention decision

時系列分割は以下の通りである。

train: 2015-2020
validation: 2021-2022
test: 2023-2024

ランダムシャッフルは行わず、ハイパーパラメータ、検索 k、校正写像、ラベル幅、棄権閾値は validation data で決める。test data は最後に 1 回だけ使う設計である。

ベースライン

比較対象は以下である。

gradient-boosted technical-indicator classifier
FinBERT sentiment model
single-LLM predictor
standard multimodal RAG
multi-agent RAG without calibration
calibrated model without abstention
full FinAbstain

評価指標

分類性能だけでなく、校正、棄権、引用、取引、計算コストまで含めて評価する。指標は次のように分類できる。

ジャンル	何を測るか	指標
分類性能	通常の予測タスクとして、方向予測がどの程度当たっているか	accuracy, macro F1, AUROC
確率校正	モデルの出力確率が、実際の正解率とどの程度一致しているか	Brier score, expected calibration error
選択的予測・棄権	どのケースを予測し、どのケースを棄権するかの質	selective accuracy, coverage, risk-coverage area, abstention precision
引用・根拠の妥当性	予測や説明が、取得された証拠によって実際に支持されているか。RAGAS では主に `faithfulness` に相当	citation correctness
取引評価	予測を売買判断に使った場合のリスク・リターン	Sharpe ratio, maximum drawdown, transaction-cost-adjusted return
計算コスト・運用コスト	実運用時の負荷や応答速度	token cost, end-to-end latency

取引評価では、ポジション、翌期リターン、売買回転率、取引コストを使って net return を計算し、5 / 10 / 20 bps のコストを報告する設計になっている。

結果の読み方

Table II では、棄権を行わない calibrated no-abstention よりも、FinAbstain の方が高い性能を示している。これは、「不確実なケースを除くことで、採用したケースの質が上がる」という設計仮説と整合的である。ただし、値は simulated illustrative values である。

Ablation では、不一致、矛盾、校正、テクニカル指標、棄権の各要素を除いた場合が比較される。特に temporal filter を外した設定は精度が高く見えるが、future leakage を含む無効な診断例として扱われている。この点は、金融 ML ではスコアが高いだけではバックテストの正当性を保証できないことを示す重要なメッセージである。

限界

本論文には明確な限界がある。

実証結果ではない
表や図は模擬値であり、実際のデータ収集、バックテスト、監査を経た結果ではない。
市場の不可約な不確実性は残る
証拠が揃っていても、価格変動にはノイズ、制度変更、流動性ショック、群集行動が含まれる。
conformal prediction の前提が弱い
金融時系列は独立同分布でも交換可能でもないため、理論上の coverage がレジーム変化で崩れる可能性がある。
データ品質への依存が大きい
ニュースのライセンス、タイムスタンプ精度、上場廃止銘柄、企業アクション調整、改訂履歴が性能評価を大きく左右する。
LLM の説明は因果説明ではない
引用付きの説明であっても、予測原因を厳密に同定したものではない。
運用上の偏りが生じうる
棄権が特定セクター、低流動性銘柄、ニュースの少ない企業に偏ると、ポートフォリオや分析対象にバイアスが生じる。
研究の位置づけに注意が必要である
論文自体は empirical paper というより blueprint paper に近い。したがって引用・利用する際は、「FinAbstain が高性能を達成した」と述べるのではなく、「金融予測 RAG における時点安全性と選択的予測の評価設計を提案した」と表現するのが適切である。

今後確認したい点

実データでの再現実験が公開されるか
データスナップショット、プロンプト、モデルバージョン、特徴量生成コードが公開されるか
market regime ごとの calibration / coverage がどの程度安定するか
abstention が特定業種や情報量の少ない企業に偏らないか
人間レビューに回したケースが実際に意思決定を改善するか
ポートフォリオ全体で見た場合に、coverage 低下が機会損失や集中リスクを生まないか

DEV Community