エグゼクティブサマリ
FinRptは、企業の財務情報やニュースをもとに、株式調査レポートを自動作成する研究である。情報整理、分析、売買判断を9つのAIに分担させ、学習用データと品質の評価方法も整備している。
評価した100件では、同じ基盤モデルを単体で使った場合に45%だった売買推奨の正解率が、役割分担と追加学習により55%になった。ただし、投資収益の向上を示した結果ではない。調査資料の下書き作成や分析支援への応用を考える上で参考になる研究である。
選定理由
本サーベイでは、複数のAIによる調査レポート生成と、その品質評価を一体で検討できる点から選定した。特に、調査の深さをどう評価するか、生成のコストをどう把握するかという観点で読む。ただし、調査過程の深さやコスト削減効果の直接評価とは区別する必要がある。
対象論文・公開リソース
- タイトル: FinRpt: Dataset, Evaluation System and LLM-based Multi-agent Framework for Equity Research Report Generation
- 著者: Song Jin, Shuqi Li, Shukun Zhang, Rui Yan
- 対象版: arXiv:2511.07322v3（2026年8月5日）
- 論文: PDF
- 公開リソース: コード、データセット（リンクは論文記載。実装・データの内容は未検証）
概要
【社会課題】
企業の財務資料や発表、ニュースに分散する情報から、投資判断に使える調査レポートを作るには専門知識と時間が必要になる。大量の情報を整理し、適時に分析を提供することが背景にある。
【技術課題】
異なる形式の情報を統合し、数値の正確性、論理性、予測を備えた長いレポートを生成する必要がある。既存の短文要約や質問応答を中心としたデータ・評価方法だけでは、この品質を十分に測れない。Introduction
【提案】
6,825件のデータセットFinRpt、11の評価指標、9エージェントによる生成フレームワークFinRpt-Genを提示する。主要エージェントへの教師あり追加学習と、予測エージェントへの強化学習を組み合わせる。
【効果】
Qwen2.5-7Bを用いた評価で、単体生成から最終構成への変更により、売買推奨の正解率は45%から55%へ10ポイント改善した。最終構成から財務抽出を除くと47%に低下した。Table 1–2
手法
銘柄と分析日を入力として、財務・ニュース・経営・リスク・投資可能性・売買推奨を含む株式調査レポートを生成する。
| 段階 | 担当 |
|---|---|
| 抽出：4エージェント | ニュース、損益計算書、貸借対照表、キャッシュフローから情報を抽出 |
| 分析：4エージェント | 財務、ニュース、経営・発展、リスクを分析 |
| 予測：1エージェント | 分析結果と株価・市場指数から投資可能性と売買推奨を生成 |
CSI800銘柄を対象に、2024年9月3日〜11月5日の6,825件を構築。学習／検証／テストは5,556／617／652件。GPT-4oで生成した教師レポートを、正解トレンドとの一致、専門家レポートとの照合、文章推敲で補正する。§Dataset
FinRpt-Genは、抽出4・分析4・予測1の計9エージェントからなる。主要4エージェントをLoRAでSFTし、予測エージェントにはDAPOによるRLも適用。報酬は売買推奨の正解率とROUGEの重み付き和である。§Proposed Baseline
コストと処理時間
付録では、収集データの事前取得とキャッシュによる高速化を記載している。収集は120〜160秒、9回のAPI呼び出しによる生成は約60秒。Figure 5にエージェント別のトークン数と費用を示すが、API料金の削減率を比較した実験ではない。料金の算定基準は2025年2月1日時点である。付録：Detailed Resource Requirements Analysis
実験
データと結果
基本指標5種と、GPT-4oによる専門性等の比較6種で評価。テストから抽出した100件で、Qwen2.5-7Bの単体／FinRpt-Gen／SFT後／RL後の推奨正解率は45／48／54／55%。財務抽出を除くと47%に低下した。Table 1–2、§Experiment Setting
評価指標の内訳
| 区分 | 指標 | 評価内容 |
|---|---|---|
| 基本指標 | CompletionRate | 指定形式で生成できた割合 |
| 基本指標 | Accuracy | 売買推奨の正解率 |
| 基本指標 | BERTScore | 参照レポートとの意味的類似度 |
| 基本指標 | ROUGE-L | 参照レポートとの系列上の一致度 |
| 基本指標 | NumberRate | 参照レポートに対する数値の個数の比率（上限1） |
| LLM評価 | Financial Numeric | 数値の正確さと財務分析の深さ |
| LLM評価 | News | ニュース分析の関連性・網羅性 |
| LLM評価 | Company & Market & Industry | 企業経営、市場、業界への洞察 |
| LLM評価 | Invest | 投資推奨を支える分析の十分さ・論理性 |
| LLM評価 | Risk | リスク分析の十分さ |
| LLM評価 | Writing | 一貫性、読みやすさ、論理的整合性 |
LLM評価の具体的な手順
GPT-4oを審査役（LLM-as-a-Judge）として使い、6観点それぞれでレポートの優劣を比較する。個別レポートに絶対点を付ける方式ではなく、モデル間のペア比較である。
- 同じ評価サンプルに対する、異なるモデルの生成レポートA・Bを比較対象とする。
- 財務分析、ニュースなど上記6観点について、GPT-4oが優劣を判定する。
- 提示順をA→BからB→Aに入れ替え、再度判定する。先に示された文章を好むなどの位置バイアスへの対策である。
- 順序を変えても同じレポートが優れていると判定された場合だけ、そのレポートの勝ちとする。それ以外は引き分けとする。
- 各観点の勝ち・負け・引き分けを集計し、次の調整勝率を計算する。Evaluation System
調整勝率 = （勝ち数 + 0.5 × 引き分け数）÷（勝ち数 + 負け数 + 引き分け数）
例えば、ある観点で40勝・20敗・40引き分けなら、調整勝率は60%になる（説明用の仮例）。これは相手との比較結果であり、「内容の60%が正しい」という意味ではない。相手モデルや比較対象の構成が変わると値も変わるため、絶対的な品質保証とは区別する。
人手による審査結果の検証
付録では、GPT-4oが評価したペアから50組を無作為抽出し、上級金融アナリスト3名が同じ基準で独立に優劣を判定した。多数決による人間の判定とGPT-4oの判定は45組で一致し、一致率は90%だった。この検証は上記11指標とは別の補足検証である。Human Evaluation Study、Table 6
この90%は、抽出したペアで人間の選好と一致した割合である。数値や出典が90%正確であること、全観点で同じ信頼性があることを意味しない。また、審査時に原資料をどこまで照合させるか、Judge用プロンプトの全文、判定時の生成設定などは、再現時に公開実装も含めて確認すべき事項として残る。
調査の深さは完成した分析内容から間接的に評価しており、検索や裏取りの過程を直接測る指標ではない。また、NumberRateは数値の正確性を保証しない。
残課題
以下はサーベイ執筆者の考察であり、論文で実証された結論とは区別する。
- 教師データ補正と将来情報: 正解トレンドに合うまで生成し直す設計は、結果を知った後の説明を教師にする。これは直ちにテスト入力への情報漏洩を意味しないが、実際の分析時点で書ける説明との違いを検証したい。補正前後の比較と、入力・専門家レポートの公開日時の監査が必要になる。
- 正解率の解釈: 評価100件では1件が1ポイントに相当する。SFTからRLへの差だけで安定した改善を判断せず、全テストでの評価、複数seed、クラス分布と多数派ベースラインを確認したい。
- 生成品質と投資価値: ROUGEや文章評価が高くても、予測の経済的価値は別途検証が必要。取引費用を含む収益、リスク、異なる相場期間での検証を追加したい。
- 評価器との依存関係: 教師生成と審査に同系列モデルを使うと、文体への選好が評価に影響する可能性がある。異なる評価モデルと、生成元を伏せた専門家評価で確認したい。
- 数値の正確性: NumberRateは数値の多さを測るため、数値の正誤の代用にはならない。原資料への参照、単位、対象期間、計算の整合性を機械的に検証する仕組みが欲しい。
- 一般化と構成比較: 他市場・長期間・日本語への適用に加え、同じモデルと計算予算で単体生成と比較すると、役割分担そのものの寄与を判断しやすい。
研究への示唆
追試では、まず分析日時点で利用可能な情報を固定し、単体生成と役割別生成を比較する。その上で、各主張を出典に結び付ける仕組みと数値検証を加えると、文章の類似度から一歩進んで、根拠を確認できる調査レポート生成を研究できる。
次に確認すること
- 公開コードと論文v3の一致、学習・評価プロンプトの再現性。
- 売買ラベルの予測期間・閾値・クラス比率と、日時の扱い。
- 銘柄重複を許す分割と、未見銘柄・将来期間での評価の差。
- FinRobot、FinReport、AI Analystとの一次論文・実装に基づく比較。本稿ではこれらの個別精読は未実施。
調査過程の深さを検証するには、情報源の独立性、裏取り、反証の探索、各主張と出典の対応も評価対象に加えたい。コストについても、品質を揃えた条件で単体生成と比較し、推論費用と学習費用を含めて検証する必要がある。
Top comments (0)