Money Forward Developers Blog

株式会社マネーフォワード公式開発者向けブログです。技術や開発手法、イベント登壇などを発信します。サービスに関するご質問は、各サービス窓口までご連絡ください。

20230215130734

YANS2025に参加しました！

Money Forward Labで自然言語処理（NLP）のリサーチャーをしているZhangです。 この記事では、2025年度の第20回言語処理若手シンポジウム（YANS2025）の参加報告をします。

YANS 2025について

「第20回 自然言語処理若手の会シンポジウム（YANS2025）」は、NLP分野における若手研究者同士の交流と協力を促進することを目的としています。

今年のテーマは「研究と実装をつなぐ自然言語処理」。応用研究がますます重視される時代の流れを端的に表すテーマであり、Money Forward Labが積極的に取り組んでいる方向性と合致しています。

YANS 2025は、9月17日から19日までの3日間にわたり浜松で開催され、初日のハッカソンに始まり、2日間にわたるポスター発表で大いに盛り上がりました。

yans.anlp.jp

スポンサーブース

マネーフォワードは昨年に引き続きゴールドスポンサーとしてYANS2025を支援しました。今年はLabチームとAI Forward Office（AIFO）が協力し、活気あるスポンサー展示ブースを設置。8名のメンバーで、事業内容、研究活動、採用情報を紹介しました。

集合写真（左から）：Dannyさん（AIFO）、満石さん（AIFO）、Zhang（Lab）、山岸さん（Lab）、Liangさん（Lab）、Rohithさん（AIFO）、Namanさん（AIFO）、Wangさん（Lab） Group photo

今回、マネーフォワードスポンサー賞は以下の研究に贈呈しました：

  • 質問応答における不正解応答フィルタリングによる Fusion-in-LLM の改善. 早田 大紀 (一橋大), 太刀岡 勇気 (デンソーITラボ), 小町 守 (一橋大), 欅 惇志 (一橋大)

この研究では、大規模言語モデル（LLM）に対して1つの質問と複数の文書を入力し、文書ごとに生成された回答を多数決で統合する新しい手法が提案されました。実験では、既存の質問応答データセットにおいて性能が大幅に向上することが示されています。

LLMの精度向上は依然として重要な課題であり、この研究は新規性と大きな貢献があると評価しました。副賞としてAmazon Kindle Colorsoftを贈呈しました。 Sponsor award

また、来場者を対象に「最もよく使っているLLMは何か？」というアンケートも実施。その結果は予想どおり、ChatGPTが51%以上（70票中36票）を獲得し、圧倒的な支持を集めました。 Questionnaire

ハッカソン

AIFOからはRohithさんとNamanさんの2名がハッカソンに参加しました。特にRohithさんのチームはリーダーボード賞を受賞しました。

AIFOの次回のブログにて、より詳細な情報が公開される予定です。

Labの発表

LabとAIFOはそれぞれポスター発表を行いました。

Lab

Understanding the Limits of RAG in Real-World Customer Support: A Data-Driven Perspective. Zhang Zizheng, Liang Xu.

内容:

  • 実際のカスタマーサポートでは、利用者がサービスや製品に不慣れなため、問い合わせが不完全になることが多い。そのためRAGの検索結果に影響が出るが、人間のオペレーターは確認質問をすることで補っている。
  • サポート文書同士は相互参照していることが多いが、単純な分割ではこの関係性をうまく扱えず、回答に情報欠落が生じる。

この「不完全なクエリ」という課題はカスタマーサポートに限らず、対話システム一般に共通するものです。当日は多くの参加者と、他分野への応用の可能性についても議論を深めました。

Zhangの発表中の様子。 Presentation

AIFO

A Comparison of VLM on Key-Information Extraction. Chandragiri Rohith Kumar, Zelawat Naman

  • AIFOの次回のブログにて、詳細な情報が公開される予定です。

Labメンバーが注目した発表

マネーフォワード賞を受賞した発表以外にも、Labメンバーの関心を引いた研究が多数ありました。以下にその一部を紹介します。

山岸さんの注目発表

  • [S2-P35] スタイル表現学習のための意味とスタイルの分離. 近藤 里咲 (愛媛大), 梶原 智之 (愛媛大/阪大)
    • 概要: 文ベクトルから意味のベクトルと文体のベクトルを分けるため、似た意味の文間・似た文体（か同じキャラ）の文間を近づけるように、それぞれ対照学習しています。
    • 注目した理由: 文体を消すために逆翻訳をかけているところが面白かったです。当社でも様々な人が書いた文書を扱うことがあり、応用が効きそうに見えます。

Liangさんの注目発表

  • [S5-P28] 能力値推論タスクから見るLLMのバイアス. 渡邉 天照 (東北大), 羽根田 賢和 (東北大), 坂口 慶祐 (東北大/理研)
    • 概要：LLMを用いてTRPGのキャラクターを役割説明文から作成する際、説明文中の特定のキーワードによって、数値的に強いキャラクターが生成されることが示された。
    • 注目した理由：私自身TRPGに関心があり、同様の方法でキャラクターを作成した経験があるが、バイアスの問題には気づいていなかったため、新たな気づきを得ることができた。
  • [S2-P39] LLMは物語のオチを理解できるか：星新一のショートショートを用いたLLMの物語理解能力評価. 程 嘉実 (筑波大), 宇津呂 武仁 (筑波大)
    • 概要：複数のLLMを用いて星新一の短編小説を評価し、評価結果を風刺や発覚などのカテゴリに分類し、複数の分類器によってバランスを取った。
    • 注目した理由：物語理解をこのようなカテゴリに分解して評価する点に興味を覚え、LLMの文学的理解を測定する新しい視点を得られると感じた。

Wangさんの注目発表

  • [S2-P13] PUPPET：タスク性能を維持しながらLLMとして検出されやすくする学習フレームワーク. 齋藤 幸史郎 (Science Tokyo), 小池 隆斗 (Science Tokyo), 金子 正弘 (MBZUAI/Science Tokyo), 岡崎 直観 (Science Tokyo/産総研/NII LLMC)
    • 概要：LLMの性能を損なわず、その出力が「LLMによる生成物」であることを検出しやすくするための学習手法を提案。
    • 注目した理由：LLMが暗黙的に「印」を持つことで、セキュリティやプライバシー関連のリスクを回避できる点が実用的だと感じました。特に企業でLLMと機密データを扱う際に有効であり、さらに他の条件や好みに応じて応用可能な点も興味深いです。
  • [S3-P44] ファクターモデルを用いた市場分析における埋め込み表現の活用方法の提案. 宍戸 直樹 (一橋大), 渡部 敏明 (一橋大), 中島 上智 (一橋大), 植松 良公 (一橋大), 吉田 光男 (筑波大), 欅 惇志 (一橋大)
    • 概要：日々のニュース記事の埋め込み表現を活用し、金融ファクターモデルの予測精度を高める手法を検討。
    • 注目した理由：テキスト情報を市場予測に直接活用する具体例であり、マネーフォワードの事業とも深く関連しています。また、この手法の解釈性といった未解決の課題も非常に興味深く、今後の研究の発展に期待が持てます。

Zhangの注目発表

  • [S2-P38] あなたのLLM、信用できますか？ —ペルソナの観点による分析—. 加藤 優汰 (東大), 尾崎 慎太郎 (NAIST), 林 和樹 (NAIST), 小原 涼馬 (NEC), 上垣外 英剛 (NAIST), 渡辺 太郎 (NAIST), 小山田 昌史 (NEC), 林 克彦 (東大)
    • 概要：LLMに適切なペルソナを付与することで、精度を損なうことなく信頼度（confidence）の調整が可能であることを示した研究。
    • 注目した理由：LLMの信頼度の制御は、金融や医療などリスクの大きい応用分野での導入するために重要です。ペルソナという直感的な手法で信頼度の較正を実現している点が非常に実用的だと感じました。
  • [S4-P14] 対話ターン削減に着目した日本語AIエージェント用ベンチマークデータセットの構築に向けて. 清水 綾太 (愛工大), 徳久 良子 (愛工大/理研)
    • 概要：既存の日本語マルチドメイン対話データセット JMultiWOZ を応用し、効率的にタスクを達成するための「対話ターン削減」に特化した日本語AIエージェント向けベンチマークを構築しようという提案。
    • 注目した理由：既存データを拡張して実用的なベンチマークを作り上げる現実的なアプローチであり、効率的なマルチドメイン対話エージェントの研究を加速させる基盤になると期待できるため。

個人的な感想

予想通り、今年もLLM関連研究が大きな割合を占め、モデル構築、分析、応用に至るまで幅広い発表がありました。新しいタスクやベンチマークも続々と提案され、YANS2025のテーマを体現していました。

一方で、計算資源や高品質なデータの確保はますます難しく、小規模ラボや企業にとっては基盤モデル研究よりも応用研究にシフトすることが現実的な戦略だと感じます。

個人的には、モデルの解釈性に関する研究が継続して発展していることに好感を持っています。金融領域はリスクが高く、誤った判断が大きな損害につながるため、性能向上だけでなく「モデルがどのように答えを導いているのか」を理解することも欠かせません。解釈性の研究は難題ですが、進展するたびに応用の信頼性が高まり、モデル理解も深まり、言語そのものへの洞察にもつながります。今後も多くの研究者がこの挑戦的で魅力ある分野に取り組み続けることを願っています。

最後に

Money Forward Labでは、一緒にお金のメカニズムを解き明かすための研究をしてくれる仲間を募集しています。

moneyforward-recruit.snar.jp

インターンも随時募集しておりますので、お気軽にご連絡ください。