セキュリティチェックシートを自動で回答できるようにした話

こんにちは！AI推進室AI開発部のこたろうです！今回は、営業メンバーの生産性向上に貢献するべく作成した、セキュリティチェックシート自動回答アプリについて紹介したいと思います。

概要

受注時に発生するセキュリティチェックシートへの回答作業を、営業担当者1名が数営業日かけて対応していました。セキュリティチェックシート自動回答アプリを導入することにより、回答時間を平均15分まで短縮しました。営業メンバーの方にヒアリングからアプリの受け入れ検証まで協力いただき、約1ヶ月でリリースまで実施することができました。Streamlit＋Python＋Cloud Runによるアプリ提供を行い、RAG（Retrieval Augmented Generation）により社内ナレッジを参照できるようにすることで回答の精度を向上させました。導入初月には実際に複数の案件で利用いただき、営業メンバーからシート作成に伴う心理的負担が大幅に軽減されたとの評価を頂きました。今後はフィードバックループを構築し、LLMOps体制を強化していきたいと考えています！

アプリ全体像（サンプルの質問回答を表示しています）

アプリ全体像

背景と課題

お客様からのプロダクト発注時にマネーフォワードの情報セキュリティ体制を確認するチェックシートの提出が求められることがあります。質問数は50〜300項目と幅広く、個人情報保護からDDoS対策まで多岐にわたります。その上、各社ごとにシートのフォーマットも異なります。従来は営業担当者がプロダクト開発チームや社内セキュリティ部門へ個別に問い合わせる必要があり、最短でも2〜3日、最大で2週間程度、回答に時間がかかっていました。担当者の稼働がこのセキュリティチェックシート作成に大きく割かれ、回答難易度も高いことから、心理的負担も大きいことが課題でした。

解決策（アプリ概要）

そこで、私たちはチェックシートの一次回答を15分で自動生成する社内アプリを開発しました。操作手順は次のとおりです。

対象のエクセルファイルをドラッグ＆ドロップするとプレビューを表示します。回答したいシートが合っているか、質問がどこにあるかなどの確認ができます。
次に、左サイドメニューで質問開始セルを指定し、質問抽出ボタンを押すと、質問文を自動で抽出します。

質問開始セルを指定することで...

質問開始セルを指定すると...

希望の質問が抽出されます（サンプルの質問を抽出しています）

質問が抽出される

次に、RAGによる回答で参照したいデータソース（セキュリティポリシー、過去の回答データベースなど）を選択します。
最後に、回答生成ボタンを押すとRAGにより回答を生成し、生成後はワンクリックでXLSX形式でダウンロードできます。

一問ずつ生成結果が更新されます

一問ずつ生成結果が更新されます

また、少量の質問であれば、コピペ入力モードで迅速に試用できます。アプリ自体は回答生成ボタンを押したら、あとは別の作業をしていてもバックグラウンドで実施されるので、空き時間に実行しておけるのも便利なポイントになっています。

技術詳細

フロントエンド: Streamlit
バックエンド: FastAPI＆Vertex AIを活用し、Gemini 2.5にリクエスト
RAG:
- 埋め込み生成: text-embeddingモデルを利用
- ベクトル検索: BigQueryのML.DISTANCE(..., 'COSINE')関数でコサイン類似度を計算
- データ:
  - 情報セキュリティ部門と協力し、セキュリティチェックシートの標準回答集を整備・常に最新の情報に更新
  - RAGのために、常に標準回答集から最新のEmbeddingテーブルを更新
- 標準回答集と特定プロダクトに関する過去回答集を参考に、RAGによる回答を生成
  - 回答が質問に対して肯定的か否かを示す”回答ステータス”の追加
  - 参考資料からの生成AIによる修正度合いによる”信頼度パラメータ”の追加
  - 過去資料内の類似質問の場所を示す”参考ドキュメント”の追加
インフラ: Cloud Run（コンテナ実行）
CI/CD: developまたはmainブランチへのマージをトリガーに、GitHub Actionsのワークフローでgcloud run deployを実行し、自動でCloud Runへデプロイ
認証: Microsoft Entra IDによるSSO認証を実施し、マネーフォワードの従業員のみがログインできるよう整備

これらのシンプルな構成により、営業チームへのヒアリング開始から約1ヶ月という短期間でのリリースを実現しました。加えて、社内セキュリティ部門と密に連携し、回答およびRAGの参照データを常に最新の状態に保ち続けることで、会社として責任ある回答を提供できる体制を確立しています。

開発プロセス

開発には、CursorとGemini 2.5 Flashを主に活用することで、開発コストを抑えつつ、迅速なリリースを実現できました。

Streamlitのようなシンプルなフロントエンド開発でさえ経験が少なかったため、本来であればキャッチアップから実装までに時間がかかると予想されていました。しかし、Cursorを利用することで、生成AIによるWeb検索やAIとのインタラクティブな相談を一画面で実施できるようになり、大幅な時間短縮につながりました。

Cursorによる開発では、Web検索や生成AIの活用に加え、ClaudeやChatGPTなど複数の生成AIモデルを切り替えて結果を比較できるため、より質の高いアウトプットを効率的に生み出すことができました。また、複雑なタスクや精度が必要な実装・相談をする際には、Gemini 2.5 Proに切り替えて実施することで、さらに開発の質を高めることができました。具体的には、コードのレビューや難解な技術的な問題の解決、あるいは複数の情報を統合してより詳細な回答を得たい場合などにFlashからProへの切り替えを行いました。

他の営業生産性向上のための開発タスクが並行して進行する中でも、生成AIの開発への積極的な利用により、キャッチアップから実装までの時間を劇的に短縮し、今回のアプリ開発をわずか1ヶ月で成功させることができました。その結果、プロジェクト全体としては3ヶ月で5つのリリースを達成するという、大きな成果につながっています。

導入効果

開発した自動回答アプリを営業チームに導入することで様々な効果を得ることができました。

一次回答作成にかかる時間: 1〜数営業日 → 15分
営業メンバーの心理的負担を大幅に軽減
各営業メンバーからの質問を受け付ける社内セキュリティ部門や一部プロダクトチームの負担も軽減
導入初月から複数案件でのシートの一次回答に利用いただき、「ほぼ修正は必要ない、修正があったとしても目立った工数にはならない」という嬉しい意見を多数いただいた

今後の展望

プロダクト別データソース切り替え: プロダクトごとに最適な情報をRAGとして参照できるようにします。
フィードバックループの構築: 営業担当者が回答の正誤をワンクリックで評価し、BigQueryに蓄積。モデルの継続的な再学習を実現します。
多様なシート形式への対応: さらに多様なシートフォーマット、ファイルタイプでアップロードされても質問をさらに簡単に抽出できるよう改善します。

これらの取り組みによりLLMOpsを推進し、回答精度と開発サイクルの向上を図ってまいります。

まとめ

セキュリティチェックシートの回答は、プロダクト提供に不可欠である一方、営業担当者やセキュリティ部門、各プロダクトチームに大きな負担がかかる業務です。セキュリティチェックシート自動回答アプリはRAGとサーバーレス構成を活用することで、営業担当者が15分で一次回答を作成できる環境を提供し、事業スピードとセキュリティ水準の両立に貢献しています。今後もプロダクト固有データの取り込みやLLMOps体制を拡充し、セキュリティを確保しつつ迅速な開発を推進してまいります。