駆け出しQA と Bug Bash 〜ワイワイするって難しい〜

こちらは Money Forward Advent Calendar 2019 17日目の記事です。昨日はがーこさんの「BtoB事業の中の編集者」として半年でoutputしたものでした。

改めましてこんにちは！マネーフォワードクラウド会計・確定申告で QA エンジニアをやっている Yoya と申します。この春、こちらへの入社を機にソフトウェアテストの世界に飛び込んだ元 Web エンジニアです。

がむしゃらに走ってきた半年間、特にインパクトの強かったイベントが Bug Bash でした。

プレ開催での反省

Bug Bash イベントの概要自体は、セキュリティエンジニアで主催者の木村さんが 15日目の記事でまとめているので、そちらをご覧いただければと思います。

事の発端は私がこちらの記事を見て、何だか面白そうだと木村さんに話したところからと記憶しています。深夜のXSS講座も？　サイボウズのバグハンター合宿がやたら楽しそうな件

その数時間後には開催に向けて動き出していたのでかなり驚きました。

※ 「まず、動け。」とは当時の社内の半期スローガンのこと

イベントは脆弱性だけでなくもう少し広い範囲で、そしてエンジニアではない人にも参加してほしいという意図のもと、Bug Bash という形態をとることになりました。

半日の開催を目標として、まずは2時間程のプレイベントを行ったのですが…… ほとんど盛り上がりませんでした。

何があったのか？

参加者の大半はテストの経験がほとんど無い新卒社員やビジネス職の人たちでした。

「好きなように触っていいよ」と言われても、どう触ればいいんだろう？ 証跡をとってほしいと言われたけど、それって何？

そんな困惑が生まれていたのです。

気まずい空気が流れ出したところで、いち参加者であった私も慌てて普段 QA ではこんなところを見ているよ、バグを見つけたらこんな感じでキャプチャを撮っているんだ、などと同じチームの人に話し始めていました。

運営サイドとしてもかなり反省が残ったようです。

バグ探しに必要な情報の提供が不足していた

バク探しにかかるまでのオーバーヘッドーが予想外にかかった印象

プロダクトの簡単なレクチャーはやはりあったほうがいいかも

学生の採用でのグループワーク以下

(当時の振り返り資料から抜粋)

事前対策レクチャーへ

こうしてイベントの参加希望者に、事前対策レクチャーとしてテストの基礎について QA グループが講義することになりました。

レクチャー用の資料をはじめに書いたのは、リーダーの jo さんです。

私「(資料を見ながら) へぇ、こんな感じで話すんですね」 jo「うん。 というわけで後はよろしく！ 」私「んんん！？！？！？」

レクチャーを行うのは7月末。この時点で私は QA 歴2ヶ月 です。大丈夫かよそれ。

jo「QA のプロとして人前に出るんだから、内容を十分理解した上で話してね。　　人に説明することで知識も定着すると思うよ」

なるほど、なかなかのスパルタ教育である。

さて、資料の構成はこのようになっていました。

QA グループとは何か
ソフトウェアテストは 「そのシステム、正しく動いていますか？」 を確認する工程である
「正しく」の定義
不具合が混入しやすいポイント
- 境界値
- 条件が多い機能
- 多機能
- 複雑そうなロジック (計算等) がある機能
- 他の機能との依存度が高い機能
- プロダクトの独特な仕様
- 過去に不具合が多く発生している機能
- 品質を考慮せずに短期間で作られた機能
- 外部との通信を行なっている機能
- 古い技術が使われている機能
不具合を見つけ出す技術
- ブラックボックステスト技法
  - 同値分割法
  - 境界値分析
  - 状態遷移テストなど
- ホワイトボックステスト技法
  - ステートメントテスト
  - デシジョンテストなど
- 経験ベースのテスト技法
  - 探索的テストなど
「バグを憎んで人を憎まず」 (ソフトウェアテスト293の鉄則鉄則 154 より)

ここから私は以下を追加しました。

不具合を見つけた時に何をすればいいか
- 証跡のとり方と報告の仕方 (手順や発生環境を明確にするなど)
- プレ開催の様子から、こちらが当たり前にやっていることを当たり前として流してはいけないと感じたからです。
テストは「宝探し」である
- QA グループの Redmine には Treasure Chest (宝箱) という名前がついています。
- ワクワクした気持ちで Bug Bash に参加してほしいという思いから、この話をしておこうと思いました。

更に「脆弱性をあぶり出してみたいという参加者もいるのではないか」と考え、レクチャーを2部構成にし、後半で木村さんに脆弱性診断の基礎を解説してもらうことにしました。

イベント本開催を終えて

私はかなりのあがり症のため、上記で伝えたい思いが十分に伝えられたかは定かではありません。後日フィードバックを受けてやっと全身の力が抜けていきました。

非エンジニアのことも意識してわかりやすく資料を作成してくださり、お話してくださってとても勉強になりました。また、QAエンジニア・セキュリティエンジニアの方々への仕事理解も深まり大変いい機会でした。ありがとうございました！

受講者レベルのばらつきを考慮したバランスのとれた内容だったと思います。知識のある人にも振り返りになりよかったのではないでしょうか。

(当時の振り返り資料から抜粋)

そして8月、迎えた Bug Bash 本開催。

バグを見つけた席から歓声が上がる度に、心の中でガッツポーズをしていました。 「だんだん面白くなってきたな」 というつぶやきが聞こえてくると顔がほころびました。

発見したバグの数はプレ開催時よりはるかに多く、その後第2回を開催したときは更にその数を上回りました。

ビジネス職の方やカスタマーサポートに所属されている方が挙げたバグには思いがけない事象が多く、彼らの知見の深さに感銘を受けました。

テストは各々の経験が活きる場であり、それが確かに証明されたのです。