2016/4/9(土)「JaSST東北2016準備会(仮)」:VSTePのやり方を変えてみたら失敗した話

仙台は今、VSTePが一番熱い街らしいです。

JaSST東北実行委員が集まって、一日かけてVSTeP勉強会を開催しました。仙台在住組は何度か集まってやっていましたが、今回は福島組や北海道からも人が集まって「かんばんりすと」を対象にしてVSTeP演習を実施しました。慣れていないメンバーがいたり、本会はテスト分析に慣れていない人がたくさん来ることもあって、より効率的にVSTePでテスト観点図作成ができないかの試みをしてみました。以下のようなことをやって大失敗したので、それらの話をまとめてみました。

  • テスト観点図作成時にあらかじめ大枠を用意してみた
  • テスト観点図作成時に因子水準表を作ってみた

今回のVSTePでのテスト分析手順は以下のように実施しています。

  1. 仕様書確認
  2. 仕様についての認識合わせ(フリートーク)
  3. テスト観点洗い出し
  4. テスト観点グルーピング
  5. テスト観点図作成
  6. テストコンテナ作成
  7. テストコンテナ依存関係整理

テスト観点図作成時にあらかじめ大枠を用意してみた

やろうと思った理由

テスト分析に慣れていない人がVSTePをやると、恐らくテスト観点洗い出しまでは何とかなるが、テスト観点図作成はとても苦労すると予想した。そのため、あらかじめ最終形が見える大枠を用意することで、慣れていない人でも大きな失敗なくテスト観点図が作成できるのではないか、と考えた。

やったこと

テスト観点グルーピングをしたあとに、テスト観点図のトップレベルにあらかじめ、「入力」「テスト対象」「出力」の大枠を置いてみた。大枠に基づいてテスト観点のグループごとにテスト観点図を作成してみた。

やってみた結果

大失敗した。全く納得のいく形にならなかった。
始めは上手くいく予想があったし、分かりやすいテスト観点は大枠の下にぶら下がる形になった。しかし、分類が難しいテスト観点が出てきたとたんに手が止まってしまった。さらに、しばらく考えてもどのように整理すればよいかのアイディアが出てこなかった。

面白かった事

「入力」「テスト対象」「出力」の大枠を外して、通常のVSTePの手順でやってみた。メンバーが慣れていることもあって、テスト観点図はスラスラと組み上がっていったのだけど、最終的に「入力」「テスト対象」「出力」の形になっていた。

分析

共通認識がない状態で、枠に当てはめようとすると、周りと意見が合わない、納得のいくモデルにならない。
決められた枠を用意すると、思考が「枠の中にどうすれば収まるか」に変わってしまう。

感想

テスト観点図作成フェーズで作るべきは、洗い出したテスト観点の「納得のいく構造関係」。フェーズ始めはチーム内の納得感がズレているので、それを合わせていくことが重要である。チーム内の納得感がずれている状態で枠を与えてしまうと、チーム内に取り戻しのつかないギャップが発生してしまうように感じた。チームの納得感に合わせて進めていくことが大事であり、大枠を用意してもチーム内の納得感を生み出す働きは起こらない。

テスト観点図作成時に因子水準表を作ってみた

やろうと思った理由

VSTePに慣れていない場合、テスト観点図のイメージが湧きにくい。テスト観点をMECEに洗い出したものが欲しいのであれば、別の手法で洗い出してテスト観点図のツリー構造に落とし込めば上手くいくのではないか。

やったこと

今回は因子水準表を作ってMECEのようにテスト観点を洗い出した。
f:id:toshimana:20160411081212j:plain

やってみた結果

因子を根、水準を葉としたツリーができた。しかし、次のテストコンテナ作成フェーズでは、テストコンテナを適切なまとまりで抽出することが難しかった。因子間の関係性についてチーム内の認識が合わせられていないため、テスト可能なまとまりの抽出に苦労した。

分析

「何をテストしたいのか」が見えないテスト観点図になっていた。因子水準表でまとめたが、MECEに洗い出した感覚はチームで共有できた。しかし、具体的なテストケースが出てこなかっため、テスト観点図が現実と乖離してしまったように感じた。

感想

VSTePを行う上で、現実との乖離が起きていないかはよく確認する必要がある。作ったモデルから、現実がイメージできないのであれば、モデルを見直すことを考える必要がある。

総括

VSTePに限った話ではないのだけれど、モデリングの肝は「納得できること」と「現実に即していること」だと感じた。2つを満たせていれば、例え実際に抜けがあったとしても、自信を持てると思う。自信を持てるからこそ、抜けがあったら真摯に捉えられる。技術は実力を効率良く表現するものであって、実力以上を出すものではない、と感じた。

反省点

「JaSST東北の本会も近いから、モデレータ育成をメインにやろう」という趣旨で始めたはずだけど、ガン無視でVSTePによるテスト分析に夢中になってしまった。