― ISTQB AI Tester試験で必須の基本プロセスを完全理解 ―
ISTQB AI Tester Chapter 3では、機械学習（Machine Learning：ML）をどのような流れで構築・運用するのかという
「MLワークフロー（ML Workflow）」が重要なテーマとして扱われます。
機械学習モデルは、
作って終わりではなく、運用しながら改善し続けるものです。
その全体像を体系的に理解することが、AIテストにおいて不可欠になります。
MLワークフローの全体像
MLワークフローは、大きく次の 2フェーズ に分かれます。
-
モデル開発（Model Development）
-
デプロイ・利用・監視（Deploy, Use, Monitor）
まずはモデルを作り、その後、実システムで使いながら継続的に改善していきます。
① モデル開発フェーズ（Model Development）
1. 目的（Objective）の理解
最初に行うべき最重要ステップが 目的の明確化 です。
-
なぜこのMLモデルが必要なのか？
-
何を予測・分類・判断したいのか？
-
ビジネス上のゴールは何か？
これらをステークホルダーと合意し、
さらに 受け入れ基準（Acceptance Criteria） を定義します。
具体例
-
不正取引検知モデル
→「不正検知率95%以上」「誤検知率5%以下」など
2. フレームワークの選定
目的・受け入れ基準・ビジネス要件に基づき、
AI／ML開発フレームワークを選択します。
-
TensorFlow
-
PyTorch
-
Scikit-learn など
ISTQBでは、「なぜそのフレームワークを選んだのか」
という合理性が重要視されます。
3. アルゴリズムの選択・構築
次に、MLアルゴリズムを決定します。
-
既存ライブラリのアルゴリズムを使用
-
独自アルゴリズムを新規開発
選択基準は以下の通りです。
-
目的
-
受け入れ基準
-
利用可能なデータの種類・量
補足
-
すべてをゼロから作るのは時間とコストが大きい
-
実務では 既存アルゴリズム＋カスタマイズ が一般的
4. データの準備とテスト（Prepare & Test Data）
MLモデルの品質は データ品質で決まる と言っても過言ではありません。
主な作業内容
-
データ収集（Data Acquisition）
-
データ前処理（Pre-processing）
-
特徴量エンジニアリング（Feature Engineering）
-
探索的データ分析（EDA）
重要ポイント
-
学習・評価・テスト用データは 運用データを代表している必要がある
-
不要・機密情報は事前に除去
具体例
リアルタイム株取引システム
→ 過去の市場データ＋リアルタイムデータを活用
5. モデルの学習（Training）
選択したアルゴリズムと学習データを使ってモデルを訓練します。
エポック（Epoch）
-
学習データ全体を1回学習する単位
-
複数回繰り返すことで精度が向上
2種類のハイパーパラメータ
-
モデルハイパーパラメータ
例：ニューラルネットワークの層数、決定木の深さ
-
アルゴリズムハイパーパラメータ
例：学習回数（Epoch数）、学習率
6. モデル評価（Evaluation）
学習済みモデルを 検証データ（Validation Data） で評価します。
-
精度
-
再現率
-
F値 など
評価は 科学実験のように管理された環境 で行い、
結果は必ず文書化します。
7. モデルのチューニング（Tuning）
評価結果をもとに、モデルを改善します。
-
ハイパーパラメータ調整
-
学習データ量の変更
-
モデル構造の見直し
👉 学習 → 評価 → チューニング を
高速なループで繰り返すのが特徴です。
8. モデルのテスト（Testing）
完成したモデルは、独立したテストデータで最終確認します。
重要ポイント
-
学習・評価で使ったデータは使用しない
-
実運用を想定したデータで検証
機能テスト以外も重要
-
学習時間
-
推論時間
-
リソース使用量（CPU/GPU）
※ 通常はデータサイエンティストが担当
※ テスターも十分な知識があれば実施可能
② デプロイ・利用・監視フェーズ
9. モデルのデプロイ（Deploy）
完成したモデルを 実システムに組み込みます。
-
クラウド
-
組み込みシステム
-
Web API経由 など
10. モデルの利用（Use）
モデルはAIシステムの一部として動作します。
-
バッチ処理（定期実行）
-
リアルタイム処理（オンデマンド）
11. モデルの監視と改善（Monitor & Fine-tune）
運用環境では、データの変化（ドリフト） が発生します。
-
入力データの傾向変化
-
精度低下
対応策
-
モデル再調整
-
新データで再学習
-
A/Bテストによる比較
👉 継続的改善 がML運用の本質です。
まとめ｜MLワークフローは「循環型プロセス」
MLワークフローは直線的ではなく、
学習・評価・改善を繰り返す循環型プロセスです。
ISTQB AI Testerでは、
-
各工程の目的
-
テスト観点
-
データとモデルの関係
を理解しているかが問われます。
コメント