ISTQB AI Tester試験のChapter 5では、**機械学習（ML）モデルの性能を評価するための指標（Performance Metrics）**を扱います。
その中でも本記事では、5.2 追加のML機能パフォーマンス指標として登場する、
-
分類（Classification）
-
回帰（Regression）
-
クラスタリング（Clustering）
それぞれの代表的な評価指標を、具体例を交えて分かりやすく解説します。
1. 前提：これまでに学んだ主要な評価指標
すでに前のセクション（5.1）では、以下のような基本的な分類モデルの指標を学びました。
-
混同行列（Confusion Matrix）
-
Accuracy（正解率）
-
Precision（適合率）
-
Recall（再現率）
-
F1スコア
👉 **5.2では、これらを補完・発展させる「追加の評価指標」**を理解するのが目的です。
2. 教師あり学習（分類）における評価指標
2.1 ROC曲線（ROC Curve）とは？
ROC（Receiver Operating Characteristic）曲線は、
2値分類モデルの性能を視覚的に評価するためのグラフです。
もともとは軍事分野（レーダー解析）で開発された手法です。
グラフの軸
-
縦軸（Y軸）
-
TPR（True Positive Rate）
-
別名：Recall（再現率）
-
-
横軸（X軸）
-
FPR（False Positive Rate）
-
計算式：
-
FPR = FP / (FP + TN)
ROC曲線が示すもの
-
分類の**判定しきい値（Threshold）**を変化させたときの性能
-
モデルがどれだけ「正しくクラスを分離できているか」
2.2 AUC（Area Under the Curve）
AUCとは、ROC曲線の下側の面積を表します。
-
値の範囲：0〜1
-
1に近いほど性能が良い
AUCの解釈例
|
AUC値 |
意味 |
|---|---|
|
0.9以上 |
非常に優れた分類モデル |
|
0.7〜0.9 |
実用レベル |
|
0.5 |
ランダム予測と同等 |
📌 ISTQB試験では「AUCが高い＝クラス分離性能が高い」ことを理解していればOK
計算問題はほぼ出ません。
3. 教師あり学習（回帰）における評価指標
3.1 回帰モデルとは？
回帰（Regression）モデルは、
-
価格予測
-
温度予測
-
売上予測
など、連続値を予測するモデルです。
3.2 MSE（Mean Squared Error：平均二乗誤差）
MSEは、
実測値と予測値の差を二乗し、その平均を取ったもの
です。
特徴
-
常に 0以上
-
0に近いほど良いモデル
-
誤差を二乗することで
→ 正負の誤差が相殺されない
イメージ例
-
実際の家賃：100,000円
-
予測値：90,000円
-
誤差：10,000円 → 二乗すると大きなペナルティ
👉 **「外れた予測を強く罰する指標」**として使われます。
3.3 R²（決定係数）
**R²（R-squared）**は、
モデルがどれだけデータのばらつきを説明できているか
を示す指標です。
-
値の範囲：0〜1
-
1に近いほど、データへの当てはまりが良い
📌 ISTQBでは
「R²＝回帰モデルの当てはまりの良さ」
と覚えておけば十分です。
4. 教師なし学習（クラスタリング）における評価指標
4.1 クラスタリングとは？
クラスタリングは、
-
正解ラベルを持たないデータ
-
似たもの同士を自動的にグループ化
する手法です。
例：
-
顧客の購買パターン分類
-
画像の自動グループ化
4.2 クラスタ評価の考え方
クラスタリングでは、
-
同じクラスタ内のデータは近い
-
異なるクラスタ間のデータは遠い
ことが理想です。
4.3 Intra-cluster / Inter-cluster
Intra-cluster（クラスタ内距離）
-
同じクラスタ内のデータ同士の近さ
-
小さいほど良い
Inter-cluster（クラスタ間距離）
-
異なるクラスタ間の距離
-
大きいほど良い
4.4 シルエット係数（Silhouette Score）
シルエット係数は、クラスタリングの代表的な評価指標です。
-
値の範囲：-1 ～ +1
|
値 |
意味 |
|---|---|
|
+1に近い |
クラスタが明確に分離されている |
|
0 |
ランダムに近い |
|
-1に近い |
クラスタ割当が間違っている可能性 |
📌 目標は「できるだけ+1に近づけること」
5. ISTQB AI Tester試験でのポイントまとめ
-
計算問題はほぼ出ない
-
**「どのモデルに、どの指標を使うか」**を理解する
-
用語の意味・目的・解釈が重要
モデル別まとめ
|
モデル |
主な指標 |
|---|---|
|
分類 |
ROC曲線、AUC |
|
回帰 |
MSE、R² |
|
クラスタリング |
Intra/Inter距離、シルエット係数 |
6. まとめ
ISTQB AI TesterのMLパフォーマンス指標は、
-
数学よりも「意味理解」
-
実務での使い分け視点
が重視されます。
「この指標は、どんなモデルの、何を評価しているのか？」
この問いに答えられるようになれば、試験対策としては十分です。
コメント