難易度・正答率・重要度
- 難易度：★★☆☆☆（基本指標の計算）
- 正答率：★★★☆☆（定義に沿って計算すれば判断可能）
- 重要度：★★★☆☆（分類モデル評価の基礎）
問題文
ある二値分類問題に対する2つの予測モデルAとBに対して、1,000件のデータを用いて性能評価を行ったところ、以下の混同行列が得られた。
モデルAとBの性能評価に関する記述の正誤の組み合わせとして、最も適切なものを下記の解答群から選べ。
ただし、正解率、適合率、再現率は、以下のように定義される。
・正解率：全体の件数のうち、陽性と陰性を正しく予測した割合
・適合率：陽性と予測した件数のうち、実際も陽性である割合
・再現率：実際に陽性である件数のうち、陽性と予測した割合
ア
a：正 b：正 c：正
イ
a：正 b：正 c：誤
ウ
a：正 b：誤 c：正
エ
a：誤 b：正 c：正
オ
a：誤 b：誤 c：誤
出典： 中小企業診断協会｜2024年度 第1次試験問題｜経営情報システム（PDF）
解答
- 正解：ウ（a：正 b：誤 c：正）
解説
- モデルAの指標（TP=75、FN=25、FP=25、TN=875）
・正解率： (75 + 875) / 1000 = 0.95
・適合率： 75 / (75 + 25) = 0.75
・再現率： 75 / (75 + 25) = 0.75 - モデルBの指標（TP=15、FN=45、FP=5、TN=935）
・正解率： (15 + 935) / 1000 = 0.95
・適合率： 15 / (15 + 5) = 0.75
・再現率： 15 / (15 + 45) = 0.25 - 選択肢の評価
・a：正解率は等しい（0.95 = 0.95）→ 正
・b：適合率はAの方が大きいか？（0.75 = 0.75）→ 誤
・c：再現率はAの方が大きいか？（0.75 > 0.25）→ 正
学習のポイント
- 指標の役割
・正解率：全体の当たり外れの割合。クラス偏りに影響されやすい。
・適合率（Precision）：陽性と判定した中の正確さ。
・再現率（Recall）：実際の陽性をどれだけ拾えているか。 - モデル比較
・本問では正解率・適合率は同等だが、再現率はAが大きく、Aは陽性の取りこぼしが少ない。