決定木アルゴリズムまとめ

これまで取り扱ってきた決定木アルゴリズムをまとめます。

決定木

木構造(樹形図)を用いて予測を行う手法です。

  • 単純な樹形図のため、モデルの解釈がしやすい。
  • 木の深さや最小サンプル数の調整で、ある程度は緩和できるものの過学習に陥るリスクが高い。

ランダムフォレスト

アンサンブル手法を用いた手法です。決定木を複数生成し学習を行います。

各決定木を並列に扱い、それぞれの結果の平均値をとります。

  • それぞれの決定木の結果の平均をとることで、予測精度は保ちつつ、過剰適合を抑制できる。
  • 決定木を複数使用するため、通常の決定木よりも計算コストが高く、またモデルが複雑になり解釈が難しくなる。

勾配ブースティング決定木(XgBoost)

アンサンブル法を用いた手法です。決定木を複数生成し学習を行います。

1つ前の決定木の誤りを修正して、次の決定木を生成します。。

  • 高い精度が出やすく、人気のある手法。
  • パラメータ設定の影響を受けやすいため、パラメータ調整には注意が必要。

パラメータチューニング手法に関してもまとめます。

グリッドサーチ

あらかじめ指定したパラメータの候補値の全通りの組み合わせを検証し、最も精度が高いパラメータの組み合わせを調べる手法です。

  • 指定したパラメータの範囲では、最もスコアが高い組み合わせを確実に得ることができる。
  • パラメータの全組み合わせ × 交差検証の分割数だけ学習・評価が行われるので、計算コストが高い。

ランダムサーチ

あらかじめ指定したパラメータの候補値のランダムな組み合わせ指定した回数だけ検証し、その中でも最も精度が高いパラメータの組み合わせを調べる手法です。

  • グリッドサーチよりも計算量が少なくて済む。
  • 最適な組み合わせが確実に得られるわけではない。

ベイズ最適化

グリッドサーチとランダムサーチの間をとったベイズ最適化という手法もあります。

ベイズ最適化はscikit-learnBayesSearchCVというクラスを使って実行できます。

決定木モデル⑤ (最小サンプル数を変更)

今回は、リーフノードのサンプル数を変更してみます。

最小サンプル数変更

リーフノードの最小サンプル数を変更するためには、min_samples_leafを設定します。

min_samples_leafのデフォルト値は1となっており、ノード数が1になるまで分岐をし続けることを意味します。

深さ(max_depth)は前回過学習に陥った20としたままで、最小サンプル数(min_samples_leaf)1から5に変更してみます。(1行目)

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
tree_reg_samples_5 = DecisionTreeRegressor(max_depth=20, min_samples_leaf=5,random_state=0).fit(X_train,y_train)

y_train_pred = tree_reg_samples_5.predict(X_train)
y_test_pred = tree_reg_samples_5.predict(X_test)

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

中央下にいくつか外れ値がありますが、誤差の範囲が±10程度に集まっていてなかなかの結果になっていると思います。

また訓練データの誤差も適度にばらついていて、過学習の傾向が減っているようです。

精度評価スコア (max_depth=20, min_samples_leaf=5)

精度評価スコアを算出します。

[Google Colaboratory]

1
2
3
4
print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

リーフノードの最小サンプル数を5に制限したことで、テストデータのR2スコアが0.71となりこれまでで最も良い結果となりました。

また、訓練データのR2スコアが1.0から0.91となり、過学習傾向が軽減されていることが分かります。

決定木は過学習に陥りやすい傾向はありますが、深さや最小サンプル数などのハイパーパラメータを調整することで過学習をある程度抑えることができ、モデルの精度改善を行うことができます。

決定木モデル④ (深さを変更)

決定木の深さを定義するハイパーパラメータであるmax_depthを変更します。

深さの変更 (max_depth=5)

決定木の深さ(max_depth)を5に変更してみます。

[Google Colaboratory]

1
tree_reg_depth_5 = DecisionTreeRegressor(max_depth=5, random_state=0).fit(X_train,y_train)

次に予測値を出力し、残差プロットで可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7
y_train_pred = tree_reg_depth_5.predict(X_train)
y_test_pred = tree_reg_depth_5.predict(X_test)

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

深さを5に変更したことにより、誤差のばらつきが少し小さくなりました。

精度評価スコア (max_depth=5)

精度評価スコアを表示します。

[Google Colaboratory]

1
2
3
4
print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

テストデータのR2スコアが0.7となり、精度が改善しました。

しかし、訓練データのR2スコアも0.85から0.92と上昇しています。

このように決定木の深さを深くするとモデルの精度が上がる一方、訓練データに過度に適合する過学習のリスクも上がってしまいます。

深さの変更 (max_depth=20)

今度は、決定木の深さ(max_depth)を20に変更してみます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
tree_reg_depth_20 = DecisionTreeRegressor(max_depth=20, random_state=0).fit(X_train,y_train)

y_train_pred = tree_reg_depth_20.predict(X_train)
y_test_pred = tree_reg_depth_20.predict(X_test)

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

精度評価スコア (max_depth=20)

精度評価スコアを表示します。

[Google Colaboratory]

1
2
3
4
print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

訓練データのR2スコアは1.0となり完全に適合していますが、テストデータのR2スコアは深さ5のときよりも下がっています。

これは過学習に陥っていると判断できます。

決定木モデル③ (評価)

前回構築した決定木モデルの評価を行います。

予測値算出

まずは予測値を算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
y_train_pred = tree_reg.predict(X_train)
y_test_pred = tree_reg.predict(X_test)

import numpy as np

y_train_pred = np.expand_dims(y_train_pred, 1)
y_test_pred = np.expand_dims(y_test_pred, 1)

print(len(y_train_pred))
print(y_train_pred[:5])
print(len(y_test_pred))
print(y_test_pred[:5])

[実行結果]

可視化

散布図で予測値を可視化します。

[Google Colaboratory]

1
2
3
4
5
6
7
plt.scatter(y_train_pred, y_train, label="train")
plt.scatter(y_test_pred, y_test, label="test")
plt.xlabel("Pred")
plt.ylabel("True")
plt.title("Scatter Plot")
plt.legend()
plt.show()

[実行結果]

線形回帰とは異なる分布になっています。

グラフからは、何種類かの特定の値が予測値として出力されているようです。

予測値として出力される値のパターンはリーフノードの数に依存します。

前回出力した樹形図のリーフノード数は8個だったので、予測値のパターンも8種類ということになります。

残差プロット

次に実測値と予測値の誤差をプロットしてみます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
def residual_plot(y_train_pred, y_train, y_test_pred, y_test):
plt.scatter(y_train_pred, y_train_pred - y_train, label="train")
plt.scatter(y_test_pred, y_test_pred - y_test, label="test")
plt.plot([0, 50], [0,0] ,color="red")
plt.xlabel("Pred")
plt.ylabel("Pred - True")
plt.title("Residual Plot")
plt.legend()
plt.show()

residual_plot(y_train_pred, y_train, y_test_pred, y_test)

[実行結果]

右側に外れ値がいくつかありますが、誤差の範囲が±10程度と、まずまずの結果となっていると思います。

精度評価スコア

精度評価スコアを算出します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
import numpy as np

def get_eval_score(y_true,y_pred):
mae = mean_absolute_error(y_true,y_pred)
mse = mean_squared_error(y_true,y_pred)
rmse = np.sqrt(mse)
r2score = r2_score(y_true,y_pred)

print(f" MAE = {mae}")
print(f" MSE = {mse}")
print(f" RMSE = {rmse}")
print(f" R2 = {r2score}")

print("訓練データスコア")
get_eval_score(y_train,y_train_pred)
print("テストデータスコア")
get_eval_score(y_test,y_test_pred)

[実行結果]

R2スコアが0.66であり、十分な精度となっていません。

次回は、ハイパーパラメータの設定で決定木の深さを変更し、スコアの向上を図ります。

決定木モデル② (データ準備・決定木モデル構築)

決定木モデルを構築するための、データを準備します。

データ準備

ボストンの住宅価格データを読み込みます。

[Google Colaboratory]

1
2
3
4
5
6
7
8
from sklearn.datasets import load_boston
boston = load_boston()

import pandas as pd
df = pd.DataFrame(boston.data,columns=boston.feature_names)
df["MEDV"] = boston.target

display(df.head())

[実行結果]

説明変数を変数Xに、目的変数を変数yに代入します。

[Google Colaboratory]

1
2
3
4
5
X = df[boston.feature_names]
y = df[["MEDV"]]

display(X.head())
display(y.head())

[実行結果]

訓練データと検証データを7対3の割合で分割します。

[Google Colaboratory]

1
2
3
4
5
6
7
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

以上で、データの準備は完了です。

決定木モデルの構築

決定木モデルを構築するには、scikit-learnDecisionTreeRegressorクラスを使用します。

max_depthは決定木の層の深さの上限を設定するパラメータで、今回は3階層(max_depth=3)の決定木にしています。

[Google Colaboratory]

1
2
from sklearn.tree import DecisionTreeRegressor
tree_reg = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X_train,y_train)

これで決定木モデルの構築と学習が完了しました。

決定木モデルの描画

学習により生成された決定木を描画します。

[Google Colaboratory]

1
2
3
4
5
6
from sklearn import tree
import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(20,8))
tree.plot_tree(tree_reg,fontsize=8)

[実行結果]

各ノードの中身に表示されている値は次のような意味となります。

  • X[n] <= m
    次のノードへの分岐条件
  • mae
    ノードの不純度(valueと実測値の平均二乗誤差)
  • samples
    ノードに含まれるデータ件数
  • value
    ノードに含まれるデータの平均値

末端になるノード(リーフノード)のvalueが予測値の候補となっています。

次回は、構築した決定木モデルの評価を行います。

決定木モデル① (アルゴリズム)

今回からは、決定木を使った回帰の手法を試していきます。

決定木とは回帰や分類に使われる手法で、質問に対する分岐( Yes / No )を行う階層的な木構造で学習を行います。

線形回帰では各説明変数の重みや切片を学習によって定義しましたが、決定木ではそれぞれの分岐条件を学習によって定義します。

ハイパーパラメータで決定木の深さや各分岐先の最小サンプル数を調整することにより、過学習の抑制や精度の向上を図ることもできます。

決定木アルゴリズム

決定木系のアルゴリズムは、非常に直感的で分かりやすく、データの尺度に左右されにくい点から、いろいろな場面で利用されます。

決定木を使ったアルゴリズムには下記のようなものがあります。

  • 決定木
    木構造(樹形図)を用いて予測を行う手法。
  • ランダムフォレスト
    決定木を複数生成し予測を行う手法。
    各決定木を並列に扱い、結果を総合的に判断する。
  • 勾配ブースティング決定木
    決定木を複数生成し予測を行う手法。
    逐次的に決定木を増やしていく。
    生成済みの決定木の結果を加味し新たな決定木を生成する。

次回は、決定木モデルを構築するためのデータを準備します。


Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×