線形SVMモデル (決定境界)

線形SVM(サポートベクターマシン)は、ロジスティック回帰と同じように線形分離できるケースで高いパフォーマンスを発揮するアルゴリズムです。

線形SVMモデル構築・可視化

線形SVMモデルの構築にはscikit-learnLinearSVCクラスを使用します。(2行目)

[Google Colaboratory]

1
2
3
4
5
from sklearn.svm import LinearSVC
linear_svm = LinearSVC(random_state=0).fit(X_train_scaled, y_train)

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=linear_svm)
plt.show()

データセットは、これまでと同じ「乳がんの診断データ」を使用し、前回記事同様plot_decision_regionsメソッドを使い決定境界を可視化します。

[実行結果]

ロジスティック回帰とよく似た結果となりました。

ロジスティック回帰と線形SVMの違いはデータの外れ値の影響を受けにくい点です。

ロジスティック回帰は確率論に基づいたアルゴリズムでしたが、線形SVMはマージンの最大化に着目したアルゴリズムとなります。

決定境界に最も近いデータ点のことをサポートベクターと呼びますが、線形SVMはそのサポートベクターとの距離(マージン)が最大になる決定境界を引くアルゴリズムです。


なお、SVMは非線形の分類を行うこともできます。

次回は、非線形SVMでの分類を行ってみます。

ロジスティック回帰モデル② (決定境界を可視化)

データの分類予測の基準となる境界線のことを決定境界と言います。

前回構築したロジスティック回帰モデルではどのような決定境界が引かれているのかを可視化してみます。

決定境界を可視化

決定境界の可視化にはmlxtendというライブラリを使用します。

データとモデルを渡すだけで決定境界を可視化してくれるとても便利なライブラリです。

[Google Colaboratory]

1
2
3
4
5
import numpy as np
from mlxtend.plotting import plot_decision_regions

plot_decision_regions(np.array(X_train_scaled), np.array(y_train), clf=log_reg)
plt.show()

plot_decision_regionsメソッドの引数は下記の通りです。(4行目)

  • 第1引数
    スケーリングした訓練データの説明変数
  • 第2引数
    訓練データの目的変数
  • 第3引数(clf)
    構築したロジスティック回帰モデル

[実行結果]

構築したロジスティック回帰モデルでは、上図のような直線で決定境界が引かれています。

直線という制約があるので、決定境界周辺では正しく分類でいていないデータが多いようです。

ロジスティック回帰はデータを直線で分類(線形分離)できるケースに適したアルゴリズムです。

また、単純かつ計算コストが低いという特徴もあります。

ロジスティック回帰モデル① (構築)

ロジスティック回帰は、二値分類でよく使われる手法で、回帰分析のプロセスを経て分類予測を行います。

ロジスティック回帰では、重み付けされた説明変数の和から、一方に分類される確率を算出し閾値(50%)を上回るかどうかで最終的な分類を決定します。

良性に分類される確率が40%であれば悪性に分類されることになります。

ロジスティック回帰モデルの構築

ロジスティック回帰モデルを構築するには、scikit-learnLogisticRegressionクラスを使用します。

[Google Colaboratory]

1
2
3
from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression(random_state=0).fit(X_train_scaled, y_train)

予測結果を出力します。

[Google Colaboratory]

1
2
3
4
5
y_train_pred = log_reg.predict(X_train_scaled)
y_test_pred = log_reg.predict(X_test_scaled)

print(y_train_pred[:5])
print(y_test_pred[:5])

[実行結果]

ラベルデータである0, 1がきちんと出力されていることが分かります。

可視化(訓練データ)

訓練データの予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5
plt.scatter(X_train["mean radius"],X_train["mean texture"], c=y_train_pred)
plt.title("Pred_Train")
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

可視化(テストデータ)

テストデータの予測結果を可視化します。

[Google Colaboratory]

1
2
3
4
5
plt.scatter(X_test["mean radius"],X_test["mean texture"], c=y_test_pred)
plt.title("Pred_Test")
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

ある直線を境にきれいにデータが2分割されています。

次回は、この直線に焦点を当てて可視化を行います。

分類② (データ前処理)

モデル構築の下準備として、データの前処理を行います。

目的変数と説明変数に分割

まずデータを説明変数 X と目的変数 y に分けます。

[Google Colaboratory]

1
2
3
4
5
X= tg_df[["mean radius","mean texture"]]
y = tg_df["y"]

display(X.head())
display(y.head())

[実行結果]

訓練データとテストデータに分割

次に、データを訓練データ(70%)とテストデータ(30%)に分割します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=0)

print(len(X_train))
display(X_train.head())
print(len(X_test))
display(X_test.head())

[実行結果]

スケーリング

最後に、データの尺度をそろえるためスケーリングを行います。

[Google Colaboratory]

1
2
3
4
5
6
7
8
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print(X_train_scaled[:3])
print(X_test_scaled[:3])

[実行結果]

次回は、ロジスティック回帰モデルの構築を行います。

分類① (データ準備)

今回から、教師あり学習の1つである分類を実行していきます。

分類はデータがどのカテゴリに分類されているかを予測します。

データの読み込み

分類の問題を解くのに適した乳がん診断データを読み込みます。

悪性か良性かを目的変数として、それに寄与する検査データが説明変数として用意されているデータになります。

[Google Colaboratory]

1
2
3
from sklearn.datasets import load_breast_cancer

load_data = load_breast_cancer()

読み込んだデータをデータフレームに格納します。

またデータ件数やカラム数を出力します。

[Google Colaboratory]

1
2
3
4
5
6
7
8
import pandas as pd

df = pd.DataFrame(load_data.data, columns = load_data.feature_names)
df["y"] = load_data.target

print(len(df))
print(len(df.columns))
display(df.head())

[実行結果]

データセットには31列569行のデータがあることが確認できました。

代表値

今回は説明変数としてmean radiusmean textureの2つのみを使用します。

describeメソッドを使って、データの代表値を確認します。

[Google Colaboratory]

1
2
tg_df = df[["mean radius","mean texture","y"]]
display(tg_df.describe())

[実行結果]

describeメソッドでは欠損値を除外して代表値を算出します。

各変数のcountとデータフレームの行数(569行)が一致しているので、このデータセットに欠損値はないことになります。

相関係数

使用する変数の相関を確認します。

[Google Colaboratory]

1
tg_df.corr()

[実行結果]

目的変数と相関も程よく強く、説明変数同士の相関が強すぎることもないので説明変数として問題ないようです。

カテゴリ数

何種類のカテゴリがあるかを確認します。

[Google Colaboratory]

1
print(tg_df["y"].unique())

[実行結果]

目的変数のユニークな値より、2種類のカテゴリがあることが確認できました。

0が悪性、1が良性のデータとなります。

カテゴリ比率

各カテゴリの比率を確認します。

[Google Colaboratory]

1
2
print(len(df.loc[tg_df["y"]==0]))
print(len(df.loc[tg_df["y"]==1]))

[実行結果]

カテゴリ比率に大きな隔たりはないようです。

カテゴリの比率に大きな隔たりがあるデータは不均衡なデータと呼ばれ、モデルの評価や学習に影響がでるので注意が必要です。

データの可視化

最後に、データをプロットしてカテゴリごとの散布状態を確認します。

[Google Colaboratory]

1
2
3
4
5
6
7
import matplotlib.pyplot as plt
%matplotlib inline

plt.scatter(tg_df["mean radius"],tg_df["mean texture"], c=tg_df["y"])
plt.xlabel("mean radius")
plt.ylabel("mean texture")
plt.show()

[実行結果]

次回からは、この2カテゴリに分類されたデータから機械学習を使って分類の傾向を調べます。


Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×