k-最近傍法 – 回帰

2020-03-22 / tau / コメントする

概要

k-最近傍法(k nearest neighbors: knn)による回帰は、テストデータの近傍の訓練データからテストデータの属性値を決定する。その手法は単純で、特段の学習処理はせず、訓練データセットの特徴量と属性値を記憶するのみで、テストデータが与えられたときに近傍点から属性値を決定する。手順は以下の通り。

パッケージをインポートする
特徴量と属性値のデータセットを記憶する
テストデータが与えられたら、特徴量空間の中で近傍点を選ぶ
近傍点の属性値からテストデータの属性値を決定する

パラメーターは近傍点の数で、1以上訓練データの数まで任意に増やすことができる。

利用方法

手順

scikit-learnのKNeighborsRegressorクラスの利用方法は以下の通り。

sklearn.neighborsからKNeighborsRegressorをインポート
コンストラクターの引数に近傍点数n_neighborsを指定して、KNeighborsRegressorのインスタンスを生成
fit()メソッドに訓練データの特徴量と属性値を与えて学習
predict()メソッドにテストデータの特徴量を指定して、属性値を予測
必要に応じて、kneighbors()メソッドでテストデータの近傍点情報を取得

パッケージのインポート

k-最近傍回帰のパッケージは以下でインポートする。

from sklearn.neighbors import KNeighborsRegressor

1	from sklearn.neighbors import KNeighborsRegressor

コンストラクター

KNeighborsClassifier(n_neighbors=n): nは近傍点の数でデフォルトは5。この他の引数に、近傍点を発見するアルゴリズムなどが指定できるようだ。

訓練

fit()メソッドに与える訓練データは、特徴量セットと属性値の2つ。

fit(X, y): Xは訓練データセットの特徴量データで、データ数×特徴量数の2次元配列。yは訓練データセットの属性値データで要素数はデータ数に等しい

予測

テストデータの属性値の予測は、predict()メソッドにテストデータの特徴量を与える。

y = predict(X): Xはテストデータの特徴量データで、データ数×特徴量数の2次元配列。戻り値yは予測された属性値データで要素数はデータ数に等しい。

近傍点の情報

テストデータに対する近傍点の情報を、kneighbors()メソッドで得ることができる。

neigh_dist, neigh_ind = kneighbors(X): テストデータの特徴量Xを引数に与え、近傍点に関する情報を得る。neigh_distは各テストデータから各近傍点までの距離、neigh_indは各テストデータに対する各近傍点のインデックス。いずれも2次元の配列で、テストデータ数×近傍点数の2次元配列となっている。

実行例

以下の例では、n_neighbors=2としてKNeighborsRegressorのインスタンスを準備している。

これに対してfit()メソッドで、2つの特徴量とそれに対する属性値を持つ訓練データを5個与えている。特徴量データX_trainは行数がデータ数、列数が特徴量の数となる2次元配列を想定している。また属性値y_trainは訓練データ数と同じ要素数の1次元配列。

特徴量1	特徴量2	属性値
-2	-3	-1
-1	-1	0
0	1	1
1	2	2
3	3	3

これらの訓練データに対して、テストデータの特徴量X_testとして(-0.5, -2)、(1, 0)の2つを与えた時の出力を見てみる。

import numpy as np
from sklearn.neighbors import KNeighborsRegressor

X_train = np.array(
    [[-2, -3],
     [-1, -1],
     [0, 1],
     [1, 2]])
y_train = np.array([-1, 0, 1, 2])

reg = KNeighborsRegressor(n_neighbors=2)
reg.fit(X_train, y_train)

X_test = np.array([[-0.5, -2], [1, 0]])
y_pred = reg.predict(X_test)

neigh_dist, neigh_ind = reg.kneighbors(X=X_test)

print("X_train=\n{}".format(X_train))
print("y_train={}".format(y_train))
print("X_test=\n{}".format(X_test))
print("y_pred={}".format(y_pred))
print("neighbors' distance=\n{}".format(neigh_dist))
print("neighbors' indicies=\n{}".format(neigh_ind))

import numpy as np

from sklearn.neighbors import KNeighborsRegressor

X_train = np.array(

[[-2, -3],

[-1, -1],

[0, 1],

[1, 2]])

y_train = np.array([-1, 0, 1, 2])

reg = KNeighborsRegressor(n_neighbors=2)

reg.fit(X_train, y_train)

X_test = np.array([[-0.5, -2], [1, 0]])

y_pred = reg.predict(X_test)

neigh_dist, neigh_ind = reg.kneighbors(X=X_test)

print("X_train=\n{}".format(X_train))

print("y_train={}".format(y_train))

print("X_test=\n{}".format(X_test))

print("y_pred={}".format(y_pred))

print("neighbors' distance=\n{}".format(neigh_dist))

print("neighbors' indicies=\n{}".format(neigh_ind))

このコードの実行結果は以下の通り。

X_train=
[[-2 -3]
 [-1 -1]
 [ 0  1]
 [ 1  2]]
y_train=[-1  0  1  2]
[[-0.5 -2. ]
 [ 1.   0. ]]
y_pred=[-0.5  1.5]
neighbors' distance=
[[1.11803399 1.80277564]
 [1.41421356 2.        ]]
neighbors' indicies=
[[1 0]
 [2 3]]

X_train=

[[-2 -3]

[-1 -1]

[ 0 1]

[ 1 2]]

y_train=[-1 0 1 2]

[[-0.5 -2. ]

[ 1. 0. ]]

y_pred=[-0.5 1.5]

neighbors' distance=

[[1.11803399 1.80277564]

[1.41421356 2. ]]

neighbors' indicies=

[[1 0]

[2 3]]

属性値の予測結果については、2つのテストデータに対して2つの属性値0.5と1.5が返されている。

kneighbors()メソッドの戻り値から、1つ目のテストデータにはインデックスが1と0の2つの点とそれぞれへの距離1.118と1.802が、2つ目のテストデータにはインデックスが2と3の点とそれぞれへの距離1.414と2.0が得られる。

1つ目のテストデータ(-0.5, -2)からの距離
- X_train[1]=(-1, -1)→ $\sqrt{(-0.5)^2+1^2}\approx 1.118$
- X_train[0]=(-2, -3)→ $\sqrt{(-1.5)^2+(-1)^2}\approx 1.802$
2つ目のテストデータ(1, 0)からの距離
- X_train[2]=(0, 1)→ $\sqrt{(-1)^2+1^2}\approx 1.414$
- X_train[3]=(1, 2)→ $\sqrt{0^2+2^2}=2$

y_predは、テストデータごとに2つの近傍点の属性値の平均をとっている。

1つ目のテストデータの属性値
- y_train[1]=-1とy_train[0]=0の平均→-0.5
2つ目のテストデータの属性値
- y_train[2]=1とy_train[3]=2の平均→1.5

この様子を特徴量平面上に描いたのが以下の図である。各点の数値は、各データの属性値を示している。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsRegressor

X_train = np.array(
    [[-2, -3],
     [-1, -1],
     [0, 1],
     [1, 2],
     [3, 3]])
y_train = np.array([-1, 0, 1, 2, 3])

reg = KNeighborsRegressor(n_neighbors=2)
reg.fit(X_train, y_train)

X_test = np.array([[-0.5, -2], [1, 0]])
y_pred = reg.predict(X_test)

neigh_dist, neigh_ind = reg.kneighbors(X=X_test)

fig, ax = plt.subplots()

ax.scatter(X_train[:, 0], X_train[:, 1], label="X_train")
ax.scatter(X_test[:, 0], X_test[:, 1], marker='*', s=120, label="X_test")

for tests, ind in zip(X_test, neigh_ind):
    for neigh in ind:
        ax.plot(
            [tests[0], X_train[neigh][0]], [tests[1], X_train[neigh][1]],
            color='k', linestyle='dotted')

for x, y in zip(X_train, y_train):
    ax.annotate("{}".format(y), xy=(x[0], x[1]), xytext=(x[0]+0.1, x[1]+0.1))
for x, y in zip(X_test, y_pred):
    ax.annotate("{}".format(y), xy=(x[0], x[1]), xytext=(x[0]+0.1, x[1]+0.1))

ax.set_xlabel("feature 1")
ax.set_ylabel("feature 2")
ax.legend()

plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.neighbors import KNeighborsRegressor

X_train = np.array(

[[-2, -3],

[-1, -1],

[0, 1],

[1, 2],

[3, 3]])

y_train = np.array([-1, 0, 1, 2, 3])

reg = KNeighborsRegressor(n_neighbors=2)

reg.fit(X_train, y_train)

X_test = np.array([[-0.5, -2], [1, 0]])

y_pred = reg.predict(X_test)

neigh_dist, neigh_ind = reg.kneighbors(X=X_test)

fig, ax = plt.subplots()

ax.scatter(X_train[:, 0], X_train[:, 1], label="X_train")

ax.scatter(X_test[:, 0], X_test[:, 1], marker='*', s=120, label="X_test")

for tests, ind in zip(X_test, neigh_ind):

for neigh in ind:

ax.plot(

[tests[0], X_train[neigh][0]], [tests[1], X_train[neigh][1]],

color='k', linestyle='dotted')

for x, y in zip(X_train, y_train):

ax.annotate("{}".format(y), xy=(x[0], x[1]), xytext=(x[0]+0.1, x[1]+0.1))

for x, y in zip(X_test, y_pred):

ax.annotate("{}".format(y), xy=(x[0], x[1]), xytext=(x[0]+0.1, x[1]+0.1))

ax.set_xlabel("feature 1")

ax.set_ylabel("feature 2")

ax.legend()

plt.show()

各種データに対する適用例

waveデータ

waveデータセット

2020-03-21 / tau / コメントする

概要

waveデータセットは、”Pythonではじめる機械学習”(O’REILLY)中で用いられる架空のデータセットである。

その内容は、引数n_samplesで指定した個数の点について1つの特徴量とターゲットの値を持ち、回帰を扱うのに適している。

利用方法

mglearnパッケージから、たとえば以下のように利用する。

from mglearn.datasets import make_wave

X, y = make_wave(n_samples=40)

from mglearn.datasets import make_wave

X, y = make_wave(n_samples=40)

実行するとdeprecatedの警告が出るが、放置してもよいらしい。

内容

waveデータの特徴は以下の通り。

引数のn_samplesには任意の整数を指定できる
特徴量（x座標の値）は決まっている
- n_samplesが増えてもx₀, x₁, …の値は変わらない
- x₀, x₁, …は実行のたびに同じパターン
ターゲットの値（y座標の値）は変化するが実行ごとに同じ
- n_samplesが変わると同じx₀, x₁, …の値に対するy₀, y₁, …の値は変化する
- y₀, y₁, …は実行のたびに同じパターン

このことを、n_samplesの値を変化させたときのX, yの内容で確認してみる。

import matplotlib.pyplot as plt
from mglearn.datasets import make_wave

n_samples_list = [1, 2, 3, 4, 5, 6]

for n_samples in n_samples_list:
    X, y = make_wave(n_samples=n_samples)
    print("\nn_samples={}".format(n_samples))
    for u, v in zip(X, y):
        print("({:6.3f}, {:6.3f})".format(u[0], v))

# n_samples=1
# (-0.7528, -0.9974)
# 
# n_samples=2
# (-0.7528, -0.1176)
# ( 2.7043,  1.6216)
# 
# n_samples=3
# (-0.7528, -0.9974)
# ( 2.7043,  1.0195)
# ( 1.3920,  0.5076)
# 
# n_samples=4
# (-0.7528, -0.5585)
# ( 2.7043,  0.7430)
# ( 1.3920,  1.1577)
# ( 0.5920,  1.0291)
# 
# n_samples=5
# (-0.7528, -0.3020)
# ( 2.7043,  1.3653)
# ( 1.3920,  0.0776)
# ( 0.5920,  0.3828)
# (-2.0639, -1.7779)
# 
# n_samples=6
# (-0.7528,  0.3481)
# ( 2.7043,  1.2438)
# ( 1.3920,  0.1333)
# ( 0.5920,  0.9167)
# (-2.0639, -1.7239)
# (-2.0640, -1.7250)

import matplotlib.pyplot as plt

from mglearn.datasets import make_wave

n_samples_list = [1, 2, 3, 4, 5, 6]

for n_samples in n_samples_list:

X, y = make_wave(n_samples=n_samples)

print("\nn_samples={}".format(n_samples))

for u, v in zip(X, y):

print("({:6.3f}, {:6.3f})".format(u[0], v))

# n_samples=1

# (-0.7528, -0.9974)

# n_samples=2

# (-0.7528, -0.1176)

# ( 2.7043, 1.6216)

# n_samples=3

# (-0.7528, -0.9974)

# ( 2.7043, 1.0195)

# ( 1.3920, 0.5076)

# n_samples=4

# (-0.7528, -0.5585)

# ( 2.7043, 0.7430)

# ( 1.3920, 1.1577)

# ( 0.5920, 1.0291)

# n_samples=5

# (-0.7528, -0.3020)

# ( 2.7043, 1.3653)

# ( 1.3920, 0.0776)

# ( 0.5920, 0.3828)

# (-2.0639, -1.7779)

# n_samples=6

# (-0.7528, 0.3481)

# ( 2.7043, 1.2438)

# ( 1.3920, 0.1333)

# ( 0.5920, 0.9167)

# (-2.0639, -1.7239)

# (-2.0640, -1.7250)

このコードは何度実行しても同じ値を返す。x座標のパターンが変わっていないこと、y座標のパターンは実行のたびに変化していることがわかる。ただし異なるn_sampleに対して、同じxに対するyの値は大きくは変化していない。

なお、n_samplesが6の時のxの最後の値とその1つ前の値がかなり近く、対応するyの値も近い。n_samplesが1の時と3の時に、先頭のXとyの値が殆ど等しい。

以上のことから、waveデータセットはXについては毎回同じ系列でランダムな値を返し、yはXに対して一定の計算値に毎回同じ系列の乱数で擾乱を加えていると想像される。

最後に、n_samplesを多くしたときの結果を見てみると明らかに線形で上昇しつつ波打っているのがわかる。おそらく $y=a \sin b x + c$ のような式に擾乱を与えていると思われる。

手法の適用

最近傍回帰(knn)

Breast cancer データセット – k-近傍法

2020-03-20 / tau / コメントする

概要

breast_cancerデータセットにscikit-learnのKNeighborsClassifierクラスでk-最近傍法を適用した結果。

学習率曲線

breast_cancerデータセットにk-最近傍法を適用し、近傍点数を変化させて学習率の変化をチェック。データセットを学習データとテストデータに分けるときのrandom_stateを変え、近傍点数に伴う変化を見てみた。

irisデータセットの場合に比べると、学習データとテストデータの傾向は落ち着いていて、近傍点数=8で制度が0.92～0.95程度。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier


def train_and_test(X, y, n_neighbors_list, random_state):

    X_train, X_test, y_train, y_test =\
        train_test_split(X, y, stratify=y, random_state=random_state)

    training_scores = []
    test_scores = []

    for n_neighbors in n_neighbors_list:
        classifier = KNeighborsClassifier(n_neighbors=n_neighbors)

        classifier.fit(X_train, y_train)

        training_scores.append(classifier.score(X_train, y_train))
        test_scores.append(classifier.score(X_test, y_test))

    return training_scores, test_scores


cancer_ds = load_breast_cancer()
X = cancer_ds.data
y = cancer_ds.target

n_neighbors_list = np.arange(1, 16, dtype=int)
random_state_list = np.array([0, 1, 2, 3])

fig, axs = plt.subplots(2, 2, figsize=(9.6, 7.2))
plt.subplots_adjust(hspace=0.4)

axs_1d = axs.reshape(1, -1)[0]

# random_stateを変化させて学習率の違いを見る
for ax, random_state in zip(axs_1d, random_state_list):
    training_scores, test_scores =\
        train_and_test(X, y, n_neighbors_list, random_state)

    ax.plot(n_neighbors_list, training_scores)
    ax.plot(n_neighbors_list, test_scores)

    ax.set_title("random_state={}".format(random_state))
    ax.set_xlabel("number of neighbors")
    ax.set_ylim(0.9, 1.01)

plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import load_breast_cancer

from sklearn.model_selection import train_test_split

from sklearn.neighbors import KNeighborsClassifier

def train_and_test(X, y, n_neighbors_list, random_state):

X_train, X_test, y_train, y_test =\

train_test_split(X, y, stratify=y, random_state=random_state)

training_scores = []

test_scores = []

for n_neighbors in n_neighbors_list:

classifier = KNeighborsClassifier(n_neighbors=n_neighbors)

classifier.fit(X_train, y_train)

training_scores.append(classifier.score(X_train, y_train))

test_scores.append(classifier.score(X_test, y_test))

return training_scores, test_scores

cancer_ds = load_breast_cancer()

X = cancer_ds.data

y = cancer_ds.target

n_neighbors_list = np.arange(1, 16, dtype=int)

random_state_list = np.array([0, 1, 2, 3])

fig, axs = plt.subplots(2, 2, figsize=(9.6, 7.2))

plt.subplots_adjust(hspace=0.4)

axs_1d = axs.reshape(1, -1)[0]

# random_stateを変化させて学習率の違いを見る

for ax, random_state in zip(axs_1d, random_state_list):

training_scores, test_scores =\

train_and_test(X, y, n_neighbors_list, random_state)

ax.plot(n_neighbors_list, training_scores)

ax.plot(n_neighbors_list, test_scores)

ax.set_title("random_state={}".format(random_state))

ax.set_xlabel("number of neighbors")

ax.set_ylim(0.9, 1.01)

plt.show()

irisデータセット – knn

2020-03-20 / tau / コメントする

概要

irisデータセットにscikit-learnのKNeighborsClassifierクラスでk-最近傍法を適用した結果。

学習率曲線

irisデータセットにk-最近傍法を適用し、近傍点数を変化させて学習率の変化をチェック。データセットを学習データとテストデータに分けるときのrandom_stateを変え、近傍点数に伴う変化を見てみた。

レコード数が150と少ないこともあって、random_stateを変えるごとにかなり推移が異なるが、概ね95%の精度が保たれている。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier


def train_and_test(X, y, n_neighbors_list, random_state):

    X_train, X_test, y_train, y_test =\
        train_test_split(X, y, stratify=y, random_state=random_state)

    training_scores = []
    test_scores = []

    for n_neighbors in n_neighbors_list:
        classifier = KNeighborsClassifier(n_neighbors=n_neighbors)

        classifier.fit(X_train, y_train)

        training_scores.append(classifier.score(X_train, y_train))
        test_scores.append(classifier.score(X_test, y_test))

    return training_scores, test_scores


iris_ds = load_iris()
X = iris_ds.data
y = iris_ds.target

n_neighbors_list = np.arange(1, 16, dtype=int)
random_state_list = np.array([0, 1, 2, 3])

fig, axs = plt.subplots(2, 2, figsize=(9.6, 7.2))
plt.subplots_adjust(hspace=0.4)

axs_1d = axs.reshape(1, -1)[0]

# random_stateを変化させて学習率の違いを見る
for ax, random_state in zip(axs_1d, random_state_list):
    training_scores, test_scores =\
        train_and_test(X, y, n_neighbors_list, random_state)

    ax.plot(n_neighbors_list, training_scores)
    ax.plot(n_neighbors_list, test_scores)

    ax.set_title("random_state={}".format(random_state))
    ax.set_xlabel("number of neighbors")
    ax.set_ylim(0.9, 1.01)

plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.neighbors import KNeighborsClassifier

def train_and_test(X, y, n_neighbors_list, random_state):

X_train, X_test, y_train, y_test =\

train_test_split(X, y, stratify=y, random_state=random_state)

training_scores = []

test_scores = []

for n_neighbors in n_neighbors_list:

classifier = KNeighborsClassifier(n_neighbors=n_neighbors)

classifier.fit(X_train, y_train)

training_scores.append(classifier.score(X_train, y_train))

test_scores.append(classifier.score(X_test, y_test))

return training_scores, test_scores

iris_ds = load_iris()

X = iris_ds.data

y = iris_ds.target

n_neighbors_list = np.arange(1, 16, dtype=int)

random_state_list = np.array([0, 1, 2, 3])

fig, axs = plt.subplots(2, 2, figsize=(9.6, 7.2))

plt.subplots_adjust(hspace=0.4)

axs_1d = axs.reshape(1, -1)[0]

# random_stateを変化させて学習率の違いを見る

for ax, random_state in zip(axs_1d, random_state_list):

training_scores, test_scores =\

train_and_test(X, y, n_neighbors_list, random_state)

ax.plot(n_neighbors_list, training_scores)

ax.plot(n_neighbors_list, test_scores)

ax.set_title("random_state={}".format(random_state))

ax.set_xlabel("number of neighbors")

ax.set_ylim(0.9, 1.01)

plt.show()

Breast cancer wisconsinデータセットの俯瞰

2020-03-20 / tau / コメントする

概要

breast_cancerデータは、複数の乳癌患者に関する細胞診の結果と診断結果に関するデータセットで、569人について腫瘤の細胞診に関する30の特徴量と診断結果（悪性／良性）が格納されている。このデータセットについて、irisデータセットと同じ流れで、一般的なグラフによる可視化によって俯瞰してみる。

各特徴量と診断結果

30個の特徴量について悪性と良性に色分けしてヒストグラムを描いてみると、特徴量によって悪性と良性がある程度分かれているものと、重なりが大きいものがあることがわかる。

特徴量の数は多いが、低い次元で見る限りは明確に悪性／良性を分離できる特徴量はあまり多くなさそうである。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

X = cancer_ds.data
y = cancer_ds.target
feature_names = cancer_ds.feature_names
target_names = cancer_ds.target_names

fig, axs = plt.subplots(6, 5, figsize=(10.0, 8))

plt.rcParams['font.size'] = 8
fig.subplots_adjust(hspace=0.4, wspace=0.4)
axs_1d = axs.reshape(1, -1)[0]

for ax, feature in zip(axs_1d, range(len(feature_names))):

    xf = X[:, feature]
    range_min = np.min(xf)
    range_max = np.max(xf)

    ax.set_title("{}({})".format(feature_names[feature], feature))
    ax.hist(xf[y==0], range=(range_min, range_max), bins=20,
        color='b', ec='k', alpha=0.5, label="b")
    ax.hist(xf[y==1], range=(range_min, range_max), bins=20,
        color='r', ec='k', alpha=0.5, label="m")
    ax.tick_params(left=False, bottom=False, labelleft=False, labelbottom=False)

handler, label = axs_1d[0].get_legend_handles_labels()
fig.legend(handler, label, ncol=2, loc='lower center')

plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

X = cancer_ds.data

y = cancer_ds.target

feature_names = cancer_ds.feature_names

target_names = cancer_ds.target_names

fig, axs = plt.subplots(6, 5, figsize=(10.0, 8))

plt.rcParams['font.size'] = 8

fig.subplots_adjust(hspace=0.4, wspace=0.4)

axs_1d = axs.reshape(1, -1)[0]

for ax, feature in zip(axs_1d, range(len(feature_names))):

xf = X[:, feature]

range_min = np.min(xf)

range_max = np.max(xf)

ax.set_title("{}({})".format(feature_names[feature], feature))

ax.hist(xf[y==0], range=(range_min, range_max), bins=20,

color='b', ec='k', alpha=0.5, label="b")

ax.hist(xf[y==1], range=(range_min, range_max), bins=20,

color='r', ec='k', alpha=0.5, label="m")

ax.tick_params(left=False, bottom=False, labelleft=False, labelbottom=False)

handler, label = axs_1d[0].get_legend_handles_labels()

fig.legend(handler, label, ncol=2, loc='lower center')

plt.show()

2つの特徴量同士の関係

特徴量が30個あるので、scatter_matrixやpairplotで全ての特徴量の関係を見るのはあまり得策ではない。そこで、30個の特徴量の中から、悪性／良性が分かれているものを選んで相互の関係を見てみる。

ここでは、双方の分布の山ができるだけ離れており、重なっている部分が少ないものとして、平均凹度、最大半径、最大周囲長、最大凹点数を選んだ。

最大半径と最大周囲長はかなり相関が高く、双方を組み合わせてもあまり効果はなさそうだ。もともと半径と周囲長は円形なら比例関係にあるので当然の結果だろう。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_breast_cancer
from mpl_toolkits.mplot3d import Axes3D

cancer_ds = load_breast_cancer()
X = cancer_ds.data
y = cancer_ds.target
feature_names = cancer_ds.feature_names
target_names = cancer_ds.target_names

X06 = X[:, 6].reshape(-1, 1)
X20 = X[:, 20].reshape(-1, 1)
X22 = X[:, 22].reshape(-1, 1)
X27 = X[:, 27].reshape(-1, 1)
X_new = np.hstack((X06, X20, X22, X27))
fname_new = np.array(
    [feature_names[6], feature_names[20], feature_names[22], feature_names[27]])

df = pd.DataFrame(X_new, columns=fname_new)

df['target'] = cancer_ds.target
df.loc[df['target']==0, 'target'] = "malignant"
df.loc[df['target']==1, 'target'] = "benign"

g = sns.pairplot(df, hue='target', plot_kws={'alpha':0.5})

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X06[y==0], X20[y==0], X27[y==0], alpha=0.5, label="malignant")
ax.scatter(X06[y==1], X20[y==1], X27[y==1], alpha=0.5, label="benign")
ax.legend()

plt.show()

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sns

from sklearn.datasets import load_breast_cancer

from mpl_toolkits.mplot3d import Axes3D

cancer_ds = load_breast_cancer()

X = cancer_ds.data

y = cancer_ds.target

feature_names = cancer_ds.feature_names

target_names = cancer_ds.target_names

X06 = X[:, 6].reshape(-1, 1)

X20 = X[:, 20].reshape(-1, 1)

X22 = X[:, 22].reshape(-1, 1)

X27 = X[:, 27].reshape(-1, 1)

X_new = np.hstack((X06, X20, X22, X27))

fname_new = np.array(

[feature_names[6], feature_names[20], feature_names[22], feature_names[27]])

df = pd.DataFrame(X_new, columns=fname_new)

df['target'] = cancer_ds.target

df.loc[df['target']==0, 'target'] = "malignant"

df.loc[df['target']==1, 'target'] = "benign"

g = sns.pairplot(df, hue='target', plot_kws={'alpha':0.5})

fig = plt.figure()

ax = fig.add_subplot(111, projection='3d')

ax.scatter(X06[y==0], X20[y==0], X27[y==0], alpha=0.5, label="malignant")

ax.scatter(X06[y==1], X20[y==1], X27[y==1], alpha=0.5, label="benign")

ax.legend()

plt.show()

3つの特徴量の関係

最後に、平均凹度、最大半径、最大凹点数の3つの特徴量の関係を3次元化してみた。結果の図を回転させて、できるだけ境界面に沿うような角度から見たのが以下の図である。個々の特徴量だけで見るよりはかなり分離の精度は高くなっている。

上記の3d可視化とその前のpairplotのコードは下記の通り。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_breast_cancer
from mpl_toolkits.mplot3d import Axes3D

cancer_ds = load_breast_cancer()
X = cancer_ds.data
y = cancer_ds.target
feature_names = cancer_ds.feature_names
target_names = cancer_ds.target_names

X06 = X[:, 6].reshape(-1, 1)
X20 = X[:, 20].reshape(-1, 1)
X22 = X[:, 22].reshape(-1, 1)
X27 = X[:, 27].reshape(-1, 1)
X_new = np.hstack((X06, X20, X22, X27))
fname_new = np.array(
    [feature_names[6], feature_names[20], feature_names[22], feature_names[27]])

df = pd.DataFrame(X_new, columns=fname_new)

df['target'] = cancer_ds.target
df.loc[df['target']==0, 'target'] = "malignant"
df.loc[df['target']==1, 'target'] = "benign"

g = sns.pairplot(df, hue='target', plot_kws={'alpha':0.5})

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(X06[y==0], X20[y==0], X27[y==0], alpha=0.5, label="malignant")
ax.scatter(X06[y==1], X20[y==1], X27[y==1], alpha=0.5, label="benign")
ax.legend()

plt.show()

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sns

from sklearn.datasets import load_breast_cancer

from mpl_toolkits.mplot3d import Axes3D

cancer_ds = load_breast_cancer()

X = cancer_ds.data

y = cancer_ds.target

feature_names = cancer_ds.feature_names

target_names = cancer_ds.target_names

X06 = X[:, 6].reshape(-1, 1)

X20 = X[:, 20].reshape(-1, 1)

X22 = X[:, 22].reshape(-1, 1)

X27 = X[:, 27].reshape(-1, 1)

X_new = np.hstack((X06, X20, X22, X27))

fname_new = np.array(

[feature_names[6], feature_names[20], feature_names[22], feature_names[27]])

df = pd.DataFrame(X_new, columns=fname_new)

df['target'] = cancer_ds.target

df.loc[df['target']==0, 'target'] = "malignant"

df.loc[df['target']==1, 'target'] = "benign"

g = sns.pairplot(df, hue='target', plot_kws={'alpha':0.5})

fig = plt.figure()

ax = fig.add_subplot(111, projection='3d')

ax.scatter(X06[y==0], X20[y==0], X27[y==0], alpha=0.5, label="malignant")

ax.scatter(X06[y==1], X20[y==1], X27[y==1], alpha=0.5, label="benign")

ax.legend()

plt.show()

Breast cancer wisconsinデータセット

2020-03-20 / tau / コメントする

概要

breast cancerデータはUCIの機械学習リポジトリ―にあるBreast Cancer Wisconsin (Diagnostic) Data Setのコピーで、乳腺腫瘤の穿刺吸引細胞診(fine needle aspirate (FNA) of a breast mass)のデジタル画像から計算されたデータ。

乳癌に関する細胞テストの様々な数値と、その結果のデータセット。569人の被検者の複数の腫瘤に関する細胞診の結果得られた30個の特徴量と、各被験者の診断結果（悪性／良性：benign/malignant）が格納されている。

ここではPythonのscikit-learnにあるbreast_cancerデータの使い方をまとめる。

データの取得とデータ構造

Pythonで扱う場合、scikit-learnのdatasetsモジュールにあるload_breast_cancer()でデータを取得できる。データはBunchクラスのオブジェクト。

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

for key, value in zip(cancer_ds.keys(), cancer_ds.values()):
    print("{}:\n{}\n".format(key, value))

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

for key, value in zip(cancer_ds.keys(), cancer_ds.values()):

print("{}:\n{}\n".format(key, value))

データの構造は辞書型で、569人の細胞診の結果に関する30個の特徴量をレコードとしたの配列、各腫瘤の診断結果など。

data:
[[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]
 [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]
 [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]
 ...
 [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]
 [2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]
 [7.760e+00 2.454e+01 4.792e+01 ... 0.000e+00 2.871e-01 7.039e-02]]

target:
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 1 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 0 1 0 0 1 1 1 1 0 1 0 0
 1 0 1 0 0 1 1 1 0 0 1 0 0 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 0 1 1
 .....
 1 1 1 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 0 0
 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 0 0 0 0 0 0 1]

target_names:
['malignant' 'benign']

DESCR:
.. _breast_cancer_dataset:

Breast cancer wisconsin (diagnostic) dataset
--------------------------------------------

**Data Set Characteristics:**

    :Number of Instances: 569

    :Number of Attributes: 30 numeric, predictive attributes and the class

    :Attribute Information:
        - radius (mean of distances from center to points on the perimeter)
        - texture (standard deviation of gray-scale values)
        - perimeter
        - area
        - smoothness (local variation in radius lengths)
        - compactness (perimeter^2 / area - 1.0)
        - concavity (severity of concave portions of the contour)
        - concave points (number of concave portions of the contour)
        - symmetry 
        - fractal dimension ("coastline approximation" - 1)

        The mean, standard error, and "worst" or largest (mean of the three
        largest values) of these features were computed for each image,
        resulting in 30 features.  For instance, field 3 is Mean Radius, field
        13 is Radius SE, field 23 is Worst Radius.

        - class:
                - WDBC-Malignant
                - WDBC-Benign

    :Summary Statistics:

    ===================================== ====== ======
                                           Min    Max
    ===================================== ====== ======
    radius (mean):                        6.981  28.11
    texture (mean):                       9.71   39.28
    perimeter (mean):                     43.79  188.5
    area (mean):                          143.5  2501.0
    smoothness (mean):                    0.053  0.163
    compactness (mean):                   0.019  0.345
    concavity (mean):                     0.0    0.427
    concave points (mean):                0.0    0.201
    symmetry (mean):                      0.106  0.304
    fractal dimension (mean):             0.05   0.097
    radius (standard error):              0.112  2.873
    texture (standard error):             0.36   4.885
    perimeter (standard error):           0.757  21.98
    area (standard error):                6.802  542.2
    smoothness (standard error):          0.002  0.031
    compactness (standard error):         0.002  0.135
    concavity (standard error):           0.0    0.396
    concave points (standard error):      0.0    0.053
    symmetry (standard error):            0.008  0.079
    fractal dimension (standard error):   0.001  0.03
    radius (worst):                       7.93   36.04
    texture (worst):                      12.02  49.54
    perimeter (worst):                    50.41  251.2
    area (worst):                         185.2  4254.0
    smoothness (worst):                   0.071  0.223
    compactness (worst):                  0.027  1.058
    concavity (worst):                    0.0    1.252
    concave points (worst):               0.0    0.291
    symmetry (worst):                     0.156  0.664
    fractal dimension (worst):            0.055  0.208
    ===================================== ====== ======

    :Missing Attribute Values: None

    :Class Distribution: 212 - Malignant, 357 - Benign

    :Creator:  Dr. William H. Wolberg, W. Nick Street, Olvi L. Mangasarian

    :Donor: Nick Street

    :Date: November, 1995

This is a copy of UCI ML Breast Cancer Wisconsin (Diagnostic) datasets.
https://goo.gl/U2Uwz2

Features are computed from a digitized image of a fine needle
aspirate (FNA) of a breast mass.  They describe
characteristics of the cell nuclei present in the image.

Separating plane described above was obtained using
Multisurface Method-Tree (MSM-T) [K. P. Bennett, "Decision Tree
Construction Via Linear Programming." Proceedings of the 4th
Midwest Artificial Intelligence and Cognitive Science Society,
pp. 97-101, 1992], a classification method which uses linear
programming to construct a decision tree.  Relevant features
were selected using an exhaustive search in the space of 1-4
features and 1-3 separating planes.

The actual linear program used to obtain the separating plane
in the 3-dimensional space is that described in:
[K. P. Bennett and O. L. Mangasarian: "Robust Linear
Programming Discrimination of Two Linearly Inseparable Sets",
Optimization Methods and Software 1, 1992, 23-34].

This database is also available through the UW CS ftp server:

ftp ftp.cs.wisc.edu
cd math-prog/cpo-dataset/machine-learn/WDBC/

.. topic:: References

   - W.N. Street, W.H. Wolberg and O.L. Mangasarian. Nuclear feature extraction 
     for breast tumor diagnosis. IS&T/SPIE 1993 International Symposium on 
     Electronic Imaging: Science and Technology, volume 1905, pages 861-870,
     San Jose, CA, 1993.
   - O.L. Mangasarian, W.N. Street and W.H. Wolberg. Breast cancer diagnosis and 
     prognosis via linear programming. Operations Research, 43(4), pages 570-577, 
     July-August 1995.
   - W.H. Wolberg, W.N. Street, and O.L. Mangasarian. Machine learning techniques
     to diagnose breast cancer from fine-needle aspirates. Cancer Letters 77 (1994) 
     163-171.

feature_names:
['mean radius' 'mean texture' 'mean perimeter' 'mean area'
 'mean smoothness' 'mean compactness' 'mean concavity'
 'mean concave points' 'mean symmetry' 'mean fractal dimension'
 'radius error' 'texture error' 'perimeter error' 'area error'
 'smoothness error' 'compactness error' 'concavity error'
 'concave points error' 'symmetry error' 'fractal dimension error'
 'worst radius' 'worst texture' 'worst perimeter' 'worst area'
 'worst smoothness' 'worst compactness' 'worst concavity'
 'worst concave points' 'worst symmetry' 'worst fractal dimension']

filename:
C:\Users\tomo\AppData\Local\Programs\Python\Python37-32\lib\site-packages\sklearn\datasets\data\breast_cancer.csv

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

data:

[[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]

[2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]

[1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]

...

[1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]

[2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]

[7.760e+00 2.454e+01 4.792e+01 ... 0.000e+00 2.871e-01 7.039e-02]]

target:

[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

1 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 0 1 0 0 1 1 1 1 0 1 0 0

1 0 1 0 0 1 1 1 0 0 1 0 0 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 0 1 1

.....

1 1 1 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 0 0

1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 0 0 0 0 0 0 1]

target_names:

['malignant' 'benign']

DESCR:

.. _breast_cancer_dataset:

Breast cancer wisconsin (diagnostic) dataset

--------------------------------------------

**Data Set Characteristics:**

:Number of Instances: 569

:Number of Attributes: 30 numeric, predictive attributes and the class

:Attribute Information:

- radius (mean of distances from center to points on the perimeter)

- texture (standard deviation of gray-scale values)

- perimeter

- area

- smoothness (local variation in radius lengths)

- compactness (perimeter^2 / area - 1.0)

- concavity (severity of concave portions of the contour)

- concave points (number of concave portions of the contour)

- symmetry

- fractal dimension ("coastline approximation" - 1)

The mean, standard error, and "worst" or largest (mean of the three

largest values) of these features were computed for each image,

resulting in 30 features. For instance, field 3 is Mean Radius, field

13 is Radius SE, field 23 is Worst Radius.

- class:

- WDBC-Malignant

- WDBC-Benign

:Summary Statistics:

===================================== ====== ======

Min Max

===================================== ====== ======

radius (mean): 6.981 28.11

texture (mean): 9.71 39.28

perimeter (mean): 43.79 188.5

area (mean): 143.5 2501.0

smoothness (mean): 0.053 0.163

compactness (mean): 0.019 0.345

concavity (mean): 0.0 0.427

concave points (mean): 0.0 0.201

symmetry (mean): 0.106 0.304

fractal dimension (mean): 0.05 0.097

radius (standard error): 0.112 2.873

texture (standard error): 0.36 4.885

perimeter (standard error): 0.757 21.98

area (standard error): 6.802 542.2

smoothness (standard error): 0.002 0.031

compactness (standard error): 0.002 0.135

concavity (standard error): 0.0 0.396

concave points (standard error): 0.0 0.053

symmetry (standard error): 0.008 0.079

fractal dimension (standard error): 0.001 0.03

radius (worst): 7.93 36.04

texture (worst): 12.02 49.54

perimeter (worst): 50.41 251.2

area (worst): 185.2 4254.0

smoothness (worst): 0.071 0.223

compactness (worst): 0.027 1.058

concavity (worst): 0.0 1.252

concave points (worst): 0.0 0.291

symmetry (worst): 0.156 0.664

fractal dimension (worst): 0.055 0.208

===================================== ====== ======

:Missing Attribute Values: None

:Class Distribution: 212 - Malignant, 357 - Benign

:Creator: Dr. William H. Wolberg, W. Nick Street, Olvi L. Mangasarian

:Donor: Nick Street

:Date: November, 1995

This is a copy of UCI ML Breast Cancer Wisconsin (Diagnostic) datasets.

https://goo.gl/U2Uwz2

Features are computed from a digitized image of a fine needle

aspirate (FNA) of a breast mass. They describe

characteristics of the cell nuclei present in the image.

Separating plane described above was obtained using

Multisurface Method-Tree (MSM-T) [K. P. Bennett, "Decision Tree

Construction Via Linear Programming." Proceedings of the 4th

Midwest Artificial Intelligence and Cognitive Science Society,

pp. 97-101, 1992], a classification method which uses linear

programming to construct a decision tree. Relevant features

were selected using an exhaustive search in the space of 1-4

features and 1-3 separating planes.

The actual linear program used to obtain the separating plane

in the 3-dimensional space is that described in:

[K. P. Bennett and O. L. Mangasarian: "Robust Linear

Programming Discrimination of Two Linearly Inseparable Sets",

Optimization Methods and Software 1, 1992, 23-34].

This database is also available through the UW CS ftp server:

ftp ftp.cs.wisc.edu

cd math-prog/cpo-dataset/machine-learn/WDBC/

.. topic:: References

- W.N. Street, W.H. Wolberg and O.L. Mangasarian. Nuclear feature extraction

for breast tumor diagnosis. IS&T/SPIE 1993 International Symposium on

Electronic Imaging: Science and Technology, volume 1905, pages 861-870,

San Jose, CA, 1993.

- O.L. Mangasarian, W.N. Street and W.H. Wolberg. Breast cancer diagnosis and

prognosis via linear programming. Operations Research, 43(4), pages 570-577,

July-August 1995.

- W.H. Wolberg, W.N. Street, and O.L. Mangasarian. Machine learning techniques

to diagnose breast cancer from fine-needle aspirates. Cancer Letters 77 (1994)

163-171.

feature_names:

['mean radius' 'mean texture' 'mean perimeter' 'mean area'

'mean smoothness' 'mean compactness' 'mean concavity'

'mean concave points' 'mean symmetry' 'mean fractal dimension'

'radius error' 'texture error' 'perimeter error' 'area error'

'smoothness error' 'compactness error' 'concavity error'

'concave points error' 'symmetry error' 'fractal dimension error'

'worst radius' 'worst texture' 'worst perimeter' 'worst area'

'worst smoothness' 'worst compactness' 'worst concavity'

'worst concave points' 'worst symmetry' 'worst fractal dimension']

filename:

C:\Users\tomo\AppData\Local\Programs\Python\Python37-32\lib\site-packages\sklearn\datasets\data\breast_cancer.csv

データのキーは以下のようになっている。

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

print(cancer_ds.keys())

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

print(cancer_ds.keys())

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

データの内容

`'data'`～特徴量データセット

569人の細胞診結果に対する30個の特徴量のデータを格納した2次元配列。列のインデックス(0～29)が30個の特徴量に対応している。

'data': array([[1.799e+01, 1.038e+01, 1.228e+02, ..., 2.654e-01, 4.601e-01,
        1.189e-01],
       [2.057e+01, 1.777e+01, 1.329e+02, ..., 1.860e-01, 2.750e-01,
        8.902e-02],
       [1.969e+01, 2.125e+01, 1.300e+02, ..., 2.430e-01, 3.613e-01,
        8.758e-02],
       ...,
       [1.660e+01, 2.808e+01, 1.083e+02, ..., 1.418e-01, 2.218e-01,
        7.820e-02],
       [2.060e+01, 2.933e+01, 1.401e+02, ..., 2.650e-01, 4.087e-01,
        1.240e-01],
       [7.760e+00, 2.454e+01, 4.792e+01, ..., 0.000e+00, 2.871e-01,
        7.039e-02]])

'data': array([[1.799e+01, 1.038e+01, 1.228e+02, ..., 2.654e-01, 4.601e-01,

1.189e-01],

[2.057e+01, 1.777e+01, 1.329e+02, ..., 1.860e-01, 2.750e-01,

8.902e-02],

[1.969e+01, 2.125e+01, 1.300e+02, ..., 2.430e-01, 3.613e-01,

8.758e-02],

...,

[1.660e+01, 2.808e+01, 1.083e+02, ..., 1.418e-01, 2.218e-01,

7.820e-02],

[2.060e+01, 2.933e+01, 1.401e+02, ..., 2.650e-01, 4.087e-01,

1.240e-01],

[7.760e+00, 2.454e+01, 4.792e+01, ..., 0.000e+00, 2.871e-01,

7.039e-02]])

`'target'`～診断結果に対応したコード

各被検者の診断結果（悪性：malignant、良性：benign）を格納した0/1のコードの配列。569個の腫瘤に対応した1次元配列（0：悪性が212、1：良性が357）。

'target': array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0,
       0, 0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 1, 0, 0, 1, 1, 1, 1, 0, 1, 0, 0,
       .....
       1, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 0, 1, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1])

'target': array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1,

0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0,

0, 0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 1, 0, 0, 1, 1, 1, 1, 0, 1, 0, 0,

.....

1, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1,

1, 1, 1, 1, 1, 0, 1, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,

1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 1])

`'target_names'`～診断結果

診断結果、悪性(malignant)／良性(benign)が定義されている。。

'target_names': array(['malignant', 'benign'], dtype='<U9')

1	'target_names': array(['malignant', 'benign'], dtype='<U9')

診断結果とコードの関係は以下の通り。

malignant	0
benign	1

`'feature_names'`～特徴名

データの格納順はDESCRの後。細胞診の結果得られた30個の特徴量の名前。

腫瘤に関する以下の10の属性について、それぞれ平均(mean)、標準偏差(error)、最悪値(worst)の3種類、合計30の特性値に対する名前が格納されている。ここでworstは各属性に関する最大値となっている。

radius：半径（中心から外周までの平均）
texture：テクスチャ―のグレースケールの標準偏差
perimeter：外周長
area：面積
smoothness：中心から外周までの部分偏差
compactness：コンパクト性（外周長²÷面積－1.0）
concavity：コンターの凹部強度
concave points：コンターの凹点の数
symmetry：対称性
fractal dimension：フラクタル次元

 'feature_names': array(['mean radius', 'mean texture', 'mean perimeter', 'mean area',
       'mean smoothness', 'mean compactness', 'mean concavity',
       'mean concave points', 'mean symmetry', 'mean fractal dimension',
       'radius error', 'texture error', 'perimeter error', 'area error',
       'smoothness error', 'compactness error', 'concavity error',
       'concave points error', 'symmetry error',
       'fractal dimension error', 'worst radius', 'worst texture',
       'worst perimeter', 'worst area', 'worst smoothness',
       'worst compactness', 'worst concavity', 'worst concave points',
       'worst symmetry', 'worst fractal dimension'], dtype='<U23')

'feature_names': array(['mean radius', 'mean texture', 'mean perimeter', 'mean area',

'mean smoothness', 'mean compactness', 'mean concavity',

'mean concave points', 'mean symmetry', 'mean fractal dimension',

'radius error', 'texture error', 'perimeter error', 'area error',

'smoothness error', 'compactness error', 'concavity error',

'concave points error', 'symmetry error',

'fractal dimension error', 'worst radius', 'worst texture',

'worst perimeter', 'worst area', 'worst smoothness',

'worst compactness', 'worst concavity', 'worst concave points',

'worst symmetry', 'worst fractal dimension'], dtype='<U23')

特徴名とコードの関係は以下の通り。

	mean	error	worst
radius	0	10	20
texture	1	11	21
perimeter	2	12	22
area	3	13	23
smoothness	4	14	24
compactness	5	15	25
concavity	6	16	26
concave points	7	17	27
symmetry	8	18	28
fractal dimension	9	19	29

`'filename'`～ファイル名

これも格納順はDESCRの後で、CSVファイルの位置が示されている。1行目にはデータ数、特徴量数、特徴量名称が並んでおり、その後に569行のレコードに対する4列の特徴量と1列の診断結果データが格納されている。このファイルにはfeature_namesやDESCRに当たるデータは格納されていない。

'filename': 'C:...\\lib\\site-packages\\sklearn\\datasets\\data\\breast_cancer.csv'

1	'filename': 'C:...\\lib\\site-packages\\sklearn\\datasets\\data\\breast_cancer.csv'

`'DESCR'`～データセットの説明

データセットの説明。print(breast_ds_dataset['DESCR'])のようにprint文で整形表示される。

レコード数569個（悪性：212、良性：357）
属性は、30の数値属性とクラス
→predictiveの意味とclassが単数形なのがわからない

.. _breast_cancer_dataset:

Breast cancer wisconsin (diagnostic) dataset
--------------------------------------------

**Data Set Characteristics:**

    :Number of Instances: 569

    :Number of Attributes: 30 numeric, predictive attributes and the class

    :Attribute Information:
        - radius (mean of distances from center to points on the perimeter)
        - texture (standard deviation of gray-scale values)
        - perimeter
        - area
        - smoothness (local variation in radius lengths)
        - compactness (perimeter^2 / area - 1.0)
        - concavity (severity of concave portions of the contour)
        - concave points (number of concave portions of the contour)
        - symmetry 
        - fractal dimension ("coastline approximation" - 1)

        The mean, standard error, and "worst" or largest (mean of the three
        largest values) of these features were computed for each image,
        resulting in 30 features.  For instance, field 3 is Mean Radius, field
        13 is Radius SE, field 23 is Worst Radius.

        - class:
                - WDBC-Malignant
                - WDBC-Benign

    :Summary Statistics:

    ===================================== ====== ======
                                           Min    Max
    ===================================== ====== ======
    radius (mean):                        6.981  28.11
    texture (mean):                       9.71   39.28
    perimeter (mean):                     43.79  188.5
    area (mean):                          143.5  2501.0
    smoothness (mean):                    0.053  0.163
    compactness (mean):                   0.019  0.345
    concavity (mean):                     0.0    0.427
    concave points (mean):                0.0    0.201
    symmetry (mean):                      0.106  0.304
    fractal dimension (mean):             0.05   0.097
    radius (standard error):              0.112  2.873
    texture (standard error):             0.36   4.885
    perimeter (standard error):           0.757  21.98
    area (standard error):                6.802  542.2
    smoothness (standard error):          0.002  0.031
    compactness (standard error):         0.002  0.135
    concavity (standard error):           0.0    0.396
    concave points (standard error):      0.0    0.053
    symmetry (standard error):            0.008  0.079
    fractal dimension (standard error):   0.001  0.03
    radius (worst):                       7.93   36.04
    texture (worst):                      12.02  49.54
    perimeter (worst):                    50.41  251.2
    area (worst):                         185.2  4254.0
    smoothness (worst):                   0.071  0.223
    compactness (worst):                  0.027  1.058
    concavity (worst):                    0.0    1.252
    concave points (worst):               0.0    0.291
    symmetry (worst):                     0.156  0.664
    fractal dimension (worst):            0.055  0.208
    ===================================== ====== ======

    :Missing Attribute Values: None

    :Class Distribution: 212 - Malignant, 357 - Benign

    :Creator:  Dr. William H. Wolberg, W. Nick Street, Olvi L. Mangasarian

    :Donor: Nick Street

    :Date: November, 1995

This is a copy of UCI ML Breast Cancer Wisconsin (Diagnostic) datasets.
https://goo.gl/U2Uwz2

Features are computed from a digitized image of a fine needle
aspirate (FNA) of a breast mass.  They describe
characteristics of the cell nuclei present in the image.

Separating plane described above was obtained using
Multisurface Method-Tree (MSM-T) [K. P. Bennett, "Decision Tree
Construction Via Linear Programming." Proceedings of the 4th
Midwest Artificial Intelligence and Cognitive Science Society,
pp. 97-101, 1992], a classification method which uses linear
programming to construct a decision tree.  Relevant features
were selected using an exhaustive search in the space of 1-4
features and 1-3 separating planes.

The actual linear program used to obtain the separating plane
in the 3-dimensional space is that described in:
[K. P. Bennett and O. L. Mangasarian: "Robust Linear
Programming Discrimination of Two Linearly Inseparable Sets",
Optimization Methods and Software 1, 1992, 23-34].

This database is also available through the UW CS ftp server:

ftp ftp.cs.wisc.edu
cd math-prog/cpo-dataset/machine-learn/WDBC/

.. topic:: References

   - W.N. Street, W.H. Wolberg and O.L. Mangasarian. Nuclear feature extraction 
     for breast tumor diagnosis. IS&T/SPIE 1993 International Symposium on 
     Electronic Imaging: Science and Technology, volume 1905, pages 861-870,
     San Jose, CA, 1993.
   - O.L. Mangasarian, W.N. Street and W.H. Wolberg. Breast cancer diagnosis and 
     prognosis via linear programming. Operations Research, 43(4), pages 570-577, 
     July-August 1995.
   - W.H. Wolberg, W.N. Street, and O.L. Mangasarian. Machine learning techniques
     to diagnose breast cancer from fine-needle aspirates. Cancer Letters 77 (1994) 
     163-171.

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

.. _breast_cancer_dataset:

Breast cancer wisconsin (diagnostic) dataset

--------------------------------------------

**Data Set Characteristics:**

:Number of Instances: 569

:Number of Attributes: 30 numeric, predictive attributes and the class

:Attribute Information:

- radius (mean of distances from center to points on the perimeter)

- texture (standard deviation of gray-scale values)

- perimeter

- area

- smoothness (local variation in radius lengths)

- compactness (perimeter^2 / area - 1.0)

- concavity (severity of concave portions of the contour)

- concave points (number of concave portions of the contour)

- symmetry

- fractal dimension ("coastline approximation" - 1)

The mean, standard error, and "worst" or largest (mean of the three

largest values) of these features were computed for each image,

resulting in 30 features. For instance, field 3 is Mean Radius, field

13 is Radius SE, field 23 is Worst Radius.

- class:

- WDBC-Malignant

- WDBC-Benign

:Summary Statistics:

===================================== ====== ======

Min Max

===================================== ====== ======

radius (mean): 6.981 28.11

texture (mean): 9.71 39.28

perimeter (mean): 43.79 188.5

area (mean): 143.5 2501.0

smoothness (mean): 0.053 0.163

compactness (mean): 0.019 0.345

concavity (mean): 0.0 0.427

concave points (mean): 0.0 0.201

symmetry (mean): 0.106 0.304

fractal dimension (mean): 0.05 0.097

radius (standard error): 0.112 2.873

texture (standard error): 0.36 4.885

perimeter (standard error): 0.757 21.98

area (standard error): 6.802 542.2

smoothness (standard error): 0.002 0.031

compactness (standard error): 0.002 0.135

concavity (standard error): 0.0 0.396

concave points (standard error): 0.0 0.053

symmetry (standard error): 0.008 0.079

fractal dimension (standard error): 0.001 0.03

radius (worst): 7.93 36.04

texture (worst): 12.02 49.54

perimeter (worst): 50.41 251.2

area (worst): 185.2 4254.0

smoothness (worst): 0.071 0.223

compactness (worst): 0.027 1.058

concavity (worst): 0.0 1.252

concave points (worst): 0.0 0.291

symmetry (worst): 0.156 0.664

fractal dimension (worst): 0.055 0.208

===================================== ====== ======

:Missing Attribute Values: None

:Class Distribution: 212 - Malignant, 357 - Benign

:Creator: Dr. William H. Wolberg, W. Nick Street, Olvi L. Mangasarian

:Donor: Nick Street

:Date: November, 1995

This is a copy of UCI ML Breast Cancer Wisconsin (Diagnostic) datasets.

https://goo.gl/U2Uwz2

Features are computed from a digitized image of a fine needle

aspirate (FNA) of a breast mass. They describe

characteristics of the cell nuclei present in the image.

Separating plane described above was obtained using

Multisurface Method-Tree (MSM-T) [K. P. Bennett, "Decision Tree

Construction Via Linear Programming." Proceedings of the 4th

Midwest Artificial Intelligence and Cognitive Science Society,

pp. 97-101, 1992], a classification method which uses linear

programming to construct a decision tree. Relevant features

were selected using an exhaustive search in the space of 1-4

features and 1-3 separating planes.

The actual linear program used to obtain the separating plane

in the 3-dimensional space is that described in:

[K. P. Bennett and O. L. Mangasarian: "Robust Linear

Programming Discrimination of Two Linearly Inseparable Sets",

Optimization Methods and Software 1, 1992, 23-34].

This database is also available through the UW CS ftp server:

ftp ftp.cs.wisc.edu

cd math-prog/cpo-dataset/machine-learn/WDBC/

.. topic:: References

- W.N. Street, W.H. Wolberg and O.L. Mangasarian. Nuclear feature extraction

for breast tumor diagnosis. IS&T/SPIE 1993 International Symposium on

Electronic Imaging: Science and Technology, volume 1905, pages 861-870,

San Jose, CA, 1993.

- O.L. Mangasarian, W.N. Street and W.H. Wolberg. Breast cancer diagnosis and

prognosis via linear programming. Operations Research, 43(4), pages 570-577,

July-August 1995.

- W.H. Wolberg, W.N. Street, and O.L. Mangasarian. Machine learning techniques

to diagnose breast cancer from fine-needle aspirates. Cancer Letters 77 (1994)

163-171.

データの利用

データの取得方法

breast_cancerデータセットから各データを取り出すのに、以下の2つの方法がある。

辞書のキーを使って呼び出す（例：breast_cancer_dataset['DESCR']）
キーの文字列をプロパティーに指定する（例：breast_cancer_dataset.DESCR）

全レコードの特徴量データの取得

'data'から、569のレコードに関する30の特徴量が569行30列の2次元配列で得られる。30の特徴量は'feature_names'の30の特徴名に対応している。

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

print(cancer_ds.data)

# [[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]
#  [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]
#  [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]
#  ...
#  [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]
#  [2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]
#  [7.760e+00 2.454e+01 4.792e+01 ... 0.000e+00 2.871e-01 7.039e-02]]

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

print(cancer_ds.data)

# [[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]

# [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]

# [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]

# ...

# [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]

# [2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]

# [7.760e+00 2.454e+01 4.792e+01 ... 0.000e+00 2.871e-01 7.039e-02]]

特定の特徴量のデータのみ取得

特定の特徴量に関する全レコードのデータを取り出すときにはX[:, n]の形で指定する。

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

features = cancer_ds['feature_names']
X = cancer_ds['data']
n_feature = 10

feature = X[:, n_feature]

print("feature name : {}".format(features[n_feature]))
print("feature data :\n{}".format(feature))

# feature name : radius error
# feature data :
# [1.095  0.5435 0.7456 0.4956 0.7572 0.3345 0.4467 0.5835 0.3063 0.2976
#  0.3795 0.5058 0.9555 0.4033 0.2121 0.37   0.4727 0.5692 0.7582 0.2699
#  0.1852 0.2773 0.4388 0.6917 0.8068 1.046  0.2545 0.8529 0.439  0.6003
#  .....
#  0.2784 0.2542 0.3031 0.2351 0.272  0.346  0.2104 0.1144 0.2957 0.5196
#  0.3163 0.28   0.2409 0.3013 0.2116 0.2199 0.2441 0.5375 0.2254 0.2388
#  0.3645 0.3141 0.2602 0.9622 1.176  0.7655 0.4564 0.726  0.3857]

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

features = cancer_ds['feature_names']

X = cancer_ds['data']

n_feature = 10

feature = X[:, n_feature]

print("feature name : {}".format(features[n_feature]))

print("feature data :\n{}".format(feature))

# feature name : radius error

# feature data :

# [1.095 0.5435 0.7456 0.4956 0.7572 0.3345 0.4467 0.5835 0.3063 0.2976

# 0.3795 0.5058 0.9555 0.4033 0.2121 0.37 0.4727 0.5692 0.7582 0.2699

# 0.1852 0.2773 0.4388 0.6917 0.8068 1.046 0.2545 0.8529 0.439 0.6003

# .....

# 0.2784 0.2542 0.3031 0.2351 0.272 0.346 0.2104 0.1144 0.2957 0.5196

# 0.3163 0.28 0.2409 0.3013 0.2116 0.2199 0.2441 0.5375 0.2254 0.2388

# 0.3645 0.3141 0.2602 0.9622 1.176 0.7655 0.4564 0.726 0.3857]

特定のクラスのデータのみ抽出

特定のクラス（この場合は診断結果）のレコードのみを抽出する方法。ndarrayの条件による要素抽出を使う。

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

targets = cancer_ds['target_names']
X = cancer_ds['data']
y = cancer_ds['target']

n_class = 0
data_0 = X[:, n_class]

print("data for class {}:\n{}".format(targets[n_class], X[y==n_class]))

# data for class malignant:
# [[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]
#  [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]
#  [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]
#  ...
#  [2.013e+01 2.825e+01 1.312e+02 ... 1.628e-01 2.572e-01 6.637e-02]
#  [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]
 [2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]]

from sklearn.datasets import load_breast_cancer

cancer_ds = load_breast_cancer()

targets = cancer_ds['target_names']

X = cancer_ds['data']

y = cancer_ds['target']

n_class = 0

data_0 = X[:, n_class]

print("data for class {}:\n{}".format(targets[n_class], X[y==n_class]))

# data for class malignant:

# [[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01]

# [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02]

# [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02]

# ...

# [2.013e+01 2.825e+01 1.312e+02 ... 1.628e-01 2.572e-01 6.637e-02]

# [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02]

[2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01]]

k-最近傍法 – クラス分類

2020-03-16 / tau / コメントする

概要

k-最近傍法(k nearest neighbors: knn)によるクラス分類は、テストデータの近傍の訓練データからテストデータのクラスを決定する。その手法は単純で、特段の学習処理はせず、訓練データの特徴量とクラスを記憶するのみで、テストデータが与えられたときに近傍点からクラスを決定する。手順は以下の通り。

特徴量とクラス分類の訓練データセットを記憶する
テストデータが与えられたら、特徴量空間の中で近傍点を選ぶ
近傍点のクラスからテストデータのクラスを決定する

パラメーターは近傍点の数で、1以上の自然数を設定できる。

利用方法

scikkit-learnのKNeighborsClassifierクラスの利用方法は以下の通り。

sklearn.neighborsからKNeighborsClassifierをインポート
コンストラクターの引数に近傍点数n_neighborsを指定して、KNeighborsClassifierのインスタンスを生成
fit()メソッドに訓練データの特徴量と属性値を与えて学習
predict()メソッドにテストデータの特徴量を指定して、属性値を予測
必要に応じて、kneighbors()メソッドでテストデータの近傍点情報を取得

コンストラクターには、通常n_neighborsで近傍点を指定する。デフォルトはn_neighbors=5。

KNeighborsClassifier(n_neighbors=n): nは近傍点の数。この他の引数に、近傍点を発見するアルゴリズムなどが指定できるようだ。

fit()メソッドに与える訓練データは、特徴量セットと属性値の2つ。

fit(X, y): Xは訓練データセットの特徴量データで、データ数×特徴量数の2次元配列。yは訓練データセットのクラスデータで要素数はデータ数に等しい

テストデータの属性値の予測は、predict()メソッドにテストデータの特徴量を与える。

y = predict(X): Xはテストデータの特徴量データで、データ数×特徴量数の2次元配列。戻り値yは予測されたクラスデータで要素数はデータ数に等しい。

テストデータに対する近傍点の情報を、kneighbors()メソッドで得ることができる。

neigh_dist, neigh_ind = kneighbors(X): X_testはテストデータの特徴量データで、データ数×特徴量数の2次元配列。戻り値y_testは予測された属性値データで要素数はデータ数に等しい。

neigh_dist, neigh_ind = kneighbors(X): テストデータの特徴量Xを引数に与え、近傍点に関する情報を得る。neigh_distは各テストデータから各近傍点までの距離、neigh_indは各テストデータに対する各近傍点のインデックス。いずれも2次元の配列で、テストデータ数×近傍点数の2次元配列となっている。

実行例

以下の例では、n_neighbors=2としてKNeighborsClassifierのインスタンスを準備している。

これに対してfit()メソッドで、2つの特徴量とそれに対するクラス値を持つ訓練データを6個与えている。特徴量データX_trainは行数がデータ数、列数が特徴量の数となる2次元配列を想定している。また属性値y_trainは訓練データ数と同じ要素数の1次元配列。

特徴量1	特徴量2	クラス値
-2	-1	0
-1	-2	0
-0.5	-0.5	0
0.5	0.5	1
1	2	1
2	1	1

これらの訓練データに対して、テストデータの特徴量X_testとして(-0.5, -1.5)、(1, 0)の2つを与えた時の出力を見てみる。

import numpy as np
from sklearn.neighbors import KNeighborsClassifier

X_train = np.array([
    [-2, -1],
    [-1, -2],
    [-0.5, -0.5],
    [0.5, 0.5],
    [1, 2],
    [2, 1]
])
y_train = np.array([0, 0, 0, 1, 1, 1])

clf = KNeighborsClassifier(n_neighbors=3)
clf.fit(X_train, y_train)

X_test = np.array([[-0.5, -1.5], [1, 0]])
y_pred = clf.predict(X_test)

neigh_dist, neigh_ind = clf.kneighbors(X=X_test)

print("X_train=\n{}".format(X_train))
print("y_train={}".format(y_train))
print("X_test=\n{}".format(X_test))
print("y_pred={}".format(y_pred))
print("neighbors' distance=\n{}".format(neigh_dist))
print("neighbors' indicies=\n{}".format(neigh_ind))

import numpy as np

from sklearn.neighbors import KNeighborsClassifier

X_train = np.array([

[-2, -1],

[-1, -2],

[-0.5, -0.5],

[0.5, 0.5],

[1, 2],

[2, 1]

])

y_train = np.array([0, 0, 0, 1, 1, 1])

clf = KNeighborsClassifier(n_neighbors=3)

clf.fit(X_train, y_train)

X_test = np.array([[-0.5, -1.5], [1, 0]])

y_pred = clf.predict(X_test)

neigh_dist, neigh_ind = clf.kneighbors(X=X_test)

print("X_train=\n{}".format(X_train))

print("y_train={}".format(y_train))

print("X_test=\n{}".format(X_test))

print("y_pred={}".format(y_pred))

print("neighbors' distance=\n{}".format(neigh_dist))

print("neighbors' indicies=\n{}".format(neigh_ind))

このコードの実行結果は以下の通り。

X_train=
[[-2.  -1. ]
 [-1.  -2. ]
 [-0.5 -0.5]
 [ 0.5  0.5]
 [ 1.   2. ]
 [ 2.   1. ]]
y_train=[0 0 0 1 1 1]
X_test=
[[-0.5 -1.5]
 [ 1.   0. ]]
y_pred=[0 1]
neighbors' distance=
[[0.70710678 1.         1.58113883]
 [0.70710678 1.41421356 1.58113883]]
neighbors' indicies=
[[1 2 0]
 [3 5 2]]

X_train=

[[-2. -1. ]

[-1. -2. ]

[-0.5 -0.5]

[ 0.5 0.5]

[ 1. 2. ]

[ 2. 1. ]]

y_train=[0 0 0 1 1 1]

X_test=

[[-0.5 -1.5]

[ 1. 0. ]]

y_pred=[0 1]

neighbors' distance=

[[0.70710678 1. 1.58113883]

[0.70710678 1.41421356 1.58113883]]

neighbors' indicies=

[[1 2 0]

[3 5 2]]

属性値の予測結果については、2つのテストデータに対して2つのクラス値0と1が返されている。

kneighbors()メソッドの戻り値から、1つ目のテストデータにはインデックスが1, 2, 0の3つの点とそれぞれへの距離0.7071, 1, 1.5811が、2つ目のテストデータにはインデックスが3, 5, 2の点とそれぞれへの距離0.7071, 1.4142, 1.5811が得られる。

1つ目のテストデータ(-0.5, -1.5)からの距離
- X_train[1]=(-1, -2)→ $\sqrt{(-0.5)^2+(-0.5)^2}\approx 0.7071$
- X_train[2]=(-0.5, -0.5)→ $\sqrt{0^2+(-1)^2} = 1$
- X_train[0]=(-2, -1)→ $\sqrt{(-1.5)^2+0.5^2} \approx 1.5811$
2つ目のテストデータ(1, 0)からの距離
- X_train[3]=(0.5, 0.5)→ $\sqrt{(-0.5)^2+0.5^2}\approx 0.7071$
- X_train[5]=(2, 1)→ $\sqrt{1^2+1^2}\approx 1.4142$
- X_train[2]=(-0.5, -0.5)→ $\sqrt{(-1.5)^2+(-0.5)^2} \approx 1.5811$

y_predは、テストデータごとに2つの近傍点のクラス値から多数決でクラス値を決定している。

1つ目のテストデータの属性値
- y_train[1]=0、y_train[2]=0、y_train[0]=0の多数決→0
2つ目のテストデータの属性値
- y_train[3]=1、y_train[5]=1、y_train[2]=0の多数決→1

この様子を特徴量平面上に描いたのが以下の図である。各点の色は、各データのクラスを示していて、下方の点は3つの近傍点のクラスが全て0なのでテストデータのクラスも0、右方の点は近傍点のうち2つがクラス1で1つがクラス0なのでテストデータのクラスは多数決で1となっている様子がわかる。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier

X_train = np.array([
    [-2, -1],
    [-1, -2],
    [-0.5, -0.5],
    [0.5, 0.5],
    [1, 2],
    [2, 1]
])
y_train = np.array([0, 0, 0, 1, 1, 1])

clf = KNeighborsClassifier(n_neighbors=3)
clf.fit(X_train, y_train)

X_test = np.array([[-0.5, -1.5], [1, 0]])
y_pred = clf.predict(X_test)

neigh_dist, neigh_ind = clf.kneighbors(X=X_test)

fig, ax = plt.subplots()

X0 = X_train[y_train==0]
X1 = X_train[y_train==1]

ax.scatter(X0[:, 0], X0[:, 1], label="class-0")
ax.scatter(X1[:, 0], X1[:, 1], label="class-1")
ax.scatter(X_test[:, 0], X_test[:, 1], marker='*', s=120, label="Test data")

for tests, ind in zip(X_test, neigh_ind):
    for neigh in ind:
        ax.plot(
            [tests[0], X_train[neigh][0]], [tests[1], X_train[neigh][1]],
            color='k', linestyle='dotted')

ax.set_xlabel("feature 0")
ax.set_xlabel("feature 1")

ax.legend(loc='upper left')

plt.show()

import numpy as np

import matplotlib.pyplot as plt

from sklearn.neighbors import KNeighborsClassifier

X_train = np.array([

[-2, -1],

[-1, -2],

[-0.5, -0.5],

[0.5, 0.5],

[1, 2],

[2, 1]

])

y_train = np.array([0, 0, 0, 1, 1, 1])

clf = KNeighborsClassifier(n_neighbors=3)

clf.fit(X_train, y_train)

X_test = np.array([[-0.5, -1.5], [1, 0]])

y_pred = clf.predict(X_test)

neigh_dist, neigh_ind = clf.kneighbors(X=X_test)

fig, ax = plt.subplots()

X0 = X_train[y_train==0]

X1 = X_train[y_train==1]

ax.scatter(X0[:, 0], X0[:, 1], label="class-0")

ax.scatter(X1[:, 0], X1[:, 1], label="class-1")

ax.scatter(X_test[:, 0], X_test[:, 1], marker='*', s=120, label="Test data")

for tests, ind in zip(X_test, neigh_ind):

for neigh in ind:

ax.plot(

[tests[0], X_train[neigh][0]], [tests[1], X_train[neigh][1]],

color='k', linestyle='dotted')

ax.set_xlabel("feature 0")

ax.set_xlabel("feature 1")

ax.legend(loc='upper left')

plt.show()

各種データに対する適用例

forgeデータセット

2020-03-15 / tau / コメントする

概要

forgeデータセットは、”Pythonではじめる機械学習”(O’REILLY)中で用いられる架空のデータセットである。

その内容は、2クラスに分類された26個のデータで、2つの特徴量を想定した2次元配列データと各データのクラス分類を示したターゲットデータが得られる。

利用方法

mglearnパッケージから、たとえば以下の方法で利用する。

from mglearn.datasets import make_forge

X, y = make_forge()

from mglearn.datasets import make_forge

X, y = make_forge()

実行するとdeprecatedの警告が出るが、放置してもよいらしい。

内容

特徴量データ

2つの特徴量を持った配列が26個、2次元配列の形で得られる。

[[ 9.96346605,  4.59676542],
 [11.0329545,  -0.16816717],
 [11.54155807,  5.21116083],
 [ 8.69289001,  1.54322016],
 [ 8.1062269,   4.28695977],
 [ 8.30988863,  4.80623966],
 [11.93027136,  4.64866327],
 [ 9.67284681, -0.20283165],
 [ 8.34810316,  5.13415623],
 [ 8.67494727,  4.47573059],
 [ 9.17748385,  5.09283177],
 [10.24028948,  2.45544401],
 [ 8.68937095,  1.48709629],
 [ 8.92229526, -0.63993225],
 [ 9.49123469,  4.33224792],
 [ 9.25694192,  5.13284858],
 [ 7.99815287,  4.8525051 ],
 [ 8.18378052,  1.29564214],
 [ 8.7337095,   2.49162431],
 [ 9.32298256,  5.09840649],
 [10.06393839,  0.99078055],
 [ 9.50048972, -0.26430318],
 [ 8.34468785,  1.63824349],
 [ 9.50169345,  1.93824624],
 [ 9.15072323,  5.49832246],
 [11.563957,    1.3389402 ]]

[[ 9.96346605, 4.59676542],

[11.0329545, -0.16816717],

[11.54155807, 5.21116083],

[ 8.69289001, 1.54322016],

[ 8.1062269, 4.28695977],

[ 8.30988863, 4.80623966],

[11.93027136, 4.64866327],

[ 9.67284681, -0.20283165],

[ 8.34810316, 5.13415623],

[ 8.67494727, 4.47573059],

[ 9.17748385, 5.09283177],

[10.24028948, 2.45544401],

[ 8.68937095, 1.48709629],

[ 8.92229526, -0.63993225],

[ 9.49123469, 4.33224792],

[ 9.25694192, 5.13284858],

[ 7.99815287, 4.8525051 ],

[ 8.18378052, 1.29564214],

[ 8.7337095, 2.49162431],

[ 9.32298256, 5.09840649],

[10.06393839, 0.99078055],

[ 9.50048972, -0.26430318],

[ 8.34468785, 1.63824349],

[ 9.50169345, 1.93824624],

[ 9.15072323, 5.49832246],

[11.563957, 1.3389402 ]]

ターゲットデータ

26個のデータに対する2つのクラス(0, 1)が定められた1次元配列で、クラス0、1がそれぞれ13個ずつとなっている。

[1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 1, 1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0]

1	[1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 1, 1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0]

データ総括

特徴量とクラス分類の組を、データ番号とともに整理すると以下の通り。

 0   9.9634661   4.5967654  1
 1  11.0329545  -0.1681672  0
 2  11.5415581   5.2111608  1
 3   8.6928900   1.5432202  0
 4   8.1062269   4.2869598  0
 5   8.3098886   4.8062397  1
 6  11.9302714   4.6486633  1
 7   9.6728468  -0.2028316  0
 8   8.3481032   5.1341562  1
 9   8.6749473   4.4757306  1
10   9.1774838   5.0928318  1
11  10.2402895   2.4554440  1
12   8.6893709   1.4870963  0
13   8.9222953  -0.6399323  0
14   9.4912347   4.3322479  1
15   9.2569419   5.1328486  1
16   7.9981529   4.8525051  1
17   8.1837805   1.2956421  0
18   8.7337095   2.4916243  0
19   9.3229826   5.0984065  1
20  10.0639384   0.9907806  0
21   9.5004897  -0.2643032  0
22   8.3446878   1.6382435  0
23   9.5016934   1.9382462  0
24   9.1507232   5.4983225  1
25  11.5639570   1.3389402  0

0 9.9634661 4.5967654 1

1 11.0329545 -0.1681672 0

2 11.5415581 5.2111608 1

3 8.6928900 1.5432202 0

4 8.1062269 4.2869598 0

5 8.3098886 4.8062397 1

6 11.9302714 4.6486633 1

7 9.6728468 -0.2028316 0

8 8.3481032 5.1341562 1

9 8.6749473 4.4757306 1

10 9.1774838 5.0928318 1

11 10.2402895 2.4554440 1

12 8.6893709 1.4870963 0

13 8.9222953 -0.6399323 0

14 9.4912347 4.3322479 1

15 9.2569419 5.1328486 1

16 7.9981529 4.8525051 1

17 8.1837805 1.2956421 0

18 8.7337095 2.4916243 0

19 9.3229826 5.0984065 1

20 10.0639384 0.9907806 0

21 9.5004897 -0.2643032 0

22 8.3446878 1.6382435 0

23 9.5016934 1.9382462 0

24 9.1507232 5.4983225 1

25 11.5639570 1.3389402 0

from mglearn.datasets import make_forge

X, y = make_forge()

for n, (Xw, yw) in enumerate(zip(X, y)):
    print("{:2d}  {:10.7f}  {:10.7f}  {}".format(n, Xw[0], Xw[1], yw))

from mglearn.datasets import make_forge

X, y = make_forge()

for n, (Xw, yw) in enumerate(zip(X, y)):

print("{:2d} {:10.7f} {:10.7f} {}".format(n, Xw[0], Xw[1], yw))

訓練データとテストデータの分割～train_test_split()

2020-03-14 / tau / コメントする

概要

scikit-learnのtrain_test_split()関数を使うと、与えたデータをいろいろな方法で訓練データとテストデータに切り分けてくれる。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.arange(1, 13)
print(x)
# [ 1  2  3  4  5  6  7  8  9 10 11 12]

print(train_test_split(x))
# [array([ 7,  2, 12,  5,  3,  9, 11,  8, 10]), array([1, 6, 4])]

x_train, x_test = train_test_split(x)

print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
# x_train:[ 6  1 12  7  3  2 11  5  4]
# x_test :[ 8  9 10]

import numpy as np

from sklearn.model_selection import train_test_split

x = np.arange(1, 13)

print(x)

# [ 1 2 3 4 5 6 7 8 9 10 11 12]

print(train_test_split(x))

# [array([ 7, 2, 12, 5, 3, 9, 11, 8, 10]), array([1, 6, 4])]

x_train, x_test = train_test_split(x)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[ 6 1 12 7 3 2 11 5 4]

# x_test :[ 8 9 10]

8行目で、train_test_split()に配列を与えた結果、それが2つの配列に分割されていることがわかる。

11行目では、その結果を訓練用、テスト用の配列として取得している。

デフォルトでtrain_test_split()は、テスト用データのサイズが与えた配列のサイズの0.25となるように配列を分割する（1つ目のサイズ：2つ目のサイズ＝3:1）。x_testのサイズが12×0.25=3、x_trainのサイズが9となっていることが確認できる。

乱数系列の固定

データの分割あたって、要素の選択はtrain_test_split()の実行ごとにランダムに行われるが、random_stateパラメーターを指定することで固定できる。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.arange(1, 13)

x_train, x_test = train_test_split(x, random_state=0)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
# x_train:[11  3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5]

x_train, x_test = train_test_split(x, random_state=0)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
# x_train:[11  3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5]

x_train, x_test = train_test_split(x, random_state=1)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
# x_train:[11  2  7  1  8 12 10  9  6]
# x_test :[3 4 5]

x_train, x_test = train_test_split(x, random_state=1)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
# x_train:[11  2  7  1  8 12 10  9  6]
# x_test :[3 4 5]

import numpy as np

from sklearn.model_selection import train_test_split

x = np.arange(1, 13)

x_train, x_test = train_test_split(x, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[11 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5]

x_train, x_test = train_test_split(x, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[11 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5]

x_train, x_test = train_test_split(x, random_state=1)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[11 2 7 1 8 12 10 9 6]

# x_test :[3 4 5]

x_train, x_test = train_test_split(x, random_state=1)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[11 2 7 1 8 12 10 9 6]

# x_test :[3 4 5]

データのサイズ

テストデータサイズの指定

テストデータのサイズはtest_sizeパラメーターで指定することができる。

以下の例では、テストデータの比率をデフォルトの0.25→0.3に変更しており、テストデータのサイズが4となっている（test_size=0.26としてもx_testのサイズが4になり、テストデータのサイズは切り上げで計算されている）。

比率によってデータサイズを指定する場合は0<test_size<1の実数で指定(0や1.0で指定するとエラー)

x_train, x_test = train_test_split(x, test_size=0.3, random_state=0)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))

# x_train:[ 3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5 11]

x_train, x_test = train_test_split(x, test_size=0.3, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[ 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5 11]

訓練データのサイズを比率ではなく実際のサイズ(要素数)で指定することもできる。その場合、test_sizeを1以上の整数で指定。

以下の例ではテストデータのサイズを4として指定している。

x_train, x_test = train_test_split(x, test_size=4, random_state=0)
print("y_train:{}".format(x_train))
print("y_test :{}".format(x_test))

# y_train:[ 3  9  2  8 10  4  1  6]
# y_test :[ 7 12  5 11]

x_train, x_test = train_test_split(x, test_size=4, random_state=0)

print("y_train:{}".format(x_train))

print("y_test :{}".format(x_test))

# y_train:[ 3 9 2 8 10 4 1 6]

# y_test :[ 7 12 5 11]

訓練データサイズの指定

train_sizeパラメーターで訓練データのサイズを指定することもできる。

以下の例ではtrain_size=0.8とし、訓練データサイズが9となっている（訓練データサイズの計算は切り下げで行われている）。

x_train, x_test = train_test_split(x, train_size=0.8, random_state=0)
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))

# x_train:[11  3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5]

x_train, x_test = train_test_split(x, train_size=0.8, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[11 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5]

訓練データサイズも要素数での指定が可能。

x_train, x_test = train_test_split(x, train_size=10, random_state=0)
print("x_train:{}".format(x_train))
print("y_test :{}".format(x_test))

# x_train:[ 5 11  3  9  2  8 10  4  1  6]
# y_test :[ 7 12]

x_train, x_test = train_test_split(x, train_size=10, random_state=0)

print("x_train:{}".format(x_train))

print("y_test :{}".format(x_test))

# x_train:[ 5 11 3 9 2 8 10 4 1 6]

# y_test :[ 7 12]

データ選択の内部手続

ここで、random_state=0としてtest_sizeやtrain_sizeを変化させたとき、テストデータの要素が現れる順番は変わらないということに気づいた。

x_train, x_test = train_test_split(x, test_size=0.2, random_state=0)
# x_train:[11  3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5]

x_train, x_test = train_test_split(x, test_size=0.3, random_state=0)
# x_train:[ 3  9  2  8 10  4  1  6]
# x_test :[ 7 12  5 11]

x_train, x_test = train_test_split(x, test_size=0.4, random_state=0)
# x_train:[ 9  2  8 10  4  1  6]
# x_test :[ 7 12  5 11  3]

x_train, x_test = train_test_split(x, train_size=9, random_state=0)
# x_train:[ 5 11  3  9  2  8 10  4  1  6]
# y_test :[ 7 12]

x_train, x_test = train_test_split(x, train_size=8, random_state=0)
# x_train:[11  3  9  2  8 10  4  1  6]
# y_test :[ 7 12  5]

x_train, x_test = train_test_split(x, train_size=7, random_state=0)
# x_train:[ 3  9  2  8 10  4  1  6]
# y_test :[ 7 12  5 11]

x_train, x_test = train_test_split(x, test_size=0.2, random_state=0)

# x_train:[11 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5]

x_train, x_test = train_test_split(x, test_size=0.3, random_state=0)

# x_train:[ 3 9 2 8 10 4 1 6]

# x_test :[ 7 12 5 11]

x_train, x_test = train_test_split(x, test_size=0.4, random_state=0)

# x_train:[ 9 2 8 10 4 1 6]

# x_test :[ 7 12 5 11 3]

x_train, x_test = train_test_split(x, train_size=9, random_state=0)

# x_train:[ 5 11 3 9 2 8 10 4 1 6]

# y_test :[ 7 12]

x_train, x_test = train_test_split(x, train_size=8, random_state=0)

# x_train:[11 3 9 2 8 10 4 1 6]

# y_test :[ 7 12 5]

x_train, x_test = train_test_split(x, train_size=7, random_state=0)

# x_train:[ 3 9 2 8 10 4 1 6]

# y_test :[ 7 12 5 11]

test_size/train_sizeのどちらで指定しても、また比率／要素数の何れで指定しても、常にテストデータの要素は7, 12, 5,…の順番で現れている。

これに対して訓練データの方は、テストデータの要素数が変わると変化するが、テストデータの結果が同じなら訓練データのパターンも同じ。

すなわちtrain_test_split()のサイズ指定は、どのように指定しても一旦テストデータの要素数に変換し、共通の手順でテストデータを選んでいっていると考えられる。

複数データの同時分割

train_test_split()は複数データを同時に分割することもできる。

以下の例では、二つの配列を引数として与えている。その結果は、与えた配列ごとに訓練データ、テストデータの順でタプルとして返される。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.arange(1, 9)
y = np.arange(11, 19)

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))
print("y_train:{}".format(y_train))
print("y_test :{}".format(y_test))

# x_train:[2 8 4 1 6 5]
# x_test :[7 3]
# y_train:[12 18 14 11 16 15]
# y_test :[17 13]

import numpy as np

from sklearn.model_selection import train_test_split

x = np.arange(1, 9)

y = np.arange(11, 19)

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

print("y_train:{}".format(y_train))

print("y_test :{}".format(y_test))

# x_train:[2 8 4 1 6 5]

# x_test :[7 3]

# y_train:[12 18 14 11 16 15]

# y_test :[17 13]

これが一般的な使い方で、複数の特徴量に関する個体のデータセットと各個体のクラスに関するデータを、同時に訓練データとテストデータに分割するときに用いられる。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.vstack((np.arange(1, 11), np.arange(11, 21))).T
print("original x:\n{}".format(x))

y = np.arange(21, 31)
print("original y:{}".format(y))

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

print("x_train:\n{}".format(x_train))
print("x_test :\n{}".format(x_test))
print("y_train:{}".format(y_train))
print("y_test :{}".format(y_test))

import numpy as np

from sklearn.model_selection import train_test_split

x = np.vstack((np.arange(1, 11), np.arange(11, 21))).T

print("original x:\n{}".format(x))

y = np.arange(21, 31)

print("original y:{}".format(y))

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)

print("x_train:\n{}".format(x_train))

print("x_test :\n{}".format(x_test))

print("y_train:{}".format(y_train))

print("y_test :{}".format(y_test))

元のデータは

original x:
[[ 1 11]
 [ 2 12]
 [ 3 13]
 [ 4 14]
 [ 5 15]
 [ 6 16]
 [ 7 17]
 [ 8 18]
 [ 9 19]
 [10 20]]
original y:[21 22 23 24 25 26 27 28 29 30]

original x:

[[ 1 11]

[ 2 12]

[ 3 13]

[ 4 14]

[ 5 15]

[ 6 16]

[ 7 17]

[ 8 18]

[ 9 19]

[10 20]]

original y:[21 22 23 24 25 26 27 28 29 30]

これを訓練データとテストデータに分割した結果は

x_train:
[[10 20]
 [ 2 12]
 [ 7 17]
 [ 8 18]
 [ 4 14]
 [ 1 11]
 [ 6 16]]
x_test :
[[ 3 13]
 [ 9 19]
 [ 5 15]]
y_train:[30 22 27 28 24 21 26]
y_test :[23 29 25]

x_train:

[[10 20]

[ 2 12]

[ 7 17]

[ 8 18]

[ 4 14]

[ 1 11]

[ 6 16]]

x_test :

[[ 3 13]

[ 9 19]

[ 5 15]]

y_train:[30 22 27 28 24 21 26]

y_test :[23 29 25]

`stratify`による層化(相似化)

train_test_split()による要素の選択はランダムに行われる。この場合、クラス分類のパターンが、元データ、訓練データ、テストデータで異なってくる。

以下の例では、元のデータの0と1の比率が1:2だが、訓練データでは1:4、テストデータでは2:1になっている。ケースによっては特定のクラスが極端に少ない／存在しないということも起こり得る。

import numpy as np
from sklearn.model_selection import train_test_split

y = np.array([0, 0, 0, 1, 1, 1, 1, 1])

y_train, y_test = train_test_split(y, test_size=3, random_state=0)
print("y_train:{}".format(y_train))
print("y_test :{}".format(y_test))

# y_train:[1 1 0 1 1]
# y_test :[1 0 0]

import numpy as np

from sklearn.model_selection import train_test_split

y = np.array([0, 0, 0, 1, 1, 1, 1, 1])

y_train, y_test = train_test_split(y, test_size=3, random_state=0)

print("y_train:{}".format(y_train))

print("y_test :{}".format(y_test))

# y_train:[1 1 0 1 1]

# y_test :[1 0 0]

そこで、stratifyパラメーターで配列を指定すると、その配列でのパターンと同じになるように訓練データとテストデータを分割してくれる。

以下の例では、先の配列を元の配列の0/1のパターンと相似になるように分割している。

y_train, y_test = train_test_split(y, test_size=3, stratify=y, random_state=0)
print("y_train:{}".format(y_train))
print("y_test :{}".format(y_test))

# y_train:[0 1 1 0 1]
# y_test :[1 1 0]

y_train, y_test = train_test_split(y, test_size=3, stratify=y, random_state=0)

print("y_train:{}".format(y_train))

print("y_test :{}".format(y_test))

# y_train:[0 1 1 0 1]

# y_test :[1 1 0]

次の例は、9個体の特徴量データxと各個体のクラス区分データyを、クラスの分布に沿って訓練データとテストデータに分割するイメージ。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.array([10, 10, 10, 11, 11, 11, 11, 11, 11])
y = np.array([0, 0, 0, 1, 1, 1, 1, 1, 1])

x_train, x_test, y_train, y_test =\
    train_test_split(x, y, test_size=3, stratify=y, random_state=0)
print("y_train:{}".format(y_train))
print("y_test :{}".format(y_test))
print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))

# y_train:[0 1 1 0 1 1]
# y_test :[1 1 0]
# x_train:[10 11 11 10 11 11]
# x_test :[11 11 10]

import numpy as np

from sklearn.model_selection import train_test_split

x = np.array([10, 10, 10, 11, 11, 11, 11, 11, 11])

y = np.array([0, 0, 0, 1, 1, 1, 1, 1, 1])

x_train, x_test, y_train, y_test =\

train_test_split(x, y, test_size=3, stratify=y, random_state=0)

print("y_train:{}".format(y_train))

print("y_test :{}".format(y_test))

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# y_train:[0 1 1 0 1 1]

# y_test :[1 1 0]

# x_train:[10 11 11 10 11 11]

# x_test :[11 11 10]

シャッフルの有無

デフォルトでtrain_test_split()は、データの分割にあたって要素の選択をランダムに行うが、shuffle=Falseを指定すると要素の順番を保持する。

import numpy as np
from sklearn.model_selection import train_test_split

x = np.arange(1, 13)

x_train, x_test = train_test_split(x, shuffle=False, random_state=0)

print("x_train:{}".format(x_train))
print("x_test :{}".format(x_test))

# x_train:[1 2 3 4 5 6 7 8 9]
# x_test :[10 11 12]

import numpy as np

from sklearn.model_selection import train_test_split

x = np.arange(1, 13)

x_train, x_test = train_test_split(x, shuffle=False, random_state=0)

print("x_train:{}".format(x_train))

print("x_test :{}".format(x_test))

# x_train:[1 2 3 4 5 6 7 8 9]

# x_test :[10 11 12]

irisデータ

2020-03-13 / tau / コメントする

irisデータの内容

irisデータの俯瞰

概要

利用方法

手順

パッケージのインポート

コンストラクター

訓練

予測

近傍点の情報

実行例

各種データに対する適用例

概要

利用方法

内容

手法の適用

概要

学習率曲線

概要

学習率曲線

概要

各特徴量と診断結果

2つの特徴量同士の関係

3つの特徴量の関係

概要

データの取得とデータ構造

データの内容

'data'～特徴量データセット

'target'～診断結果に対応したコード

'target_names'～診断結果

'feature_names'～特徴名

'filename'～ファイル名

'DESCR'～データセットの説明

データの利用

データの取得方法

全レコードの特徴量データの取得

特定の特徴量のデータのみ取得

特定のクラスのデータのみ抽出

概要

利用方法

実行例

各種データに対する適用例

概要

利用方法

内容

特徴量データ

ターゲットデータ

データ総括

概要

乱数系列の固定

データのサイズ

テストデータサイズの指定

訓練データサイズの指定

データ選択の内部手続

複数データの同時分割

stratifyによる層化(相似化)

シャッフルの有無

`'data'`～特徴量データセット

`'target'`～診断結果に対応したコード

`'target_names'`～診断結果

`'feature_names'`～特徴名

`'filename'`～ファイル名

`'DESCR'`～データセットの説明

`stratify`による層化(相似化)