Python – 配列要素の重複数を制限する

2020-11-24 / tau / コメントする

概要

文字で表現するとわかり難いが、要するに次のようなことを想定している。たとえば次のような1次元の配列があるとする。

import numpy as np

np.random.seed(0)
targets = np.random.randint(0, 5, 20)

print(targets)
# [4 0 3 3 3 1 3 2 4 0 0 4 2 1 0 1 1 0 1 4]

print(np.bincount(targets))
# [5 5 2 4 4]

import numpy as np

np.random.seed(0)

targets = np.random.randint(0, 5, 20)

print(targets)

# [4 0 3 3 3 1 3 2 4 0 0 4 2 1 0 1 1 0 1 4]

print(np.bincount(targets))

# [5 5 2 4 4]

この配列には20個の要素があり、0～4の数値がそれぞれ5個、5個、2個、2個、4個、4個、順不同で含まれている。

この配列において、各数値の数を最大でも3個以内となるように切り落としたい、というのが目標。

たとえば、機械学習の教師データの数がターゲットごとにばらついている場合、各ターゲットのデータ数をある程度の数以下に抑えたいときが想定される。

上の例で仮に早く出現した準から3つまでを残して後は捨てるとすれば、以下のような配列になる。

内容：4 0 3 3 3 1 3 2 4 0 0 4 2 1 0 1 1 0 1 4
個数：1 1 1 2 3 1 4 1 2 2 3 3 2 2 4 3 4 5 5 4

なお、単に1つの配列の要素を切り落とすだけでなく、これと対応する配列が別にあって、その要素についても同時に切り落とすことも想定する。これは、機械学習のターゲット配列でデータを制限するのに、これに紐づけられた画像データなどを格納した配列も同時に操作するイメージ。

手順

ターゲットごとのインデックスの取得

targetsの20個のデータのうちid=0について考える。targetsの要素のうち値が0のものは5個あり、それらのインデックスは(1, 9, 10, 14, 17)。同様にid=1についても5個あり、インデックスは(5, 13, 15, 16, 18)。

このようにしてid=0～4についてインデックスを書き出すと以下の通りになる。

0：1, 9, 10, 14, 17
1：5, 13, 15, 16, 18
2：7, 12
3：2, 3, 4, 6
4：0, 8, 11, 19

各idに対応する配列はnumpy.where()関数を用いて以下のように得られる。

for id in range(5):
    array = np.where(targets == id)[0]
    print("{}:{}".format(id, array))

# 0:[ 1  9 10 14 17]
# 1:[ 5 13 15 16 18]
# 2:[ 7 12]
# 3:[2 3 4 6]
# 4:[ 0  8 11 19]

for id in range(5):

array = np.where(targets == id)[0]

print("{}:{}".format(id, array))

# 0:[ 1 9 10 14 17]

# 1:[ 5 13 15 16 18]

# 2:[ 7 12]

# 3:[2 3 4 6]

# 4:[ 0 8 11 19]

上の例では、ループのidを0～4と変化させていくのにrange(5)を使っている。ところが一般的には、番号が連続して存在しているとは限らず、またその上限もわからない。

そこで、targetsに出てくる要素を重なりなく、かつ全て使うためにnumpy.unique()関数を使っている。unique()関数は引数の配列の要素の重複を除き、昇順・辞書順に並べてくれる。この引数にtargetsを渡して、要素の重なりを除けば、targets中の要素を重なりなく1つずつ参照できる。

print(np.unique(targets))
# [0 1 2 3 4]

for id in np.unique(targets):
    array = np.where(targets == id)[0]
    print("{}:{}".format(id, array))

# [ 1  9 10 14 17]
# [ 5 13 15 16 18]
# [ 7 12]
# [2 3 4 6]
# [ 0  8 11 19]

print(np.unique(targets))

# [0 1 2 3 4]

for id in np.unique(targets):

array = np.where(targets == id)[0]

print("{}:{}".format(id, array))

# [ 1 9 10 14 17]

# [ 5 13 15 16 18]

# [ 7 12]

# [2 3 4 6]

# [ 0 8 11 19]

取り出す要素の制限

次に、すべてのターゲットのデータ数が3個以下になるようにすることを考える。

これらのデータで各idの個数を3個以下にするのに、出現順位の早いものから3個を選び出すことを考える。

0：1, 9, 10, 14, 17
1：5, 13, 15, 16, 18
2：7, 12
3：2, 3, 4, 6
4：0, 8, 11, 19

各配列の最初の3個を取り出すには、各idに対応する配列の先頭から3個目までをスライスで取り出せばよい。

for id in np.unique(targets):
    array = np.where(targets == id)[0][:3]
    print("{}:{}".format(id, array))

# 0:[ 1  9 10]
# 1:[ 5 13 15]
# 2:[ 7 12]
# 3:[2 3 4]
# 4:[ 0  8 11]

for id in np.unique(targets):

array = np.where(targets == id)[0][:3]

print("{}:{}".format(id, array))

# 0:[ 1 9 10]

# 1:[ 5 13 15]

# 2:[ 7 12]

# 3:[2 3 4]

# 4:[ 0 8 11]

これで値の最大3個までとするのに取り出すべきtargets中のインデックスが得られた。

要素の抽出

targets配列の要素の個数を制限するには、上で絞り込まれたインデックスに対応する要素を残し、それ以外の要素を切り捨てる。そのためには、残すべきインデックス位置の値がTrue、その他のインデックス位置の値がFalseであるbool配列をつくり、これをtargetsの引数とすればよい。

この配列を例えばmaskという名前とすると、targetsと同じサイズですべての要素がFalseである配列としてmaskを準備し、先ほどの切り落とすべきインデックスの位置のみTrueにするとよい。

以下では、まず全要素がFalseでtargetsと同じサイズのbool配列を準備し、各idに対して3つ目までの要素の位置をTrue(1)としている。

ループの1回目で1、9、10番目がTrueになり、2回目で5、13、15番目がTrueに代わっていき、ループを重ねるごとに、取り出すべき要素の位置がTrueになっていることが確認できる。

なおbool配列の初期化では、Falseが数値の0と等価なため、numpy.zeros()関数を使っている。同じ理由で、numpy.where()でTrueをセットするときに、数値の1をセットしている。

mask = np.zeros(targets.size, dtype=np.bool)
print(mask)

# [False False False False False False False False False False False False
#  False False False False False False False False]

for target in np.unique(targets):
    mask[np.where(targets == target)[0][:3]] = 1
    print(mask)

# [False  True False False False False False False False  True  True False
#  False False False False False False False False]
# [False  True False False False  True False False False  True  True False
#  False  True False  True False False False False]
# [False  True False False False  True False  True False  True  True False
#   True  True False  True False False False False]
# [False  True  True  True  True  True False  True False  True  True False
#   True  True False  True False False False False]
# [ True  True  True  True  True  True False  True  True  True  True  True
#   True  True False  True False False False False]

mask = np.zeros(targets.size, dtype=np.bool)

print(mask)

# [False False False False False False False False False False False False

# False False False False False False False False]

for target in np.unique(targets):

mask[np.where(targets == target)[0][:3]] = 1

print(mask)

# [False True False False False False False False False True True False

# False False False False False False False False]

# [False True False False False True False False False True True False

# False True False True False False False False]

# [False True False False False True False True False True True False

# True True False True False False False False]

# [False True True True True True False True False True True False

# True True False True False False False False]

# [ True True True True True True False True True True True True

# True True False True False False False False]

最後に、このbool配列をtargetsに適用して、取り出すべき要素の配列を得る。

print(targets[mask])
# [4 0 3 3 3 1 2 4 0 0 4 2 1 1]

print(np.bincount(targets[mask]))
# [3 3 2 3 3]

print(targets[mask])

# [4 0 3 3 3 1 2 4 0 0 4 2 1 1]

print(np.bincount(targets[mask]))

# [3 3 2 3 3]

他の配列の同時操作

mask配列は、targetsと同じサイズを持つ次元の配列に繰り返し適用できるので、たとえば機械学習でtargetsの各要素に紐づけられた画像データなどを格納した配列などについても、targetsと整合させながら必要な分だけ切出すことができる。

LFWデータセット – k近傍法（PCA変換付き）

2020-11-23 / tau / コメントする

概要

“Pythonではじめる機械学習”の主成分分析(PCA)のところで、著名人の顔画像データ（LFW peopleデータセット）に対するk-近傍法の精度を確認している。

LFW peopleのデータを、最低20枚以上の画像がある人物で絞り込んで読み込み
各人物の画像を最大でも50枚以内となるよう制限（配列要素数の制限手順についてはこちらを参照）
2063人の人物について、87×65ピクセルを1次元化した5,655個の数値配列を特徴量データ(X_people)、各画像の人物の番号を収めた配列(y_people)をターゲットデータとする
画像データを訓練データとテストデータに分割
このデータセットをそのまま1-nnで予測したスコアは、0.2程度でそれほどよくない
画像データに主成分分析(PCA)を用いて、100個の主成分で変換したデータについても1-nnを適用していて、この場合のスコアは0.31

コード例ではPCAインスタンス生成時の引数としてwhiten=Trueを指定しているが、これを指定しない場合、データ変換後のスコアは0.23でこうじょうしなかった。

なお、スコアが書籍掲載値と異なるが、画像データの内容も書籍と今回実行時で異なっている。

コードと実行結果

import numpy as np
from sklearn.datasets import fetch_lfw_people
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.decomposition import PCA

ds = fetch_lfw_people(min_faces_per_person=20, resize=0.7)

mask = np.zeros(ds.target.shape, dtype=np.bool)
for target in np.unique(ds.target):
    mask[np.where(ds.target == target)[0][:50]] = 1

X_people = ds.data[mask]
y_people = ds.target[mask]

X_people /= 255

X_train, X_test, y_train, y_test = train_test_split(
    X_people, y_people, stratify=y_people, random_state=0)

knn = KNeighborsClassifier(n_neighbors=1)
knn.fit(X_train, y_train)
print("Test score (1-nn): {:.2f}".format(knn.score(X_test, y_test)))

pca = PCA(n_components=100, whiten=True, random_state=0).fit(X_train)
X_train_pca = pca.transform(X_train)
X_test_pca = pca.transform(X_test)

knn.fit(X_train_pca, y_train)
print("Test score (1-nn) w/ PCA: {:.2f}".format(knn.score(X_test_pca, y_test)))

print("\nUsed data shape")
print(X_train.shape, X_test.shape)
print(X_train_pca.shape, X_test_pca.shape)
print(y_train.shape, X_test.shape)

# Test score (1-nn): 0.23
# Test score (1-nn) w/ PCA: 0.31
# 
# Used data shape
# (1547, 5655) (516, 5655)
# (1547, 100) (516, 100)
# (1547,) (516, 5655)

import numpy as np

from sklearn.datasets import fetch_lfw_people

from sklearn.model_selection import train_test_split

from sklearn.neighbors import KNeighborsClassifier

from sklearn.decomposition import PCA

ds = fetch_lfw_people(min_faces_per_person=20, resize=0.7)

mask = np.zeros(ds.target.shape, dtype=np.bool)

for target in np.unique(ds.target):

mask[np.where(ds.target == target)[0][:50]] = 1

X_people = ds.data[mask]

y_people = ds.target[mask]

X_people /= 255

X_train, X_test, y_train, y_test = train_test_split(

X_people, y_people, stratify=y_people, random_state=0)

knn = KNeighborsClassifier(n_neighbors=1)

knn.fit(X_train, y_train)

print("Test score (1-nn): {:.2f}".format(knn.score(X_test, y_test)))

pca = PCA(n_components=100, whiten=True, random_state=0).fit(X_train)

X_train_pca = pca.transform(X_train)

X_test_pca = pca.transform(X_test)

knn.fit(X_train_pca, y_train)

print("Test score (1-nn) w/ PCA: {:.2f}".format(knn.score(X_test_pca, y_test)))

print("\nUsed data shape")

print(X_train.shape, X_test.shape)

print(X_train_pca.shape, X_test_pca.shape)

print(y_train.shape, X_test.shape)

# Test score (1-nn): 0.23

# Test score (1-nn) w/ PCA: 0.31

# Used data shape

# (1547, 5655) (516, 5655)

# (1547, 100) (516, 100)

# (1547,) (516, 5655)

numpy – bincount

2020-11-21 / tau / コメントする

概要

numpy.bincount()関数の仕様

整数型の配列を引数にとる
配列中、同じ値の要素の個数をカウントする
0～要素の最大値を要素とし、各要素番号に対応する値の個数を要素とする配列を返す
元のデータの要素ごとの重みを指定することができる

使い方

基本形

引数で与えた整数型配列中の同じ値をカウントして、各値ごとの個数を要素とする配列を返す。

import numpy as np

a = np.array([0, 1, 1, 2, 2, 2, 3, 3])
print(np.bincount(a))

# [1 2 3 2]

import numpy as np

a = np.array([0, 1, 1, 2, 2, 2, 3, 3])

print(np.bincount(a))

# [1 2 3 2]

上の結果の意味は、0が1個、1が2個、2が3個、3が2個。

値が飛んでいる場合

引数の配列中、0～最大値までの整数値に対する数をカウントする。値が存在しない場合の個数は0。

b = np.array([1, 3, 3, 5, 5, 5])
print(np.bincount(b))

# [0 1 0 2 0 3]

b = np.array([1, 3, 3, 5, 5, 5])

print(np.bincount(b))

# [0 1 0 2 0 3]

上の例では、0～5までの個数がカウントされ、0, 2, 4は配列中に存在しないので0となっている。

順不同

引数の配列中の要素は昇順である必要はない。

c = np.array([2, 2, 3, 3, 3, 1])
print(np.bincount(c))

# [0 1 2 3]

c = np.array([2, 2, 3, 3, 3, 1])

print(np.bincount(c))

# [0 1 2 3]

`weights`の意味

引数にweightsを指定する場合。

データの配列と同じ要素数のweightsの配列を与える。
要素をカウントの場合に1ずつ足すのではなく、各要素の位置に対応した重みが加算されていく

w = np.array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6])
d = np.array([1, 2, 4, 2, 4, 4])
print(np.bincount(d, weights=w))

# [0.  0.1 0.6 0.  1.4]

w = np.array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6])

d = np.array([1, 2, 4, 2, 4, 4])

print(np.bincount(d, weights=w))

# [0. 0.1 0.6 0. 1.4]

上の例では以下のように動作している。

0は存在しないので0
1は0番目に1つだけ存在し、その位置のweightsの値は0.1
2は1番目と3番目に存在するので、weightsの第1要素0.2と第3要素0.4を加えて0.6
3は存在しないので0
4は2番目、4番目、5番目にあるので、weightsの第2要素0.3、第4要素0.5、第5要素0.6を加えて1.4

pyplot.imshow – 画像表示

2020-11-21 / tau / コメントする

概要

matplotlib.pyplot.imshow()は画像表示用のメソッドで、表示対象として、画像ファイルや画像情報を格納した配列を指定する。

pyplotやsubplotで直接実行するほか、Axesオブジェクトのメソッドとしても実行できる。

ピクセルデータのレンジのデフォルト設定と与えるデータのレンジによって予期しない結果になることもあり、vmin、vmaxを明示的に指定した方がよい。

画像ファイルの表示

以下のコードは、JPEGファイルを読み込んで表示する。

ここではpyplot.subplotのメソッドとしてimshow()を実行している。画像が1つの場合、pyplot.imshow()でもよい。

1つは画像ファイルをそのまま引数にし、もう1つは画像ファイルを配列の形にしてから引数に渡している。画像の配列の形については後述。

import numpy as np
import matplotlib.pyplot as plt
from PIL import Image

image = Image.open("./coffeemill.jpg")

image_array = np.asarray(image)

plt.subplot(121).imshow(image)
plt.subplot(122).imshow(image_array)
plt.show()

print(image_array.shape)
# (871, 653, 3)

print(image_array)
[[[171 147 111]
  [167 143 107]
  [170 147 113]
  ...
  [ 93  82  86]
  [ 92  81  87]
  [ 93  83  91]]

 [[170 146 110]
  [167 143 107]
  [170 147 113]
  ...
  [ 92  81  87]
  [ 85  76  81]
  [ 77  67  75]]

  .....

 [[ 36  23  15]
  [ 37  24  16]
  [ 41  26  21]
  ...
  [248 196 123]
  [249 197 124]
  [247 195 122]]]

import numpy as np

import matplotlib.pyplot as plt

from PIL import Image

image = Image.open("./coffeemill.jpg")

image_array = np.asarray(image)

plt.subplot(121).imshow(image)

plt.subplot(122).imshow(image_array)

plt.show()

print(image_array.shape)

# (871, 653, 3)

print(image_array)

[[[171 147 111]

[167 143 107]

[170 147 113]

...

[ 93 82 86]

[ 92 81 87]

[ 93 83 91]]

[[170 146 110]

[167 143 107]

[170 147 113]

...

[ 92 81 87]

[ 85 76 81]

[ 77 67 75]]

.....

[[ 36 23 15]

[ 37 24 16]

[ 41 26 21]

...

[248 196 123]

[249 197 124]

[247 195 122]]]

配列の画像表示

基本形

imshow()は配列を引数にとることができる。

以下の例では、カラーマップを指定して2×2=4要素の2次元配列を表示している。最小値0がカラーマップbwrの青に、最大値255が赤に対応し、その間の数値の大きさに応じたカラーマップ上の色が選択されている（デフォルトのcmapはvirいdis）。

なお、この例ではpyplotから直接imshow()を実行している。

import numpy as np
import matplotlib.pyplot as plt

im_array = np.array([
    [0, 85],
    [170, 255]
])

plt.imshow(im_array, cmap='bwr')

plt.show()

import numpy as np

import matplotlib.pyplot as plt

im_array = np.array([

[0, 85],

[170, 255]

])

plt.imshow(im_array, cmap='bwr')

plt.show()

レンジ

imshow()に配列を渡して描画させるとき、数値のレンジに留意する必要がある。

デフォルトでは、imshow()は渡された配列の中の最小値と最大値をカラーマップの下限値と上限値に対応させ、線形にマッピングする。

なお、この例ではarray-likeとして2次元のリストを渡していて、Axesからimshow()を呼び出している。

import numpy as np
import matplotlib.pyplot as plt

images = []
images.append([[0, 0.5, 1]])
images.append([[0, 127, 255]])
images.append([[-1, 0, 1]])
images.append([[1000, 1000.5, 1001]])
print(images)

fig, axs = plt.subplots(2, 2)

for image, ax in zip(images, axs.flatten()):
    ax.imshow(image, cmap='bwr')

plt.show()

import numpy as np

import matplotlib.pyplot as plt

images = []

images.append([[0, 0.5, 1]])

images.append([[0, 127, 255]])

images.append([[-1, 0, 1]])

images.append([[1000, 1000.5, 1001]])

print(images)

fig, axs = plt.subplots(2, 2)

for image, ax in zip(images, axs.flatten()):

ax.imshow(image, cmap='bwr')

plt.show()

4つの配列はそれぞれ最小値と最大値が異なり、かつその中央の値を持つ。値は異なるが全て最小値がカラーマップbwrの下限値に対応する青、最大値が上限値に対応する赤、中央値は白となっている（特段フランス国旗を意図したものではない）。

viminとvmax

imshow()の引数でvminとvmaxを設定すると、配列の値に関わらず、vminとvmiaxをカラーマップの下限値と上限値に対応させる。

以下の例では最小値0、最大値1の2要素の配列を、vminとvmaxを変えてカラーマップbwrで描画させている。

import numpy as np
import matplotlib.pyplot as plt

image = [[0, 1]]

fig, axs = plt.subplots(2, 2)

axs[0, 0].imshow(image, cmap='bwr')
axs[0, 0].set_title("Default")
axs[0, 1].imshow(image, cmap='bwr', vmin=0, vmax=2)
axs[0, 1].set_title("vmin=0, vmax=2")
axs[1, 0].imshow(image, cmap='bwr', vmin=-1, vmax=2)
axs[1, 0].set_title("vmin=-1, vmax=2")
axs[1, 1].imshow(image, cmap='bwr', vmin=0.2, vmax=0.8)
axs[1, 1].set_title("vmin=0.2, vmax=0.8")

plt.show()

import numpy as np

import matplotlib.pyplot as plt

image = [[0, 1]]

fig, axs = plt.subplots(2, 2)

axs[0, 0].imshow(image, cmap='bwr')

axs[0, 0].set_title("Default")

axs[0, 1].imshow(image, cmap='bwr', vmin=0, vmax=2)

axs[0, 1].set_title("vmin=0, vmax=2")

axs[1, 0].imshow(image, cmap='bwr', vmin=-1, vmax=2)

axs[1, 0].set_title("vmin=-1, vmax=2")

axs[1, 1].imshow(image, cmap='bwr', vmin=0.2, vmax=0.8)

axs[1, 1].set_title("vmin=0.2, vmax=0.8")

plt.show()

左上はデフォルトなので、最小値0がカラーマップ下限値に対応した青に、最大値1が上限値に対応した赤になっている。

右上はvmin=0で配列の最小値0と同じだが、vmax=2としている。このため配列の0はカラーマップ下限の青で、配列の1はカラーマップ中央の白になっている。

左下はvmin=-1も設定されているので、配列の0、1はカラーマップの左から1/3、2/3に相当する色となっている。

右下はvminとvmaxが配列の最小値と最大値の範囲より内側にある。このため、配列の最小値・最大値はそれぞれカラーマップの下限・上限に対応する青・赤となっている。

RGB

array-likeの次元が3次元になると、RGB/RGBA形式だと認識される。

[rows, cols, 3]: 3次元目のサイズが3の時はRGB表現と認識される。1次元目と2次元目はそれぞれ画像の行数と列数とみなされ、3次元目は3つの列がR, G, Bの値に対応する。
[rows, cols, 4]: 3次元目のサイズが4の時はRGBA表現と認識される。1次元目と2次元目はそれぞれ画像の行数と列数とみなされ、3次元目は3つの列がR, G, Bの値に対応し、4つ目の列が透明度に対応する。

R, G, B, Aの値は、配列のdtypeがint形式の時には0～255、floatの時には0～1の範囲が想定される。

以下の例の内容。

画像サイズを2行×4列として、R, G, Bごとに画像のピクセルデータを設定→shape=(3, 2, 4)
ピクセル並び替え後の配列を4つ準備
forループでピクセル並び替え
画像表示とデータ内容の表示

3次元配列のピクセルの並び替えは、泥臭くforループで回しているが、もっとエレガントな方法があるかもしれない（もとから(3, rows, cols)の形にしてくれればよかったのに）。

# --- --B -G- -GB
# R-- R-B RG- RGB

import numpy as np
import matplotlib.pyplot as plt

image_org = np.array([
    [
        [  0,   0,   0,   0],
        [255, 255, 255, 255]
    ],
    [
        [  0,   0, 255, 255],
        [  0,   0, 255, 255]
    ],
    [
        [  0, 255,   0, 255],
        [  0, 255,   0, 255]
    ]
])

row = image_org.shape[1]
col = image_org.shape[2]

image_int1 = np.empty((row, col, 3), dtype=int)
image_int2 = np.empty((row, col, 3), dtype=int)
image_float1 = np.empty((row, col, 3), dtype=float)
image_float2 = np.empty((row, col, 3), dtype=float)

for m in range(row):
    for n in range(col):
        for rgb in range(3):
            image_int1[m, n, rgb] = image_org[rgb, m, n]
            image_int2[m, n, rgb] = image_org[rgb, m, n] /255
            #-> all the pixels become BLACK
            image_float1[m, n, rgb] = image_org[rgb, m, n]
            image_float2[m, n, rgb] = image_org[rgb, m, n] / 255
            #- >works, but
            # "Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers)."

fig, axs = plt.subplots(2, 2)

axs[0, 0].imshow(image_int1)
axs[0, 0].set_title("dtype=int, 0~255")
axs[0, 1].imshow(image_int2)
axs[0, 1].set_title("dtype=int, 0.0~1.0")
axs[1, 0].imshow(image_float1)
axs[1, 0].set_title("dtype=float, 0.0~255.0")
axs[1, 1].imshow(image_float2)
axs[1, 1].set_title("dtype=float, 0.0~1.0")

plt.show()

print("original image shape  :{}".format(image_org.shape))
print("rearranged image shape:{}".format(image_int1.shape))
print("rearranged image:\n{}".format(image_int1))

# Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
# original image shape  :(3, 2, 4)
# rearranged image shape:(2, 4, 3)
# rearranged image:
# [[[  0   0   0]
#   [  0   0 255]
#   [  0 255   0]
#   [  0 255 255]]
# 
#  [[255   0   0]
#   [255   0 255]
#   [255 255   0]
#   [255 255 255]]]

# --- --B -G- -GB

# R-- R-B RG- RGB

import numpy as np

import matplotlib.pyplot as plt

image_org = np.array([

[

[ 0, 0, 0, 0],

[255, 255, 255, 255]

[

[ 0, 0, 255, 255],

[ 0, 0, 255, 255]

[

[ 0, 255, 0, 255],

[ 0, 255, 0, 255]

]

])

row = image_org.shape[1]

col = image_org.shape[2]

image_int1 = np.empty((row, col, 3), dtype=int)

image_int2 = np.empty((row, col, 3), dtype=int)

image_float1 = np.empty((row, col, 3), dtype=float)

image_float2 = np.empty((row, col, 3), dtype=float)

for m in range(row):

for n in range(col):

for rgb in range(3):

image_int1[m, n, rgb] = image_org[rgb, m, n]

image_int2[m, n, rgb] = image_org[rgb, m, n] /255

#-> all the pixels become BLACK

image_float1[m, n, rgb] = image_org[rgb, m, n]

image_float2[m, n, rgb] = image_org[rgb, m, n] / 255

#- >works, but

# "Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers)."

fig, axs = plt.subplots(2, 2)

axs[0, 0].imshow(image_int1)

axs[0, 0].set_title("dtype=int, 0~255")

axs[0, 1].imshow(image_int2)

axs[0, 1].set_title("dtype=int, 0.0~1.0")

axs[1, 0].imshow(image_float1)

axs[1, 0].set_title("dtype=float, 0.0~255.0")

axs[1, 1].imshow(image_float2)

axs[1, 1].set_title("dtype=float, 0.0~1.0")

plt.show()

print("original image shape :{}".format(image_org.shape))

print("rearranged image shape:{}".format(image_int1.shape))

print("rearranged image:\n{}".format(image_int1))

# Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).

# original image shape :(3, 2, 4)

# rearranged image shape:(2, 4, 3)

# rearranged image:

# [[[ 0 0 0]

# [ 0 0 255]

# [ 0 255 0]

# [ 0 255 255]]

# [[255 0 0]

# [255 0 255]

# [255 255 0]

# [255 255 255]]]

imshow()に渡す配列のdtypeがint型の時は、ピクセルデータのレンジが0～255になる。

左上は元の配列のままR, G,Bが0か255なので、想定した組み合わせの色となっている
右上は想定されているレンジに対して0.0～1.0の値を与えていることから、どのピクセルともR, G, Bが0か1（ほぼゼロ）となり黒くなっている（そのまま実行され、特にメッセ維持は出ない）

配列のdtypeがfloatの時は、ピクセルデータの想定レンジは0.0～1.0になる。

左下は最小値0と最大255を与えているが、結果は左上と同じで、imshow()のデフォルトのレンジ0～255に変更されているようである（特にメッセージは出ない）
右下は与えるピクセルデータを0.0～1.0としたところ、”入力データをクリップしている”というメッセージが出たが、レンジが修正されたらしく結果は意図通り

並べ替えた後の配列は、直感的にはわかりにくい形になっている。

グレースケール

グレースケールの場合は、cmap='gray'を指定する。vmin、vmaxは省略しても同じ結果となるが念のため。

import numpy as np
import matplotlib.pyplot as plt

row_L = np.arange(0, 256, 8, dtype=int)
row_R = np.arange(256, 0, -8)
row = np.append(row_L, row_R)
n_size = 256 // 8

image_array = np.empty((n_size, n_size), dtype=int)

for r in range(n_size):
    image_array[r, :] = row[:n_size]
    row = np.roll(row, -1)

plt.imshow(image_array, vmin=0, vmax=255, cmap='gray')
plt.show()

import numpy as np

import matplotlib.pyplot as plt

row_L = np.arange(0, 256, 8, dtype=int)

row_R = np.arange(256, 0, -8)

row = np.append(row_L, row_R)

n_size = 256 // 8

image_array = np.empty((n_size, n_size), dtype=int)

for r in range(n_size):

image_array[r, :] = row[:n_size]

row = np.roll(row, -1)

plt.imshow(image_array, vmin=0, vmax=255, cmap='gray')

plt.show()

matplotlib – カラーマップ

2020-11-21 / tau / コメントする

matplotlibのカラーマップの一覧。cmap引数の指定のために。ソースはこちら。

../../_images/sphx_glr_colormaps_001.png

../../_images/sphx_glr_colormaps_002.png

../../_images/sphx_glr_colormaps_003.png

../../_images/sphx_glr_colormaps_004.png

../../_images/sphx_glr_colormaps_005.png

../../_images/sphx_glr_colormaps_006.png

../../_images/sphx_glr_colormaps_007.png

PCA – Boston house-pricesデータセット

2020-11-20 / tau / コメントする

概要

scikit-learnの主成分分析モデル(PCA)をBiston housing pricesデータに適用して、その挙動を確認する。

主成分が適切に発見されてよい相関が得られることを期待したが、IrisデータやBreast cancerデータの場合のようなクラス分類データにおける良好な結果は得られなかった。

ただし、Boston housing pricesデータはIrisやcancerのデータよりも複雑な社会行動に関するものであり、その指標も限定されていることから、これをもってPCAが回帰系のデータに不向きとまでは言い切れない。

なお、Boston housing pricesデータの特徴量には属性データ（カテゴリーデータ、クラスデータ）が含まれることから、DataFrameのget_dummis()メソッドによるone-hot encodingを行っている。

計算の手順

必要なパッケージをインポート
Boston housing pricesデータセットを準備
データセットをスケーリング／エンコーディング
1. 属性データの列を取り出して、get_dummiesでone-hot化
2. StandardScalerで残りの特徴量データを標準化
3. 上記2つを結合して前処理済みデータとして準備
PCAモデルのインスタンスを生成
- 引数n_components=2として、2つの特徴量について計算
fit()メソッドにより、モデルにデータを学習させる
主成分やその寄与率を確認
- 主成分はPCA.comonents_を、寄与率はPCA.explained_variance_ratio_を確認
transform()メソッドによって、主成分に沿ってデータを変換
3つの主成分について3次元可視化
2つの主成分について2次元可視化

前処理

特徴量のうちの1つCHASについては、「チャールズ川に関するダミー変数（1：川沿い、0：それ以外）」～”Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)“となっていて、0か1の属性変数である。この変数をDataFrameのget_dummies()メソッドでone-hot化する。

また、その他のデータについてはStandardScalerで標準化する。

CHASのデータのみone-hot化
CHASの列を除いたデータをStandardScalerで標準化
上記2つのデータをjoin()で結合

df_chas_encoded = pd.get_dummies(df['CHAS'], prefix='CHAS')
df_wo_chas = df.drop('CHAS', axis=1)
df_wo_chas_scaled = pd.DataFrame(
    StandardScaler().fit_transform(df_wo_chas), columns=df_wo_chas.columns)
df_preprocessed = df_wo_chas_scaled.join(df_chas_encoded)

df_chas_encoded = pd.get_dummies(df['CHAS'], prefix='CHAS')

df_wo_chas = df.drop('CHAS', axis=1)

df_wo_chas_scaled = pd.DataFrame(

StandardScaler().fit_transform(df_wo_chas), columns=df_wo_chas.columns)

df_preprocessed = df_wo_chas_scaled.join(df_chas_encoded)

可視化

2次元

ここではまず、2次元可視化の結果を確認する。

クラス分類の場合は2次元で2つの主成分を確認できるが、回帰データの場合はターゲットの量を確認する必要があるため、グラフの軸を1つ消費する。このため、2次元による表現では1つの主成分による説明性を確認することになる。

各点の色や大きさをターゲットの値によって変化させ、2つの軸を2つの主成分に割り当てる方法も考えられるが、直感的にとらえにくくなる。

この結果を見る限り、あまり美しい結果とはなっていない。データを俯瞰した際、各特徴量であまりいい説明ができなかったが、その中でもある程度関係がみられたMDEVやLSTATとの相関と変わらないくらい。

3次元

そこで3次元の可視化にして、2つの主成分による説明性を確認する。

これでもあまりいい結果にならない。ただしグラフを見ると、大きく2つの塊に分かれているように見える。ターゲットである住居価格とは別に、特徴量の組み合わせに隠れている、性質の違うグループがあるのかもしれない。

主成分と寄与率

2つの主成分と寄与率について表示させてみる。

Components:
     feature    comp_0    comp_1
0       CRIM  0.251012  0.399530
1         ZN -0.256281  0.436197
2      INDUS  0.346630 -0.109264
3        NOX  0.342782 -0.169987
4         RM -0.189333  0.063747
5        AGE  0.313601 -0.318114
6        DIS -0.321462  0.331591
7        RAD  0.319816  0.381156
8        TAX  0.338513  0.318517
9    PTRATIO  0.205059  0.182159
10         B -0.203023 -0.333020
11     LSTAT  0.309817 -0.027564
12  CHAS_0.0 -0.001091  0.035239
13  CHAS_1.0  0.001091 -0.035239

Explained :[0.50514047 0.1109301 ]

Components:

feature comp_0 comp_1

0 CRIM 0.251012 0.399530

1 ZN -0.256281 0.436197

2 INDUS 0.346630 -0.109264

3 NOX 0.342782 -0.169987

4 RM -0.189333 0.063747

5 AGE 0.313601 -0.318114

6 DIS -0.321462 0.331591

7 RAD 0.319816 0.381156

8 TAX 0.338513 0.318517

9 PTRATIO 0.205059 0.182159

10 B -0.203023 -0.333020

11 LSTAT 0.309817 -0.027564

12 CHAS_0.0 -0.001091 0.035239

13 CHAS_1.0 0.001091 -0.035239

Explained :[0.50514047 0.1109301 ]

寄与率は第1主成分が50%程度で低いため高い相関が出ないといえるかもしれない。だが、Breast cancerデータセットのクラス分類では第1主成分の寄与率が40%台だが、明確なクラス分類ができていた。やはり回帰系の問題にはPCAは不向きなのかもしれない。

主成分の要素について、先の散布図が第1主成分と負の相関があることから、第1主成分の各特徴量は価格低下に寄与するものはプラス、価格上昇に寄与するものはマイナスとなるはずである。

たとえばZNやRMがマイナスなのは頷けるが、DISがマイナスなのは微妙。TAXやPRATIOがプラスなのも逆のような気がする。

先にも書いたが、Boston housing pricesデータセットで取りそろえられた特徴量は、住居の価格以外の何かを特徴づける傾向が強いのかもしれない。

PCA – Breast cancerデータセット

2020-11-20 / tau / コメントする

概要

scikit-learnの主成分分析モデル(PCA)をBreast cancerデータセットに適用して、その挙動を確認する。

30個の特徴量（全て連続量）を持つ569個の腫瘍データについて、悪性(marignant)／良性(benign)がターゲットとして与えられている。PCAによって特徴量のみの分析で、少ない主成分によってある程度明確な分離が可能なことが示される。

手順

以下の手順・コードで計算した。

パッケージをインポート
Breast cancerデータセットを準備
データセットをスケーリング
- StandardScalerで特徴量データを標準化している
PCAモデルのインスタンスを生成
- 引数n_components=3で3つの主成分まで計算させている
fit()メソッドによって、モデルにデータを学習させる
成分やその寄与率を確認
- 主成分はPCA.comonents_を、寄与率はPCA.explained_variance_ratio_を確認
transform()メソッドによって、主成分に沿ってデータを変換
3つの主成分について3次元可視化
2つの主成分について2次元可視化

主成分と寄与率

以下に主成分と寄与率を計算するまでのコードを示す。

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from mpl_toolkits.mplot3d import Axes3D

ds = load_breast_cancer()
X_scaled = StandardScaler().fit_transform(ds.data)
df = pd.DataFrame(X_scaled, columns=ds.feature_names)

pca = PCA(n_components=3)
pca.fit(df)

print("Components:\n{}".format(pca.components_))
# Components:
# [[ 0.21890244  0.10372458  0.22753729  0.22099499  0.14258969  0.23928535
#    0.25840048  0.26085376  0.13816696  0.06436335  0.20597878  0.01742803
#    0.21132592  0.20286964  0.01453145  0.17039345  0.15358979  0.1834174
#    0.04249842  0.10256832  0.22799663  0.10446933  0.23663968  0.22487053
#    0.12795256  0.21009588  0.22876753  0.25088597  0.12290456  0.13178394]
#  [-0.23385714 -0.0597061  -0.21518137 -0.23107672  0.18611299  0.15189161
#    0.06016536 -0.03476749  0.19034877  0.36657548 -0.10555215  0.0899797
#   -0.08945723 -0.15229263  0.20443047  0.23271588  0.19720726  0.13032158
#    0.18384799  0.28009201 -0.21986638 -0.0454673  -0.19987843 -0.21935186
#    0.17230435  0.14359318  0.09796412 -0.00825721  0.14188335  0.27533948]
#  [-0.00853135  0.06454967 -0.00931432  0.02869944 -0.10429256 -0.07409161
#    0.00273383 -0.0255634  -0.0402399  -0.02257393  0.26848142  0.37463394
#    0.26664551  0.21600645  0.30883931  0.15477941  0.17646341  0.22465797
#    0.28858416  0.21150348 -0.04750699 -0.0422979  -0.04854648 -0.0119023
#   -0.25979771 -0.23607553 -0.17305727 -0.17034366 -0.27131257 -0.23279102]]

print("Explained :{}".format(pca.explained_variance_ratio_))
# Explained :[0.44272026 0.18971182 0.09393163]

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.datasets import load_breast_cancer

from sklearn.preprocessing import StandardScaler

from sklearn.decomposition import PCA

from mpl_toolkits.mplot3d import Axes3D

ds = load_breast_cancer()

X_scaled = StandardScaler().fit_transform(ds.data)

df = pd.DataFrame(X_scaled, columns=ds.feature_names)

pca = PCA(n_components=3)

pca.fit(df)

print("Components:\n{}".format(pca.components_))

# Components:

# [[ 0.21890244 0.10372458 0.22753729 0.22099499 0.14258969 0.23928535

# 0.25840048 0.26085376 0.13816696 0.06436335 0.20597878 0.01742803

# 0.21132592 0.20286964 0.01453145 0.17039345 0.15358979 0.1834174

# 0.04249842 0.10256832 0.22799663 0.10446933 0.23663968 0.22487053

# 0.12795256 0.21009588 0.22876753 0.25088597 0.12290456 0.13178394]

# [-0.23385714 -0.0597061 -0.21518137 -0.23107672 0.18611299 0.15189161

# 0.06016536 -0.03476749 0.19034877 0.36657548 -0.10555215 0.0899797

# -0.08945723 -0.15229263 0.20443047 0.23271588 0.19720726 0.13032158

# 0.18384799 0.28009201 -0.21986638 -0.0454673 -0.19987843 -0.21935186

# 0.17230435 0.14359318 0.09796412 -0.00825721 0.14188335 0.27533948]

# [-0.00853135 0.06454967 -0.00931432 0.02869944 -0.10429256 -0.07409161

# 0.00273383 -0.0255634 -0.0402399 -0.02257393 0.26848142 0.37463394

# 0.26664551 0.21600645 0.30883931 0.15477941 0.17646341 0.22465797

# 0.28858416 0.21150348 -0.04750699 -0.0422979 -0.04854648 -0.0119023

# -0.25979771 -0.23607553 -0.17305727 -0.17034366 -0.27131257 -0.23279102]]

print("Explained :{}".format(pca.explained_variance_ratio_))

# Explained :[0.44272026 0.18971182 0.09393163]

寄与率は第1主成分が44%、第2主成分が19%、第3主成分が9%。第3成分まで3/4の情報を説明していることになる。

また、第1主成分は全ての特徴量がプラス方向で寄与している。

主成分をヒートマップで視覚化してみると、各主成分の符号や大きさが直感的に把握しやすくなるが、第2～第3主成分がmeanとworst系の特徴量が小さい方が影響が大きい点、3つの主成分についてerrorが大きいほど影響が大きい点など、意味づけは難しい。

plt.matshow(pca.components_, cmap='seismic')
plt.yticks([0, 1, 2], ["Component-1", "Component-2", "Comoponent-3"])
plt.colorbar()
plt.xticks(range(len(ds.feature_names)),
    ds.feature_names, rotation=60, ha='left')
plt.xlabel("Feature")
plt.ylabel("Principal components")

plt.show()

plt.matshow(pca.components_, cmap='seismic')

plt.yticks([0, 1, 2], ["Component-1", "Component-2", "Comoponent-3"])

plt.colorbar()

plt.xticks(range(len(ds.feature_names)),

ds.feature_names, rotation=60, ha='left')

plt.xlabel("Feature")

plt.ylabel("Principal components")

plt.show()

可視化

3次元

3つの主成分について3次元で可視化してみると、悪性／良性がかなりはっきりと分離されている。

2次元

2つの主成分のみでも、悪性／良性がよく区分されている。

まとめ

Irisデータの場合と同じく、特徴量分析のみでクラスの別がよくあぶりだされている。

PCA – Irisデータセット

2020-11-20 / tau / コメントする

概要

scikit-learnの主成分分析モデル(PCA)をIrisデータに適用して、その挙動を確認する。

クラス分類のターゲットを用いていないにもかかわらず、少ない主成分でクラスがかなり明確に分類されることがわかる。

計算の手順

以下の手順・コードで計算した。

必要なパッケージをインポート
Irisデータセットを準備
データセットをスケーリング
- StandardScalerで特徴量データを標準化している
PCAモデルのインスタンスを生成
- 引数n_componentsを指定せず、4つの特徴量全てを計算
モデルにデータを学習させる
- fit()メソッドのみでよいが、後のグラフ化のためにfit_transform()メソッドを実行
- X_transに主成分によって変換したデータを格納
主成分やその寄与率を確認
- 主成分はPCA.comonents_を、寄与率はPCA.explained_variance_ratio_を確認
3つの主成分について3次元可視化
2つの主成分について2次元可視化

主成分と寄与率

以下に、主成分と寄与率を計算するまでのコードを示す。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from mpl_toolkits.mplot3d import Axes3D

iris_data = load_iris()

X = iris_data['data']
y = iris_data['target']
feature_names = iris_data['feature_names']
target_names = iris_data['target_names']

X_scaled = StandardScaler().fit_transform(X)

pca = PCA()
X_trans = pca.fit_transform(X_scaled)

print(pd.DataFrame(pca.components_, columns=feature_names))
#    sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)
# 0           0.521066         -0.269347           0.580413          0.564857
# 1           0.377418          0.923296           0.024492          0.066942
# 2          -0.719566          0.244382           0.142126          0.634273
# 3          -0.261286          0.123510           0.801449         -0.523597

print(pca.explained_variance_ratio_)
# [0.72962445 0.22850762 0.03668922 0.00517871]

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.preprocessing import StandardScaler

from sklearn.decomposition import PCA

from mpl_toolkits.mplot3d import Axes3D

iris_data = load_iris()

X = iris_data['data']

y = iris_data['target']

feature_names = iris_data['feature_names']

target_names = iris_data['target_names']

X_scaled = StandardScaler().fit_transform(X)

pca = PCA()

X_trans = pca.fit_transform(X_scaled)

print(pd.DataFrame(pca.components_, columns=feature_names))

# sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)

# 0 0.521066 -0.269347 0.580413 0.564857

# 1 0.377418 0.923296 0.024492 0.066942

# 2 -0.719566 0.244382 0.142126 0.634273

# 3 -0.261286 0.123510 0.801449 -0.523597

print(pca.explained_variance_ratio_)

# [0.72962445 0.22850762 0.03668922 0.00517871]

寄与率の方を見てみると、第1主成分で約73%、第2主成分で23 %と、2つの主成分で特徴をほぼ説明しきっている（第3、第4主成分の寄与はほとんど無視できる）。

第1主成分の各要素の符号を見てみる。萼の長さ、花弁の長さと幅は同程度でプラス方向に効いていて、萼の幅はマイナス方向の効果を持っている。このことから、萼の細長さと花弁の全体的な大きさによって、アヤメの花が特徴づけられていると考えられる。また第2主成分は、萼の幅で殆ど特徴が決まっている。

可視化

3次元

4つの主成分のうち3つについて3次元で可視化してみると、3つのアヤメの種類がかなりきれいに分離されているのがわかる。

fig, ax = plt.subplots(subplot_kw=dict(projection='3d'))

X0 = X_trans[y==0]
X1 = X_trans[y==1]
X2 = X_trans[y==2]
ax.scatter(X0[:, 0], X0[:, 1], X0[:, 2])
ax.scatter(X1[:, 0], X1[:, 1], X1[:, 2])
ax.scatter(X2[:, 0], X2[:, 1], X2[:, 2])

ax.set_xlabel("Component-1")
ax.set_ylabel("Component-2")
ax.set_zlabel("Component-3")

plt.show()

fig, ax = plt.subplots(subplot_kw=dict(projection='3d'))

X0 = X_trans[y==0]

X1 = X_trans[y==1]

X2 = X_trans[y==2]

ax.scatter(X0[:, 0], X0[:, 1], X0[:, 2])

ax.scatter(X1[:, 0], X1[:, 1], X1[:, 2])

ax.scatter(X2[:, 0], X2[:, 1], X2[:, 2])

ax.set_xlabel("Component-1")

ax.set_ylabel("Component-2")

ax.set_zlabel("Component-3")

plt.show()

2次元

第2主成分まででほとんどの特徴を説明できそうなので、2次元の散布図で表示してみる。

実際、2つの主成分だけでかなりきれいに3つのクラスが分かれている。少し重なっている部分があるが、先の主成分を3つの3次元グラフで傾きを調整すると、より明確にクラスが分けられる。

pca = PCA(n_components=2)
X_trans = pca.fit_transform(X_scaled)

print(pd.DataFrame(pca.components_, columns=feature_names))
print(pca.explained_variance_ratio_)

fig, ax = plt.subplots()

X0 = X_trans[y==0]
X1 = X_trans[y==1]
X2 = X_trans[y==2]
ax.scatter(X0[:, 0], X0[:, 1])
ax.scatter(X1[:, 0], X1[:, 1])
ax.scatter(X2[:, 0], X2[:, 1])

ax.set_xlabel("Component-1")
ax.set_ylabel("Component-2")

plt.show()

pca = PCA(n_components=2)

X_trans = pca.fit_transform(X_scaled)

print(pd.DataFrame(pca.components_, columns=feature_names))

print(pca.explained_variance_ratio_)

fig, ax = plt.subplots()

X0 = X_trans[y==0]

X1 = X_trans[y==1]

X2 = X_trans[y==2]

ax.scatter(X0[:, 0], X0[:, 1])

ax.scatter(X1[:, 0], X1[:, 1])

ax.scatter(X2[:, 0], X2[:, 1])

ax.set_xlabel("Component-1")

ax.set_ylabel("Component-2")

plt.show()

なお今回の計算では、PCAのモデルインスタンス生成時にn_components=2としている。その結果は以下の通りで、1つ前の結果と同じ値になっている。

   sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)
0           0.521066         -0.269347           0.580413          0.564857
1           0.377418          0.923296           0.024492          0.066942
[0.72962445 0.22850762]

sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)

0 0.521066 -0.269347 0.580413 0.564857

1 0.377418 0.923296 0.024492 0.066942

[0.72962445 0.22850762]

主成分分析の特徴

IrisデータセットへのPCAの適用結果から、以下のようにまとめられる。

主成分分析の計算において、ターゲットのクラス分類は全く用いていない（特徴量データのみを用いている）
ターゲットのクラス分類は、散布図を描くときの色分けにのみ利用している
それにも関わらず、散布図において3つのクラスがかなりきれいに分離されている
特徴量の線形和に沿った分散の最大化、という問題設定で、その背後にあるアヤメの種類がうまく分類されている

DataFrame – get_dummies – One-hot

2020-11-19 / tau / コメントする

概要

DataFrameのget_dummies()メソッドは、属性データ（カテゴリーデータ）をone-hot-encodingの形に変換してくれる。

Scikit-learnにもOneHotEncoderがあるが、get_dumies()はデータの切り貼りをせずにダイレクトに属性変数だけをone-hotの形にしてくれるので便利。

基本

get_dumies()の引数にDataFrameを指定すると、文字列で属性指定されたデータが自動で認識されてon-hotの形に変換される。

import pandas as pd

data = [
    ["male", 1200],
    ["male", 1000],
    ["male", 800],
    ["female", 1500],
    ["female", 800]
]

df = pd.DataFrame(data, columns=["gender", "price"])
print(df)
#    gender  price
# 0    male   1200
# 1    male   1000
# 2    male    800
# 3  female   1500
# 4  female    800

print(pd.get_dummies(df))
#    price  gender_female  gender_male
# 0   1200              0            1
# 1   1000              0            1
# 2    800              0            1
# 3   1500              1            0
# 4    800              1            0

import pandas as pd

data = [

["male", 1200],

["male", 1000],

["male", 800],

["female", 1500],

["female", 800]

]

df = pd.DataFrame(data, columns=["gender", "price"])

print(df)

# gender price

# 0 male 1200

# 1 male 1000

# 2 male 800

# 3 female 1500

# 4 female 800

print(pd.get_dummies(df))

# price gender_female gender_male

# 0 1200 0 1

# 1 1000 0 1

# 2 800 0 1

# 3 1500 1 0

# 4 800 1 0

分解された列名は、"元の列名_属性名"となり、それぞれに対応する属性の列のみが1、その他の列は0となる。列の並びは、属性名の辞書順。数値データの列は無視される。

属性データが複数列の場合

文字列の属性データが複数列ある場合も、自動的にone-hotに分解してくれる。

data = [
    ["male", "Tokyo", 10000],
    ["male", "Tokyo", 70000],
    ["female", "Tokyo", 80000],
    ["male", "Nagoya", 7000],
    ["female", "Nagoya", 8000],
    ["female", "Nagoya", 6000],
    ["male", "Osaka", 9000],
    ["female", "Osaka", 79000],
]

df = pd.DataFrame(data, columns=["gender", "city", "price"])
print(df)
#    gender    city  price
# 0    male   Tokyo  10000
# 1    male   Tokyo  70000
# 2  female   Tokyo  80000
# 3    male  Nagoya   7000
# 4  female  Nagoya   8000
# 5  female  Nagoya   6000
# 6    male   Osaka   9000
7  female   Osaka  79000

print(pd.get_dummies(df))
#    price  gender_female  gender_male  city_Nagoya  city_Osaka  city_Tokyo
# 0  10000              0            1            0           0           1
# 1  70000              0            1            0           0           1
# 2  80000              1            0            0           0           1
# 3   7000              0            1            1           0           0
# 4   8000              1            0            1           0           0
# 5   6000              1            0            1           0           0
# 6   9000              0            1            0           1           0
# 7  79000              1            0            0           1           0

data = [

["male", "Tokyo", 10000],

["male", "Tokyo", 70000],

["female", "Tokyo", 80000],

["male", "Nagoya", 7000],

["female", "Nagoya", 8000],

["female", "Nagoya", 6000],

["male", "Osaka", 9000],

["female", "Osaka", 79000],

]

df = pd.DataFrame(data, columns=["gender", "city", "price"])

print(df)

# gender city price

# 0 male Tokyo 10000

# 1 male Tokyo 70000

# 2 female Tokyo 80000

# 3 male Nagoya 7000

# 4 female Nagoya 8000

# 5 female Nagoya 6000

# 6 male Osaka 9000

7 female Osaka 79000

print(pd.get_dummies(df))

# price gender_female gender_male city_Nagoya city_Osaka city_Tokyo

# 0 10000 0 1 0 0 1

# 1 70000 0 1 0 0 1

# 2 80000 1 0 0 0 1

# 3 7000 0 1 1 0 0

# 4 8000 1 0 1 0 0

# 5 6000 1 0 1 0 0

# 6 9000 0 1 0 1 0

# 7 79000 1 0 0 1 0

属性が数値表現の場合

属性値が文字列ではなく数値表現の場合、get_dummies()の引数に単にDataFrameを渡すだけでは変換してくれない（通常の数量データとして認識される）。

そこで、変換したい列をcolumns引数で指定する。

data = [
    [1, 10, 100],
    [1, 20, 100],
    [2, 10, 200],
    [1, 20, 200],
    [1, 30, 100],
]

df = pd.DataFrame(data, columns=["id1", "id2", "value"])
print(df)
#    id1  id2  value
# 0    1   10    100
# 1    1   20    100
# 2    2   10    200
# 3    1   20    200
# 4    1   30    100

print(pd.get_dummies(df, columns=["id1"]))
#    id2  value  id1_1  id1_2
# 0   10    100      1      0
# 1   20    100      1      0
# 2   10    200      0      1
# 3   20    200      1      0
# 4   30    100      1      0

data = [

[1, 10, 100],

[1, 20, 100],

[2, 10, 200],

[1, 20, 200],

[1, 30, 100],

]

df = pd.DataFrame(data, columns=["id1", "id2", "value"])

print(df)

# id1 id2 value

# 0 1 10 100

# 1 1 20 100

# 2 2 10 200

# 3 1 20 200

# 4 1 30 100

print(pd.get_dummies(df, columns=["id1"]))

# id2 value id1_1 id1_2

# 0 10 100 1 0

# 1 20 100 1 0

# 2 10 200 0 1

# 3 20 200 1 0

# 4 30 100 1 0

複数の属性データの列がある場合、columns引数でリスト指定する。

print(pd.get_dummies(df, columns=["id1", "id2"]))

#    value  id1_1  id1_2  id2_10  id2_20  id2_30
# 0    100      1      0       1       0       0
# 1    100      1      0       0       1       0
# 2    200      0      1       1       0       0
# 3    200      1      0       0       1       0
# 4    100      1      0       0       0       1

print(pd.get_dummies(df, columns=["id1", "id2"]))

# value id1_1 id1_2 id2_10 id2_20 id2_30

# 0 100 1 0 1 0 0

# 1 100 1 0 0 1 0

# 2 200 0 1 1 0 0

# 3 200 1 0 0 1 0

# 4 100 1 0 0 0 1

属性名の指定

prefix引数で文字列を指定すると、属性名がその文字列で置き換えられる。ただし複数の属性列が全て同じ文字列になる。

print(pd.get_dummies(df, columns=["id1", "id2"], prefix="attr"))

#    value  attr_1  attr_2  attr_10  attr_20  attr_30
# 0    100       1       0        1        0        0
# 1    100       1       0        0        1        0
# 2    200       0       1        1        0        0
# 3    200       1       0        0        1        0
# 4    100       1       0        0        0        1

print(pd.get_dummies(df, columns=["id1", "id2"], prefix="attr"))

# value attr_1 attr_2 attr_10 attr_20 attr_30

# 0 100 1 0 1 0 0

# 1 100 1 0 0 1 0

# 2 200 0 1 1 0 0

# 3 200 1 0 0 1 0

# 4 100 1 0 0 0 1

属性列ごとにprefixを変えて指定したい場合はリストで指定。

print(pd.get_dummies(df, columns=["id1", "id2"], prefix=["attr", "cat"]))

#    value  attr_1  attr_2  cat_10  cat_20  cat_30
# 0    100       1       0       1       0       0
# 1    100       1       0       0       1       0
# 2    200       0       1       1       0       0
# 3    200       1       0       0       1       0
# 4    100       1       0       0       0       1

print(pd.get_dummies(df, columns=["id1", "id2"], prefix=["attr", "cat"]))

# value attr_1 attr_2 cat_10 cat_20 cat_30

# 0 100 1 0 1 0 0

# 1 100 1 0 0 1 0

# 2 200 0 1 1 0 0

# 3 200 1 0 0 1 0

# 4 100 1 0 0 0 1

DataFrame – データの概観

2020-11-19 / tau / コメントする

概要

DataFrameの規模、格納されているデータの概要や基礎統計量を概観する各種の手順。Scikit-learnのBoston housingデータセットを例にする。

DataFrameの規模・形状

sizeプロパティーで全データ数、shapeプロパティーで行数と列数を確認。

import pandas as pd
from sklearn.datasets import load_boston

ds = load_boston()
df = pd.DataFrame(ds.data, columns=ds.feature_names)

print(df.size)
# 6578

print(df.shape)
# (506, 13)

import pandas as pd

from sklearn.datasets import load_boston

ds = load_boston()

df = pd.DataFrame(ds.data, columns=ds.feature_names)

print(df.size)

# 6578

print(df.shape)

# (506, 13)

データの先頭部分と末尾部分

head()メソッド／tail()メソッドで先頭／末尾の5行分が得られる。引数で抜き出す行数を指定。

print(df.head())
#       CRIM    ZN  INDUS  CHAS    NOX  ...  RAD    TAX  PTRATIO       B  LSTAT
# 0  0.00632  18.0   2.31   0.0  0.538  ...  1.0  296.0     15.3  396.90   4.98
# 1  0.02731   0.0   7.07   0.0  0.469  ...  2.0  242.0     17.8  396.90   9.14
# 2  0.02729   0.0   7.07   0.0  0.469  ...  2.0  242.0     17.8  392.83   4.03
# 3  0.03237   0.0   2.18   0.0  0.458  ...  3.0  222.0     18.7  394.63   2.94
# 4  0.06905   0.0   2.18   0.0  0.458  ...  3.0  222.0     18.7  396.90   5.33
# 
# [5 rows x 13 columns]

print(df.tail(3))
#         CRIM   ZN  INDUS  CHAS    NOX  ...  RAD    TAX  PTRATIO       B  LSTAT
# 503  0.06076  0.0  11.93   0.0  0.573  ...  1.0  273.0     21.0  396.90   5.64
# 504  0.10959  0.0  11.93   0.0  0.573  ...  1.0  273.0     21.0  393.45   6.48
# 505  0.04741  0.0  11.93   0.0  0.573  ...  1.0  273.0     21.0  396.90   7.88
# 
# [3 rows x 13 columns]

print(df.head())

# CRIM ZN INDUS CHAS NOX ... RAD TAX PTRATIO B LSTAT

# 0 0.00632 18.0 2.31 0.0 0.538 ... 1.0 296.0 15.3 396.90 4.98

# 1 0.02731 0.0 7.07 0.0 0.469 ... 2.0 242.0 17.8 396.90 9.14

# 2 0.02729 0.0 7.07 0.0 0.469 ... 2.0 242.0 17.8 392.83 4.03

# 3 0.03237 0.0 2.18 0.0 0.458 ... 3.0 222.0 18.7 394.63 2.94

# 4 0.06905 0.0 2.18 0.0 0.458 ... 3.0 222.0 18.7 396.90 5.33

# [5 rows x 13 columns]

print(df.tail(3))

# CRIM ZN INDUS CHAS NOX ... RAD TAX PTRATIO B LSTAT

# 503 0.06076 0.0 11.93 0.0 0.573 ... 1.0 273.0 21.0 396.90 5.64

# 504 0.10959 0.0 11.93 0.0 0.573 ... 1.0 273.0 21.0 393.45 6.48

# 505 0.04741 0.0 11.93 0.0 0.573 ... 1.0 273.0 21.0 396.90 7.88

# [3 rows x 13 columns]

`info()`～各列の基本情報の表示

info()メソッドは、DataFrameの概要に関する概略情報を出力する。直接標準出力にプリントする点に注意。

df.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 506 entries, 0 to 505
# Data columns (total 13 columns):
#  #   Column   Non-Null Count  Dtype  
# ---  ------   --------------  -----  
#  0   CRIM     506 non-null    float64
#  1   ZN       506 non-null    float64
#  2   INDUS    506 non-null    float64
#  3   CHAS     506 non-null    float64
#  4   NOX      506 non-null    float64
#  5   RM       506 non-null    float64
#  6   AGE      506 non-null    float64
#  7   DIS      506 non-null    float64
#  8   RAD      506 non-null    float64
#  9   TAX      506 non-null    float64
#  10  PTRATIO  506 non-null    float64
#  11  B        506 non-null    float64
#  12  LSTAT    506 non-null    float64
# dtypes: float64(13)
# memory usage: 51.5 KB

df.info()

# <class 'pandas.core.frame.DataFrame'>

# RangeIndex: 506 entries, 0 to 505

# Data columns (total 13 columns):

# # Column Non-Null Count Dtype

# --- ------ -------------- -----

# 0 CRIM 506 non-null float64

# 1 ZN 506 non-null float64

# 2 INDUS 506 non-null float64

# 3 CHAS 506 non-null float64

# 4 NOX 506 non-null float64

# 5 RM 506 non-null float64

# 6 AGE 506 non-null float64

# 7 DIS 506 non-null float64

# 8 RAD 506 non-null float64

# 9 TAX 506 non-null float64

# 10 PTRATIO 506 non-null float64

# 11 B 506 non-null float64

# 12 LSTAT 506 non-null float64

# dtypes: float64(13)

# memory usage: 51.5 KB

たとえば一部にNaNが含まれる場合の出力は以下のようになる。

import numpy as np
df1 = pd.DataFrame(np.arange(15).reshape(-1, 3), columns=["a", "b", "c"])
df1.loc[1, "b"] = np.nan
df1.loc[3, "c"] = np.nan

df1.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 5 entries, 0 to 4
# Data columns (total 3 columns):
#  #   Column  Non-Null Count  Dtype  
# ---  ------  --------------  -----  
#  0   a       5 non-null      int32  
#  1   b       4 non-null      float64
#  2   c       4 non-null      float64
# dtypes: float64(2), int32(1)
# memory usage: 228.0 bytes

import numpy as np

df1 = pd.DataFrame(np.arange(15).reshape(-1, 3), columns=["a", "b", "c"])

df1.loc[1, "b"] = np.nan

df1.loc[3, "c"] = np.nan

df1.info()

# <class 'pandas.core.frame.DataFrame'>

# RangeIndex: 5 entries, 0 to 4

# Data columns (total 3 columns):

# # Column Non-Null Count Dtype

# --- ------ -------------- -----

# 0 a 5 non-null int32

# 1 b 4 non-null float64

# 2 c 4 non-null float64

# dtypes: float64(2), int32(1)

# memory usage: 228.0 bytes

`dscribe()`～基本的な統計量

describe()メソッドは、各列のデータについて、個数や平均といった基本的な統計量を計算する。

print(df.describe())

#              CRIM          ZN       INDUS  ...     PTRATIO           B       LSTAT
# count  506.000000  506.000000  506.000000  ...  506.000000  506.000000  506.000000
# mean     3.613524   11.363636   11.136779  ...   18.455534  356.674032   12.653063
# std      8.601545   23.322453    6.860353  ...    2.164946   91.294864    7.141062
# min      0.006320    0.000000    0.460000  ...   12.600000    0.320000    1.730000
# 25%      0.082045    0.000000    5.190000  ...   17.400000  375.377500    6.950000
# 50%      0.256510    0.000000    9.690000  ...   19.050000  391.440000   11.360000
# 75%      3.677083   12.500000   18.100000  ...   20.200000  396.225000   16.955000
# max     88.976200  100.000000   27.740000  ...   22.000000  396.900000   37.970000

print(df.describe())

# CRIM ZN INDUS ... PTRATIO B LSTAT

# count 506.000000 506.000000 506.000000 ... 506.000000 506.000000 506.000000

# mean 3.613524 11.363636 11.136779 ... 18.455534 356.674032 12.653063

# std 8.601545 23.322453 6.860353 ... 2.164946 91.294864 7.141062

# min 0.006320 0.000000 0.460000 ... 12.600000 0.320000 1.730000

# 25% 0.082045 0.000000 5.190000 ... 17.400000 375.377500 6.950000

# 50% 0.256510 0.000000 9.690000 ... 19.050000 391.440000 11.360000

# 75% 3.677083 12.500000 18.100000 ... 20.200000 396.225000 16.955000

# max 88.976200 100.000000 27.740000 ... 22.000000 396.900000 37.970000

特定の列の統計量を見たいときは列を指定。

なおstd（標準偏差）については、ddof=1を指定した結果と同じであり、n−1で割った不偏分散。

print(df["CRIM"].describe())
# count    506.000000
# mean       3.613524
# std        8.601545
# min        0.006320
# 25%        0.082045
# 50%        0.256510
# 75%        3.677083
# max       88.976200
# Name: CRIM, dtype: float64

print(df["CRIM"].std(ddof=1))
# 8.60154510533249

print(df["CRIM"].describe())

# count 506.000000

# mean 3.613524

# std 8.601545

# min 0.006320

# 25% 0.082045

# 50% 0.256510

# 75% 3.677083

# max 88.976200

# Name: CRIM, dtype: float64

print(df["CRIM"].std(ddof=1))

# 8.60154510533249

全ての列を見たいときには、set_option()メソッドの引数でdisplay.max_columnsパラメーターを指定する。初期値に戻すときはreset_option()メソッド。

pd.set_option('display.max_columns', 100)
print(df.describe())
pd.reset_option('display.max_columns')

#              CRIM          ZN       INDUS        CHAS         NOX          RM  \
# count  506.000000  506.000000  506.000000  506.000000  506.000000  506.000000   
# mean     3.613524   11.363636   11.136779    0.069170    0.554695    6.284634   
# std      8.601545   23.322453    6.860353    0.253994    0.115878    0.702617   
# min      0.006320    0.000000    0.460000    0.000000    0.385000    3.561000   
# 25%      0.082045    0.000000    5.190000    0.000000    0.449000    5.885500   
# 50%      0.256510    0.000000    9.690000    0.000000    0.538000    6.208500   
# 75%      3.677083   12.500000   18.100000    0.000000    0.624000    6.623500   
# max     88.976200  100.000000   27.740000    1.000000    0.871000    8.780000   
# 
#               AGE         DIS         RAD         TAX     PTRATIO           B  \
# count  506.000000  506.000000  506.000000  506.000000  506.000000  506.000000   
# mean    68.574901    3.795043    9.549407  408.237154   18.455534  356.674032   
# std     28.148861    2.105710    8.707259  168.537116    2.164946   91.294864   
# min      2.900000    1.129600    1.000000  187.000000   12.600000    0.320000   
# 25%     45.025000    2.100175    4.000000  279.000000   17.400000  375.377500   
# 50%     77.500000    3.207450    5.000000  330.000000   19.050000  391.440000   
# 75%     94.075000    5.188425   24.000000  666.000000   20.200000  396.225000   
# max    100.000000   12.126500   24.000000  711.000000   22.000000  396.900000   
# 
#             LSTAT  
# count  506.000000  
# mean    12.653063  
# std      7.141062  
# min      1.730000  
# 25%      6.950000  
# 50%     11.360000
# 75%     16.955000
# max     37.970000

pd.set_option('display.max_columns', 100)

print(df.describe())

pd.reset_option('display.max_columns')

# CRIM ZN INDUS CHAS NOX RM \

# count 506.000000 506.000000 506.000000 506.000000 506.000000 506.000000

# mean 3.613524 11.363636 11.136779 0.069170 0.554695 6.284634

# std 8.601545 23.322453 6.860353 0.253994 0.115878 0.702617

# min 0.006320 0.000000 0.460000 0.000000 0.385000 3.561000

# 25% 0.082045 0.000000 5.190000 0.000000 0.449000 5.885500

# 50% 0.256510 0.000000 9.690000 0.000000 0.538000 6.208500

# 75% 3.677083 12.500000 18.100000 0.000000 0.624000 6.623500

# max 88.976200 100.000000 27.740000 1.000000 0.871000 8.780000

# AGE DIS RAD TAX PTRATIO B \

# count 506.000000 506.000000 506.000000 506.000000 506.000000 506.000000

# mean 68.574901 3.795043 9.549407 408.237154 18.455534 356.674032

# std 28.148861 2.105710 8.707259 168.537116 2.164946 91.294864

# min 2.900000 1.129600 1.000000 187.000000 12.600000 0.320000

# 25% 45.025000 2.100175 4.000000 279.000000 17.400000 375.377500

# 50% 77.500000 3.207450 5.000000 330.000000 19.050000 391.440000

# 75% 94.075000 5.188425 24.000000 666.000000 20.200000 396.225000

# max 100.000000 12.126500 24.000000 711.000000 22.000000 396.900000

# LSTAT

# count 506.000000

# mean 12.653063

# std 7.141062

# min 1.730000

# 25% 6.950000

# 50% 11.360000

# 75% 16.955000

# max 37.970000

属性変数のカウント

属性変数の属性値のカウントには、value_counts()メソッドを使う。このメソッドは、ユニークな値の数をカウントして集計する。

print(df["CHAS"].value_counts())
# 0.0    471
# 1.0     35
# Name: CHAS, dtype: int64

print(df["RAD"].value_counts())
# 24.0    132
# 5.0     115
# 4.0     110
# 3.0      38
# 6.0      26
# 8.0      24
# 2.0      24
# 1.0      20
# 7.0      17
# Name: RAD, dtype: int64

print(df["CHAS"].value_counts())

# 0.0 471

# 1.0 35

# Name: CHAS, dtype: int64

print(df["RAD"].value_counts())

# 24.0 132

# 5.0 115

# 4.0 110

# 3.0 38

# 6.0 26

# 8.0 24

# 2.0 24

# 1.0 20

# 7.0 17

# Name: RAD, dtype: int64

2つの属性変数をファンシーインデックスで指定すると、「2つの属性のユニークな組み合わせ」の数が集計される。

print(df[["CHAS", "RAD"]].value_counts())

# CHAS  RAD 
# 0.0   24.0    124
#       5.0     104
#       4.0     102
#       3.0      36
#       6.0      26
#       2.0      24
#       8.0      19
#       1.0      19
#       7.0      17
# 1.0   5.0      11
#       24.0      8
#       4.0       8
#       8.0       5
#       3.0       2
#       1.0       1
# dtype: int64

print(df[["CHAS", "RAD"]].value_counts())

# CHAS RAD

# 0.0 24.0 124

# 5.0 104

# 4.0 102

# 3.0 36

# 6.0 26

# 2.0 24

# 8.0 19

# 1.0 19

# 7.0 17

# 1.0 5.0 11

# 24.0 8

# 4.0 8

# 8.0 5

# 3.0 2

# 1.0 1

# dtype: int64

概要

手順

ターゲットごとのインデックスの取得

取り出す要素の制限

要素の抽出

他の配列の同時操作

概要

コードと実行結果

概要

使い方

基本形

値が飛んでいる場合

順不同

weightsの意味

概要

画像ファイルの表示

配列の画像表示

基本形

レンジ

viminとvmax

RGB

グレースケール

概要

計算の手順

前処理

可視化

2次元

3次元

主成分と寄与率

概要

手順

主成分と寄与率

可視化

3次元

2次元

まとめ

概要

計算の手順

主成分と寄与率

可視化

3次元

2次元

主成分分析の特徴

概要

基本

属性データが複数列の場合

属性が数値表現の場合

属性名の指定

概要

DataFrameの規模・形状

データの先頭部分と末尾部分

info()～各列の基本情報の表示

dscribe()～基本的な統計量

属性変数のカウント

`weights`の意味

`info()`～各列の基本情報の表示

`dscribe()`～基本的な統計量