配列から要素をランダムに抽出するための「インデックス」を作る

配列から要素をランダムに抽出するには、(要素の抽出に使う)インデックスをランダムにしておくだけでいい。

random_array = array[random_index]

ここではrandom_indexも配列。

以下は関連記事。

spcx8.hatenablog.com

順序をランダムにしたインデックス(配列)の作り方は色々ある。比較のため処理時間を測定。いずれも0~99,999の数字を重複なしでランダムに並べた配列を生成している。

import numpy as np

idx = np.array(range(100000))
np.random.shuffle(idx)

　→ 所要時間：17 msec

idx = np.arange(0, 100000, 1)
np.random.shuffle(idx)

　→ 所要時間：2.6 msec

idx = np.random.choice(100000, 100000,replace=False)

　→ 所要時間：2.0 msec

idx = np.random.randint(0,100000,100000)  

　→ 所要時間：2.0 msec

np.random.randint() とnp.random.choice() が一位タイ。中身の処理は一緒なんだろうか。こうしてみるとnp.random.shuffle()も大して変わらない。

かと言って抽出するもとの配列そのものをランダムにシャッフルしようとすると、その配列のサイズが大きい場合は処理が重くなるのでやらない方がいい。

 WEB/EC専門の転職支援サービス【サポタント】

配列から重複なく要素をランダムに抽出し２組に分ける（データセットをシャッフルしつつ２つに分割）

ディープラーニングの前処理としてよくあるのが、データをシャッフルしつつ２つに分ける作業。言い換えると、データセット(配列)から学習データとテストデータを重複なくランダムに取り出す作業。

処理としては、ランダムな配列を作り、それをインデックスとして使ってデータを抽出する。

import numpy as np

num_test  = 10000
num_train = 10000
num_all   = num_train+num_test

id_all   = np.random.choice(num_all, num_all, replace=False)
id_test  = id_all[0:num_test]
id_train = id_all[num_test:num_all]
test_data  = mydataset[id_test]
train_data = mydataset[id_train]

下記のようにデータセット自体をシャッフルする方法でも、同様の処理はできる。直感的にわかりやすいけど、処理は遅かった。

import numpy as np

num_test  = 10000
num_train = 10000
num_all   = num_train+num_test

np.random.shuffle(mydataset)
test_data  = mydataset[0:num_test]
train_data = mydataset[num_test:num_all]

要素が全てnanの配列を生成をする

 最近書くpythonコードの半分以上はnumpy.ndarrayを使ってる。

numpyがなかったら仕事にならない。それくらいお世話になってる。ただ一つだけ不満というか疑問に思っているのが要素が全てnanの配列を生成をする関数がないこと。要素が全て0の配列を生成する関数 numpy.zeros() があるならnumpy.nans() があってもいいと思うけど、なぜかない。何か理由があるんだろうか。

まあとにかく、そういう関数はないので自前で作るわけで、いつも下のようなやり方をしてる。

import numpy as np
mat = np.zeros([ysize,xsize])
mat[:,:] = np.nan

zeros()を使って狙いのサイズの配列を作成したのちに、全要素をnanにする、という処理を行う。（本当はempty()を使った方が計算コストが低いらしいけど）

作りたい配列と同じサイズの配列があったりする場合は、zeros_like() も便利。同じサイズで要素が全て０の配列を作ってくれる。 

mat = np.zeros_like(mat_original)
mat[:,:] = np.nan

でもやっぱりnumpy.nans()が欲しい。

 WEB/EC専門の転職支援サービス【サポタント】

nan を含む配列の要素をシフトする

配列の要素をシフトさせる関数 shift() のことを前回書いたけど、この関数は配列内の要素にnanが含まれると使えない（出力する配列の要素が全てnanになる）という欠点がある。そして残念ながら今書いてるスクリプトでは配列にnanが入るので、結局自分でコードを書いた。

 前回記事はこちら。

spcx8.hatenablog.com

まずは1次元配列をシフトさせるコード。

import numpy as np

def shift_1darray(mat, ys):
    mat_shift = np.zeros_like(mat)
    mat_shift[:,:] = np.nan
    if   ys>0: mat_shift[ys:] = mat[:-ys]
    elif ys<0: mat_shift[:ys] = mat[-ys:]
    else: mat_shift = mat
    return mat_shift

 それから2次元配列をシフトさせるコード。

import numpy as np

def shift_2darray(mat, ys, xs):
    mat_yshift = np.zeros_like(mat)
    mat_yshift[:,:] = np.nan
    if   ys>0: mat_yshift[ys:  ,:] = mat[   :-ys,:]
    elif ys<0: mat_yshift[  :ys,:] = mat[-ys:   ,:]
    else: mat_yshift = mat

    mat_xshift = np.zeros_like(mat)
    mat_xshift[:,:] = np.nan
    if   ys>0: mat_xshift[:,xs:  ] = mat_yshift[:,   :-xs]
    elif ys<0: mat_xshift[:,  :xs] = mat_yshift[:,-xs:   ]
    else: mat_xshift = mat_yshift
    return mat_xshift

もっと簡単にできるよ、という方いたらぜひ教えてください。行数減らしたいです。

２次元配列をシフトさせる

pythonで配列をシフトさせたくて調べてみた。 

自分でコード書いてもできるけど、pythonのことだからぴったりの関数があるんじゃないかと思って探していたら、scipy の shift() という関数を見つけた。

import numpy as np 
from scipy.ndimage.interpolation import shift
xs = np.array([ 0., 1., 2., 3., 4., 5., 6., 7., 8., 9.]) 
shift(xs, 3, cval=np.NaN)

stackoverflow.com

上の例のように配列を右に３つシフトさせると出力はこうなる。

出力： [ nan, nan, nan, 0., 1., 2., 3., 4., 5., 6.]

逆向きに左にシフトさせる場合は、マイナスを使う。

shift(xs, -3, cval=np.NaN)

出力：[ 3., 4., 5., 6., 7., 8., 9., nan, nan, nan]

結果は省略するけど、この関数は２次元配列にも使える。
下のようにシフト量をリストで表記すればいい。

shift(xs, [-3, 1], cval=np.NaN)

試してないけど３次元以降も使えるのかも。

ちなみに、配列内に nan が含まれる場合は、shift()は使えないみたい。
配列の中身が全てnanになってしまう。ちょっと惜しい。

 WEB/EC専門の転職支援サービス【サポタント】