データを取り込む時にはファイル名を指定する。pd.read_csv()でも np.loadtxt()でもそう。 でファイル名を指定するのにコードをいちいち書き換えたくないので、ダイアログボックスを使う方法を調べた。 調べたらtkinterというライブラリを使うみたいだが、こ…

pandas で append処理（2つのDataFrameを縦に連結）した時、行ラベル（index番号）は順番通りにならなくなる。 例えばこう。 import pandas as pd import numpy as np data = range(10) data = np.array(data).reshape([5,2]) df1 = pd.DataFrame(data,colum…

numpyでは配列（行列）の計算が簡単にできる。これは要素が数字の場合だけでなく、ありがたいことに文字列の場合にも使える。文字列の場合にできる計算は足し算（文字列の連結）だけで、使うこともあまりないけど地味にありがたい。 import numpy as np arra…

DataFrameからnumpy.ndarrayへの変換 .valuesと付け足すだけ。pandas.Seriesの場合も同様の処理で変換が可能。 import numpy as np import pandas as pd dataframe = pd.DataFrame([[1, 2, 3], [4, 5, 6]], dtype=int) array1 = dataframe.values.tolist() p…

ファイルの読み込みはいくつか方法があることは前回の記事に書いた。 spcx8.hatenablog.com 読み込んだ後の処理を考えると、numpyやpandasで読みたい。でも中身が文字列を含む場合、numpyは使えないのでpandasで読むことになる。 困るのは読み込む対象のファ…

csvファイルやexcelファイル(xls, xlsx)を読み込む場合のコードはいくつかあるのでまとめておく。 （１） 標準ライブラリのcsvを使う import csv with open('data.txt', 'r', encoding='utf-8') as f: dataReader = csv.reader(f, lineterminator='\n') for …

文字列の置換はreplace()を使う。 string = 'abcde' string_new = string.replace('a', 'A') print(string_new) 出力: 'Abcde' これが使えるのは単独の文字列だけで、配列（各要素が文字列になっている配列）には使えない。 str_list = ['abcde','abcde'] st…

配列から要素をランダムに抽出するには、(要素の抽出に使う)インデックスをランダムにしておくだけでいい。 random_array = array[random_index] ここではrandom_indexも配列。 以下は関連記事。 spcx8.hatenablog.com 順序をランダムにしたインデックス(配…

ディープラーニングの前処理としてよくあるのが、データをシャッフルしつつ２つに分ける作業。言い換えると、データセット(配列)から学習データとテストデータを重複なくランダムに取り出す作業。 処理としては、ランダムな配列を作り、それをインデックスと…

最近書くpythonコードの半分以上はnumpy.ndarrayを使ってる。 numpyがなかったら仕事にならない。それくらいお世話になってる。ただ一つだけ不満というか疑問に思っているのが要素が全てnanの配列を生成をする関数がないこと。要素が全て0の配列を生成する関…

配列の要素をシフトさせる関数 shift() のことを前回書いたけど、この関数は配列内の要素にnanが含まれると使えない（出力する配列の要素が全てnanになる）という欠点がある。そして残念ながら今書いてるスクリプトでは配列にnanが入るので、結局自分でコー…

pythonで配列をシフトさせたくて調べてみた。 自分でコード書いてもできるけど、pythonのことだからぴったりの関数があるんじゃないかと思って探していたら、scipy の shift() という関数を見つけた。 import numpy as np from scipy.ndimage.interpolation …