関数化しながら日本取引所に上場している企業のデータを眺める。

昨日は日本取引所に上場する企業のリストを取得してローカルのＰＣに保存する関数を作りました。一行しか書いていないではないかという人も言われますが、逆に一行でできるのです。

「プログラミングができれば色々簡単にできる！！！」ということを見せたかったというのも一つあります。多くの親御さんたちと話していると「子供にはぜひプログラミングを！」っていう人多いけど、自分はやったことがないという人が多いので、まぁそんな方々の目に私のブログが触れることはないと思いますが、万が一触れ場合「こんなに簡単にできるのか！！」と思っていただければと思いました。

今日のお題

まずは取ってきたデータをちょっと整えます
- よくある俺様仕様
ちょっとデータを見てみる

まずは取ってきたデータをちょっと整えます

昨日の記事では日本取引所様から取ってきたエクセルファイルを自分のパソコンに保存するところまでやりました。次は、自分が使いたい形にエクセルを整えます。

どんな形でもよいので、まずは読み込んだデータを見てみましょう。私の場合、①コードをインデックスに使用する、②日付をなくしたい、③ETFとETNのデータはいらない、ということを思いましたので、pandasでエクセルを読み込み、①②③の3つを行い、それを行った後のデータを返すという関数を作ることにしました。

早速関数を見てみましょう。

import pandas as pd
save_path = 'stock_list.xls'

def remove_etf(save_path=save_path):
    df = pd.read_excel(save_path, index_col='コード')
    df1 = df[df['市場・商品区分'] != 'ETF・ETN']
    df1 = df1.drop(['日付'], axis=1)
    return df1

これで思った感じにデータが整います。大体やりたいことに対して一行なんか書くという感じです。

よくある俺様仕様

注意点としてはETF・ETNのところで、真ん中の点だけ全角になっているところです。最初全部半角でやってたら、ETF・ETNの銘柄がはじかれていませんでした。このように普通にあるデータはよく分からない俺様仕様があるので注意しましょう。

ちょっとデータを見てみる

できたデータを見てみましょう。昨日の関数と今日の関数を使うと、jupyter notebook上でデータが見られます。

fetch_stock_list()  # これでデータを自分のＰＣにダウンロードしてくる。
df = remove_etf()  # これで落としてきたデータを見たい形でdfというオブジェクトにできる。

df.head()と打つと以下の表示がされます。
f:id:mazarimono:20180508110004p:plain

ETF/ETNは最初に固まっていたのでそれがないのでちゃんと消えていることがわかります。次に、データが欠けている部分とかないかをチェックしてみます。df.info()で見られます。
f:id:mazarimono:20180508110256p:plain これを見ると、データ数は3683で欠損はなさそうというのがわかります。

上場市場はどれが多いのかも見てみたい。というわけで、df['市場・商品区分'].value_counts()というコードを書いてshift + enterを押します。
f:id:mazarimono:20180508110602p:plain

proマーケットに24銘柄も上場しているのかとか、なんだかんだ言って第1部市場が多く、若い企業が少なそうという日本社会の問題も見えてきます。まぁ最近は巨大企業がベンチャーを買い取ってしまうため、そうなっている部分もあると思いますが。

規模コードってなんやねんということで、またvalue_counts()で見てみます。
f:id:mazarimono:20180508110908p:plain どうも、東証1部の銘柄なんかに振り分けられてるっぽいなーてのが、最初の30，70というのを見てTOPIX30,70を表してそうというのでわかります。