隗より始めよ

今後はいろいろやり始めます。

python

Pythonの可視化フレームワークDashの新機能(はんなりPython LT)

はんなりPythonではディスカッション会=>LT会=>Hands On会というサイクルを回しています。 5月はLT会ということで、発表するで!!!ということで、最近買ったラズパイでなんやかんやしようと思ったのですが、ラズパイ難しい・・・ということで、挫折し…

久々のPandas_datareaderネタ

さて、久しぶりに株でもやりたい気分になってきました。 なので、金融データを見られるダッシュボードをDashで作ろう!!!なんて意気込みました。データはどうしようか・・・。 あの時見つけた、「stooq」があるではないか!!!ということでやってみよう、…

はんなりpython + pydata osaka 可視化特会で発表させていただきました!

Dashすげーと言い続けてそろそろ半年。 なんと、Pydata Osakaさんの可視化特会に呼んでもらえました! イベントは前の日曜日に行われ、盛況に、時間をオーバーして終わりました。 とりあえず私はdashをなんで使いたいかというのと、その使い方を話すために、…

Dashを使ってプレゼン資料を作る

発表資料を作ったのですが、勉強会がキャンセルになったので、ブログにでも書くかと思っていたら、Pythonのアドベントカレンダーの8日目がまだ空いていることに気づいたので、今更アドベントカレンダー用の記事にします。多分怒られないよね。 これまで何度…

データ周りの話

データ周りの話を久しぶりに書いてみようと思います。 元々金融データをPythonで触っていたのですが、ちょっとずつその分野から染み出し、公共データという面白い分野を見つけてそこに着手し始めたというのが私の今年後半の展開でした。 金融データからなぜ…

Pythonの環境構築に関して

プログラミング頑張るぞ!と意気込み、本を買ったは良いが、自分のパソコンでその環境が作れなく、それゆえ本も進めることができず、プログラミングをやることなく終わる。というのはよくある話です。 わたしも3年くらい前にPythonを始めて触った時に「バー…

Pythonの可視化ライブラリDashで作ったグラフをherokuにあげて共有する

Heroku Advent Calendar 20187日目の記事です。 PythonにDashという可視化ライブラリがあります。ウェブアプリの形で作られてよいのと、すごい綺麗にグラフがでてきて、しかも物凄い複雑なことが簡単にできて良いライブラリです。詳しくはギャラリーをご覧く…

京都の旅館業法に基づく許可施設一覧をPythonで可視化する

はい。ちょっとだけ変更を加えたので、メモしておきます。ちなみに明日の大阪Pythonの会でjupyter notebookを晒し、ミスったところを含めすべて発表します。みんなが迷惑そうであれば、巻いて発表します。流れ的には下の記事の続きです。 www.mazarimono.net…

PythonとPlotlyでオープンデータを可視化する

下の記事の続きです。 www.mazarimono.net 一先ず、経緯緯度は取れることが分かりましたが、ここからが、データの前処理の面倒なところです。 しかし、面倒っていっても、お役所仕事なのである程度は型にはまっているため、もうこれ無理って感じではないため…

VSCODE + Jupyter Notebook

AncondaをダウンロードしてJupyter notebookを使う記事が思いのほか人気です。Windowsで使う系が最近は多くなってきていますが、まだ少ないのでしょうか? www.mazarimono.net この記事ではJupyter notebookをPowershellを使って立ち上げていたのですが、コ…

PythonでヤフーのAPIを使って、住所を経緯緯度情報に変換する!

日本もデータを開放して行こうみたいな動きがあるようで、データカタログサイトなるものが存在します。データを触りたい人としてはありがたいことです。 www.data.go.jp 「PDFばっかりやん!」と思いましたが、凄腕の人にはそれでも大丈夫なのでしょうか?わ…

早速トランプ大統領の支持率表示アプリを作ってみた

さてこれまでこのブログにトランプ大統領の支持率を画像で貼り付けてきました。 しかしあれは美しくなかった。というわけで、ハンズオンも一段落したので、ちょっと作ってみました。ここからサイトに飛べます 数値データはローカルでパンダスで読み込み、csv…

はんなりPythonの会#11でDashのハンズオンをしてみた

前回、Dashに関するLTをしましたが、今回はハンズオンをしてみました。ネタの再利用です。 www.mazarimono.net Dashに関して データ分析する上で可視化は重要で、データを眺めて何かヒントをつかみたいってのがあります。そういう中で、簡単にきれいにかけて…

適時開示のzipを開いてhtmファイルをパースする②

昨日は大体の方針を書きました。今日はzipをダウンロードしてhtmファイルを開くまでをメモしておきます。 適時開示情報閲覧サービス - 開示情報一覧 www.mazarimono.net zipファイルをローカルにダウンロード ダウンロードするのはurllib.requestのurlretrie…

はんなりPythonの会#10でDashに関して発表してきた。

データ分析といえば可視化が大事です。Pythonで可視化ツールというとmatplotlibとかseabornとかbokehとかありますが、ねりんぷろさんの書かれた記事でDash凄いと思ったんで、紹介がてらに発表を作ってみました。 発表は最近もっぱらgitpatchで発表資料作って…

Pythonで適時開示サイトをクロールしてみる

昨日、カルロ-スゴーンさんとコメントのやり取りをしていて、そういや適時開示のデータを取ってみようと思っていたのですが、すっかり忘れていたことを思い出しました。 しかし、XRBLのパースとかは私には荷が重すぎるので、一先ずタイトルを取得し、月次デ…

Dashを使ってみた

証券会社とか四季報のチャートを使ってたのですが、思いの外使いにくいというのと、自分で加工したデータを見るのになんかよいツールがないかと思っていたところDashってのがあるということを知り、この三連休はDashをいじっていました。 普通にチャートを作…

requests-htmlを使ってみた

9月のはんなりPythonではスクレイピングのハンズオンをやってみました。 その時に直前にpyconjpがありまして、そこでスクレイピングに関する発表もあったので資料を見ていたらrequests-htmlというライブラリがあることが分かりました。 hannari-python.connp…

Pythonを使ってSlackにVPSから投稿する

今週はVPSでぐるぐると相場に関して計算するようなものを作っていました。 VPSをつかうと自然とvimを使うようになり、1週間経つと、他のがやりにくく感じるように…。 こうしてvimmerになっていくのですね。こわい。 そんな話は置いといて、今回作ってみた、V…

【PYTHON】SBIから落としたCSVファイルを処理してみる(そしてシーズングラフを作ってみる)

さて、何の商品でも季節性というものを見たくなることがあります。 例えば、猛暑銘柄と呼ばれているものは本当に夏に上がるのかというのを見る時に、その季節性が一目瞭然な感じで見られると嬉しいでしょう。 某端末ではシーズングラフと確か呼ばれていたと…

OpenCV-python その2

画像からいろいろ読み取ったりできたら楽しいなと思ってOpenCVを使い始めました。 mazarimono.hatenadiary.jp 最終的には機械学習を使ってごにょごにょやりたいんですが、機械学習もOpenCVもあまりなので、OpenCVの基礎からやろうと思っていました。 そうし…

OpenCV-Pythonを使ってみた

決算シーズンは決算をただひたすら読むだけで、ネタ枯れになってきます。 そんな中ちょっと始めてみたのがOpenCV-Pythonです。見えるものすべてを僕の代わりに見てくれないかなーというプロジェクトを決算後は初めて見たいので、時折ポチポチと始めてみまし…

Pythonのライブラリpandas_datareaderでデータを取得する

pandas_datareaderは最近グーグルとかヤフーとか使えなくなってあれですが、思いの外良いところがあったので書いておきます。 どのようなライブラリか? どんなふうに使うか 日本株データも取れる まとめ どのようなライブラリか? pandas_datareaderはPytho…

気象庁からデータを取って今回の雨量の凄さを調べてみた(2018年7月7日)

雨が凄いですね。 毎年雨がかたまって降る時期があるような気がします。 しかし年を取ると2000年とか最近だよなとか時間の感覚がおかしくなっているので、実は毎年と思っているのが5年に1度だったりします。うちの近所のおじいさんと話してたら「最近までこ…

Google Trendでビットコインのはやりすたりを確認する

街角の景気を見るためにタクシーの運転手さんなどに話を聞くのが良いといわれたのは今は昔。 グーグルトレンドに話を聞きましょうというのが今の時代の解決策かもしれません。感覚的なお話より定量化されているものを得られるというのはうれしいことです。 …

米国の金利データを取得する

これまでpandas_datareaderを使って金利データを取得してきましたが、ドンドン改悪されている感がありました。 今日使おうとしたら、datareaderをimportするのにエラーが返ってきて何ですかと思ってググったら、少し前からあるものだったようです。 stackove…

アラフォーでプログラミングの学習をはじめたおっさんのおすすめする、はじめましてPythonな人の学習方法。

この前の記事でPythonのAnacondaというパッケージをインストールして、Jupyter Notebookを使うということを取り上げました。 mazarimono.hatenadiary.jp Anacondaというパッケージをインストールして使って嬉しいのは、いろいろな部品が最初からついており、…

WindowsでPythonを使うのにAnacondaをインストールし、インストール後いきなりjupyter notebookを使う!

WindowsでPythonをやろうとした場合、初心者がつまずくのがそのインストールです。 わたしも最近は入れ方が滅茶苦茶でしたし、今回も再インストールしましたが、一回目はjupyter notebookが立ち上がりませんでした。 というわけで、そのやり方をステップごと…

maplotlibの豆腐化を直す(1年ぶり)

最近matplotlibもよいもんだと思いながら使っていたのだけど、ちょっと使っていたら日本語豆腐化問題に再び当たりました。 以前問題に直面した時、自分がどのように行動したか、それをググってみると以下のようなタイトルが見つかりました。 mazarimono.hate…

matplotlibでx軸の重なりを直したい!

こんにちは。可視化ツールってたくさんあって、中々どれが良いか決めにくいですね。 わたしも何やかんや色々使ってみていて、Bokehがお気に入りなのですがちょっと重いしなーとか小賢しいことをいい始めた今日この頃です。 でも最近読み始めた機械学習の本で…