はんなりPythonで発表した - Pythonと本と子供と雑談と

f:id:mazarimono:20200403075016p:plain

久々に勉強会の記録です。

自分が開催しているはんなりPythonのLT会で「BERT」に関して調査して発表しました。

当日の発表はグダグダ感があり、肝心のBERTな部分が知らない人は全く分からなかったと思います。すみません。でも僕は調べて、画像処理と自然言語処理も何か似たような発展をしているということが分かってよかったです。

カギとなるのはAttentionなのですね。画像処理なんかでも3×3で画像を見ていって、特徴をつかむみたいなことをやっていますが、離れた位置のデータと今あるデータが関係あるとか、そういう判断ができません。それをやるカギを握るのがAttentionで、その特徴は掛け算で作られるみたいです。

Attentionがあるおかげで、ディープラーニングの可視化も可能になりつつあるということで、おーすげーってなりました。しかし、Attentionの仕組みはわからず、Transformerの動きもよくわからず、それを組み合わせたBERTも作用はようわからんという感じでした。

そんなわたしでも、大体の動きが理解できるのはディープラーニングやらなんやらを分かりやすく解説してくださっている記事のおかげです。

本は「つくりながら学ぶ！Pytorchによる発展ディープラーニング」を読んだのですが、こちらは自然言語処理の発展の流れも理解しながら、新たなアルゴリズムを実装できるという神本でした。イヤー凄いなぁ。

筆者の方はsklearnでも新たな本を出されているようで、これも買おうと思っています。

これで流れを理解しながら、最近話題のPycaretを使ってみたいと思います。

しかし皆さん、ライブラリ情報とかどうやって仕入れているのですかね？？？ちなみに発表資料は下です。参考資料は充実していると思うので、気になる方はリンク先を読んでください。