を読んだ（ICML2019のTutorial） スライド: http://alex.smola.org/talks/ICML19-attention.pdf 1.Watson Nadaraya Estimator Alex Smolaのスライド、好きです まず最初Watson Nadaraya Estimatorってのを導入してた Key Query ValueっていうAttentionの基本…

テトラルキア / Seventeen Feels を聞きましょう。 Seventeen Feels Tetrarkhia アニメ ¥250 provided courtesy of iTunes 将来とか、大人になるとかって色々不安だったりするわけなんですよね。そんな気持ちを歌っている曲です。 追いかけた未来の残像は Ju…

読んだ。 arxiv.org ハイパーグラフに対するニューラルネットワークを提案してる （けど、どっちかって言うとHeterogeneous Graphっぽい？わからん） まあ畳み込みが問題になるけど、そこでやってることは、 ノードのEmbeddingを、ハイパーグラフ上のエッジ…

読んだ。 arxiv.org グラフ上のNP-hardな問題に対して、MCTSを適用してみたよというお話。まず、グラフ上のNP-hardな問題をMarkov Decision Processに落とし込む。んで、MCTSを使ってpolicyを学習したいんやが、Inputサイズが可変なので、GNNを使って固定長…

A. Long-Short Term Memory（こなみ） 最近LSTMをブラックボックスとして使ったので最低限何してるかくらいは把握したく なんでつかう 時系列ならRNNでいいじゃんわかりやすいし でも、近くの情報ばかり見ちゃって言語処理タスク辛い時ある…… 長短期記憶持た…

読んでいる（ちゃんと理解していない） arxiv.org Invariant や Equivariant とは？ まず、グラフ上の問題をグラフデータの組 から、下記の仮説を探す問題と定義する。（機械学習的にこれは自然やんな） この時、 に当たる集合は色々考えられるが、 や、 を…

明日から出張＆来週（？）〆切の原稿があるのに放置して下記を読んでいました…… 深層学習の数理 from Taiji Suzuki www.slideshare.net 深層学習について最近色々な本を漁ってますがふんわりとした理解しかできていなくつらい。 あとスパース学習（Lasso）あ…