Graph Attention Networks (GAT) の簡単な説明

下記の論文を参考にしました.

https://arxiv.org/pdf/1710.10903.pdf

ICLR 2018で提出されたもののようです.

まず,abstractですが「スペクトルベースのグラフニューラルネットワークのいくつかの重要な課題に同時に対処し、モデルを帰納的にも容易に適用できるようにします」とあります. 主に計算においてコストがかかるなどの問題が発生しているようですね.

以下は論文のまとめです.

1: spatial convolutional networkである.

つまり,グラフラプラシアンなどの計算方法を用いていないということ.

2: 隣接ノードに対してattentionを適用して, softmaxを通している.

上記の方法で, key query, valueを用いていない仕組みになっている.

3: 様々な論文分類問題で通常のGCNなどよりも高い精度を獲得した.

4: 問題点として異なるカーディナリティがある特徴量を再帰的に計算している場合に問題があるのではないかと思う.

5: attentionのくだりで説明可能性もあまり無いだろうことが分かる.

6: 大規模データにおいても幾つかの計算上の工夫が必要であるということ.

結論

やはり,アルゴリズムの詳細は詳しくは分かりません. 他の論文を参考にして何ができて何ができないのかを参考にしていきたいと思います.