qiita.com
この様に沢山と喧伝されてきましたが... 申し訳ございません.
これから,全員が手のひら返しをする姿が予測できます.
gpt-2でも実はcausal LMを利用しています.
音声および画像認識では明確にattentionは使われなくなってきています.
ViTなどが出てきましたが,それも使われなくなるでしょう.
attentionには説明可能性もありません.
rnn,lstmでさえ, 巨大企業(google, facebook)は採用しています.
つまり, attentionは終焉します.
時間があれば追記したいと思います.
