hyoukadのブログ

立場の説明のしにくい在野研究者の日々の記録

Attentionは終焉(オワコン)する.

qiita.com この様に沢山と喧伝されてきましたが... 申し訳ございません. これから,全員が手のひら返しをする姿が予測できます. gpt-2でも実はcausal LMを利用しています. 音声および画像認識では明確にattentionは使われなくなってきています. ViTなどが出て…

particle filterに関して

実装できるから時間があればやりたいな, pythonで.

Graph Attention Networks (GAT) の簡単な説明

下記の論文を参考にしました. https://arxiv.org/pdf/1710.10903.pdf ICLR 2018で提出されたもののようです. まず,abstractですが「スペクトルベースのグラフニューラルネットワークのいくつかの重要な課題に同時に対処し、モデルを帰納的にも容易に適用でき…

遺伝的な手法の様々な問題とその解決テクニック

実用的な遺伝的アルゴリズムのテクニック minmax法: スケーリング手法に主に使われる.例えば,学習後半で最適なfitnessを選択するためにこれが使われる. roulette手法: 交叉や突然変異によるfitnessの変動が著しい場合,このトーナメント選択手法を用いると効…

NFL定理は強化学習の最適化とは関係ありません.

例えば,アスリートは常に人類が存在する以上,最新記録を更新し続けます.他のsportsでも同様です.人間はmulti agentで全ての問題をより最適化することができます. つまり, 現在解決可能な全ての問題の部分群を特定の精度で解決できるアルゴリズムを常に超える…

シュミレーション仮説に関して

例えば,ある特定の次元における量の順序を吐き出すblackboxを考えてほしい.例えば,時間におけるcmの変化を時系列に解析してそれを昇順に並べ替えるというプログラミングコードを考えてほしい.或いはある特定の空間での時間変化における切り取りを何らかの評…

BlockchainにおけるDeFiの将来

そもそもblockchainは流動性の為にICOというトークン発行を無制限に行っている.この流動性はminerがどれだけ参入するのかにかかっている.ユーザーが資産を交換できるアプリケーションがどれだけあるのかということも流動性に関わってくる. それを他の仮想通…

強化学習の基礎中の基礎

.background-gray{ background: #f0f0f0; padding: 30px; margin: 5px; } .background-blue{ background: #d4e6e0; padding: 30px; margin: 5px; } .background-solid{ border: 1px solid #444444; padding: 1px; margin: 1px; border-radius: 1px; } 強化学…