"Neural Turing Machines"

さて今回は、冬休みの時間のあるうちにと思い、MIT Technology Review 誌でもBest of 2014 の１つとして選ばれていた、「"Neural Turing Machines"」についてまとめました。紹介する論文は、Google の Deep Mind の方々によって書かれたものです。

簡単に要約すると、

 

・"Neural Turing Machines" とは、チューリングマシンのように外部記憶装置を持ったニューラルネットワークである。（そう考えるとある意味で、リカレントニューラルネットワークは、内部記憶装置をもったニューラルネットワークといえる。）

・外部記憶装置はN×M行列（N行のM列データ）であり、記憶装置の読み書きヘッダは各行へのアクセスを調節する重み{w1,w2,w3, ... , wn: w1+w2+w3... +wn = 1}をもつ。

・重みは、調整パラメータによって調整される。

・調整パラメータは、ニューラルネットの中に埋め込まれており、大量データによって学習され、所望の外部記憶装置へのアクセスを実現するための重みを調整する。

・このようにして学習する外部記憶へのアクセスによって、コピー、繰り返しコピー、連想呼び出し、Nグラム法、ソート、などの動作をある程度実現できる。また、外部記憶装置への読み書きも、理にかなった方法で実現されている。

といった感じです。ざっくりまとめたので、詳細が気になる方は、是非、原論文を読んで頂ければと思います。

とりあえず、論文まとめたりするのはこの辺にして、今後はプログラムを勉強して、実際に色々と実装してみる習慣をつけていきたいです。