9月の4日に東工大でやってた日本神経回路学会に行ってきました。

めっちゃマイナーな学会ですけど、AIでもない神経科学でもない、ウェットとドライの中間のニューラルネットワークをやってるうちらにとってはすごい同業が多いというか、みんなお互いの微妙な立ち位置を理解しているから話が早い学会です。

逆に、統計学、AI、神経科学を専門でやっている人たちはいなくはなかったですが、ちょっとアウエーな感じになってました。

いまだに、誤差逆伝播の妥当性性に関してみんなで考え込むそんな学会になってます。

リザーバーネットワークの発表が多かった

機械学習の人には今更感があるかもしれないですが、この日あった40件の発表のうち10件以上がリザーバーネットワークの話でした。自分もRNNを使っているのでリザーバーネットワークと近いものがあります。

みんな、LSTMとか複雑なネットワークに疲れて、もう学習なんてしなくていいから、最初からある程度妥当なRNNを組んで、そのまま使おうという感じでした。

そもそも、ここにいる人は脳神経回路に囚われた人間なので、あんまりテクニカルなことをするのは嫌いなんですよね。

学習しないなら、半導体上にネットワークを組んでしまおうという研究もあって、昔半導体やってたから久しぶりにファブをやりたいって思いました。

具体的に言うと、ガーネットの薄膜上に出力も入力の電極をつけて、地場をかけると磁場と結晶による不均一な相互作用でRNN的な結合を実現するんだとか。

講演していた東大の廣瀬明先生の話はスピンとか出てきて、やばいって感じでしたが、ポスターセッションで研究室の学生と話ができたのが楽しかった。

そんな長い時系列は扱う必要がないかもね

リザーバーネットワークだと、実際に保持できる情報って3チャンクが限度で、さらに自分が使ってるLIモデルみたいなモデルだと時間経過でかってにニューロンのポテンシャルが落ちるのでよけい性能が低い

でも、自分はワーキングメモリのシミュレーションしてるんですが、学習しなくても前頭前野のシミュレーションをしていると以外に妥当な結果が出てきちゃうんですよね。

もちろん、BPTT使って学習させれば認識チャンク数は増えて、最近までミラーのマジックナンバー7つて言葉から7チャンクまでやろうとしてましたけど、意味ないんじゃないかと言われたし、そう僕も思いました。

そもそも、マジックナンバー7が純粋にワーキングメモリなのかって議論ありますしね。

LSTMとか使えばもっと長い時系列を認識しますが、あんな複雑なこと脳内では起きません。

で、何が言いたいか言うと、人の脳内にRNNはもちろんあるけど、そんなに長い時系列を認識してないのでは？ということ。

せいぜい５，６チャンクだと思います。

ここで、根拠なき人間の脳は知能として最適解理論を適応すると、これは人工知能全般で言えることで、わざわざ計算リソースつかって時系列方向にネットワークを拡張するより、潔くリザーバーの方が自然なのかもしれません。

てなことを、学会に行って思いました。そもそも僕は脳科学にも人工知能にもそんなに思いれないですが、修士の２年間くらいは・・・

それでは。