執筆中の修論を晒します。
まずは序論。
研究背景と研究目的を書こうと思っていましたが、背景の内容がアプローチ的な内容が多かったので急遽アプローチも序論に入れましたが、先輩や先生になんて言われるかわかりませんね。
そもそも文章が論文というよりはブログみたいですけど、修論は個人要素強いし、チェックが甘いので自由に書かせてほしい。
序論
人の脳中で情報処理がおこわれる際、短期記憶よりも短いスパンで情報を保持する機能であるワーキングメモリは、1960年以降、盛んに議論され続けてきた。
当初、このワーキングメモリという用語が用いられたのは認知心理学に関する研究であったが、現在に至るまで様々な分野で研究がすすめられ、脳神経科学においても主要な研究課題となっている。毎年のように国内外でワーキングメモリに関する書籍が出版され多くの人々に読まれていることからも、ワーキングメモリがいかに注目されてきたかがわかる。
このように学術界の内外で一般的な用語であるワーキングメモリであるが、その神経学的なメカニズムにはいまだに多くの謎が残されている。そこで、本研究の目的はワーキングメモリの持つ神経機構をニューラルネットワークによるシミュレーションによって解き明かすことにある。
人がワーキングメモリによって情報を保持する仕組みが解明されることで、教育の効率化や脳疾患の治療法の発展に役立てられると考えられており、神経機構に関するシミュレーションが必要性は高い。
現在考えられているメカニズムであるが、観測方法としてこれまで使用されてきた電気計測法に加え、光イメージング法やfMRI、fNIRSといった解析方法の発達により、情報保持時の神経活動として得られたデータの増加により、大きく分けて二つの説が唱えられている。
一つは、遅延発火と呼ばれる情報を表現する発火を特殊な神経回路によって一時的に持続させることでワーキングメモリを実現させるという機構である。この神経回路モデルは電気計測法によって得られた神経細胞の膜電位データを根拠とするもので、以前からワーキングメモリの神経機構として研究がなされてきた。
一方で、発火持続は存在せずshort-term synaptic plasticity(STSP)といったシナプスが持つ可塑性を利用することで、数秒の間シナプス前ニューロンの出力をコントロールし、情報を保持するというモデルも存在する。この考え方は遅延発火を数秒間持続させることは、結合間の化学的なコストがかかりすぎるという批判をふまえたもので、fMRIを用いて観測されたデータから発火の持続は均一ではなく一時的に衰退することを根拠としている。
本研究室では後者のモデルを用いたワーキングメモリの研究も進められており、すでに結果も出ている。しかし、私はワーキングメモリが持つ能動的な機能を実現するには前者のニューロン間の接合による遅延発火の保持がよりワーキングメモリの神経機構として自然であると考えた。
この能動的機能とはワーキングメモリの時系列情報の整理、操作能力のことである。入力された情報が1つだけである場合は、単にその出力を後に再現すればよい。しかし、人が保持する情報が1つだけというのはまれで、多くの場合は複数時系列、複数チャンクにまたがる情報を同時に保持する必要がある。
この情報が数字や言葉、事象といった意味要素であった場合、連続的に入った情報を入力順序によって整理し操作する作業が非常に重要となる。ワーキングメモリは保持情報をさらに高次領域に渡す前の期間にこの能動的役割を果たしていることが、認知心理学的研究や、population cordingといった神経活動の解析によって示唆されており、後者の静的な情報保持メカニズムではこの機能をワーキングメモリとして実現するには不可能であると考えた。
さらに、ワーキングメモリの能動的機能として、保持可能な時系列情報のチャンク数の限界値と学習による増加に関する研究に注目した。これはGeorge Miller(1967)やNelson Cowan(2005)らが発表した研究成果で、人のワーキングメモリが保持可能なチャンク数は限度があり、さらに学習によって増加させることができるというものである。一般的にはマジカルナンバー7±2やマジカルナンバー4±1と呼ばれる理論であるが、このワーキングメモリの特徴を再現するために、機械学習の分野で盛んに研究がなされているリカレントニューラルネットワーク(RNN)の学習理論を取り入れることにした。
近年の機械学習の発展は目覚ましいものがあるが、その発展を支えるネットワークモデルの一つとしてRNNを挙げることができる。このRNNは、通常下層から上層に伝播してく情報の一部が、層内結合によって次の時刻の同一層にも入力しており、一時的に過去の情報を保持することを可能にするネットワークモデルである。
当初、ニューラルネットワークの持つ層内結合を複数時系列に渡って学習させることは困難であると考えられていたが、1980年代に急速に研究が進んだ誤差逆伝搬法を応用した学習アルゴリズム(BPTT)が発明されると、RNNの時系列認識能力は飛躍的に向上した。現在は、BPTT法に加え、LSTMといったさらに発展的な機械学習アルゴリズムが開発され、認識可能時系列数は人のそれよりも遥かに上回っている。
誤差逆伝搬法の生理学的妥当性はこれまでも議論されてきたが、根拠はいまだに見つかっておらず、脳神経科学的なシミュレーションモデルに適用された事例はあまりない。しかし、RNNの認知プロセスと人のワーキングメモリの能動的機能には時系列情報の整理機構や認識チャンク数の学習といっ観点から非常に近く、またワーキングメモリに関しても情報保持能力強化のための教師信号におる学習アルゴリズムの存在が示唆されている。これらの知見から本研究は便宜的にワーキングメモリを模したニューラルネットワークにRNNの学習アルゴリズムを参考にした学習則を適用した。
