ニューラルネットワーク
脳科学のシミュレーションの研究でありがちの”やらせ感”
脳科学の系の学会誌に原稿を載せてもらうために参考文献を漁ってて、今所属している研究室にいた人間が書いた論文を探していたんですが、 自分の前任の今はいない先輩が書いた論文に対してアメリカのどっかの実験系の脳科学の研究者のブログでその先輩の論文を引用して、「我々が最近実験で示された結論がシミュレーションでも証明されたか、ふむふむ」的なことを書いているページを見ました。 日本の弱小研究室の論文を読んでい......
AI・データサイエンス
ニューラルネットワーク
ニューラルネットワーク
日本神経回路学会に行って RNNってそんなに長いチャンクを認識する必要がないと思った
9月の4日に東工大でやってた日本神経回路学会に行ってきました。 めっちゃマイナーな学会ですけど、AIでもない神経科学でもない、ウェットとドライの中間のニューラルネットワークをやってるうちらにとってはすごい同業が多いというか、みんなお互いの微妙な立ち位置を理解しているから話が早い学会です。 逆に、統計学、AI、神経科学を専門でやっている人たちはいなくはなかったですが、ちょっとアウエーな感じになってま......
ニューラルネットワーク
脳神経科学の研究室でニューラルネットワークをやって、AIは人間を超えられない気がしてきた。
このブログで何回か話していますが、学部4年の半導体の研究室で先生と喧嘩して研究室を追い出されたあと、脳神経科学の研究室でニューラルネットワークを研究しています。 なんで、脳神経科学でAIに使われているニューラルネットワークを研究しているの？って疑問に思うかもしれませんが、ニューラルネットワークって脳神経の働きをシミュレーションするために開発かされた脳の簡易化モデルで、もともとはニューラルネットワー......
![[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時](https://i0.wp.com/pickerlab.net/wp/wp-content/uploads/2018/06/blake-connally-373084-unsplash.jpg?resize=400%2C225&ssl=1)
IT・開発
[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時
パーセプトロンを誤差伝播、バックプロパゲーションで学習させている時に、学習が終わらなくなった時のトラブルシューティングです。 症状としては、 誤差がある0ではない値に収束して学習が進まない、出力層の出力を確認すると出力がすべて0になっているか、-1になっている状態です。 こんな時に考えるバグは 最初に逆伝搬させている勾配が、損失関数（誤差関数）の微分ではなく損失関数自体になっている ......
IT・開発
[随時更新]多層パーセプトロンでmnistを学習さえて、CとPythonの速度を比較する
研究室的にやたらニューラルネットワークをCとPythonで動かしたときの速度差が気になる。 人工知能を学習する上で使う言語はPython一択ですし、Cでネットワークを実装するとなると使えるライブラリがなくてかなり厳しいことになります。なんで、そんなこと気になる人ってほとんどいないと思います。 ところが、自分で所属している研究室ではニューラルネットワークをフルスクラッチで（主にCで）実装していくとい......