人生のオープンソース化。
ニューラルネットワーク
このブログで何回か話していますが、学部4年の半導体の研究室で先生と喧嘩して研究室を追い出されたあと、脳神経科学の研究室でニューラルネットワークを研究しています。 なんで、脳神経科学でAIに使われているニューラルネットワークを研究しているの？って疑問に思うかもしれませんが、ニューラルネットワークって脳神経の働きをシミュレーションするために開発かされた脳の簡易化モデルで、もともとはニューラルネットワー......
![[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時](https://pickerlab.net/wp/wp-content/uploads/2018/06/blake-connally-373084-unsplash.jpg)
IT・開発
パーセプトロンを誤差伝播、バックプロパゲーションで学習させている時に、学習が終わらなくなった時のトラブルシューティングです。 症状としては、 誤差がある0ではない値に収束して学習が進まない、出力層の出力を確認すると出力がすべて0になっているか、-1になっている状態です。 こんな時に考えるバグは 最初に逆伝搬させている勾配が、損失関数（誤差関数）の微分ではなく損失関数自体になっている ......
IT・開発
研究室的にやたらニューラルネットワークをCとPythonで動かしたときの速度差が気になる。 人工知能を学習する上で使う言語はPython一択ですし、Cでネットワークを実装するとなると使えるライブラリがなくてかなり厳しいことになります。なんで、そんなこと気になる人ってほとんどいないと思います。 ところが、自分で所属している研究室ではニューラルネットワークをフルスクラッチで（主にCで）実装していくとい......