人生のオープンソース化。
ニューラルネットワーク
9月の4日に東工大でやってた日本神経回路学会に行ってきました。 めっちゃマイナーな学会ですけど、AIでもない神経科学でもない、ウェットとドライの中間のニューラルネットワークをやってるうちらにとってはすごい同業が多いというか、みんなお互いの微妙な立ち位置を理解しているから話が早い学会です。 逆に、統計学、AI、神経科学を専門でやっている人たちはいなくはなかったですが、ちょっとアウエーな感じになってま......
ニューラルネットワーク
このブログで何回か話していますが、学部4年の半導体の研究室で先生と喧嘩して研究室を追い出されたあと、脳神経科学の研究室でニューラルネットワークを研究しています。 なんで、脳神経科学でAIに使われているニューラルネットワークを研究しているの？って疑問に思うかもしれませんが、ニューラルネットワークって脳神経の働きをシミュレーションするために開発かされた脳の簡易化モデルで、もともとはニューラルネットワー......
![[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時](https://i0.wp.com/pickerlab.net/wp/wp-content/uploads/2018/06/blake-connally-373084-unsplash.jpg?resize=400%2C225&ssl=1)
IT・開発
パーセプトロンを誤差伝播、バックプロパゲーションで学習させている時に、学習が終わらなくなった時のトラブルシューティングです。 症状としては、 誤差がある0ではない値に収束して学習が進まない、出力層の出力を確認すると出力がすべて0になっているか、-1になっている状態です。 こんな時に考えるバグは 最初に逆伝搬させている勾配が、損失関数（誤差関数）の微分ではなく損失関数自体になっている ......
IT・開発
研究室的にやたらニューラルネットワークをCとPythonで動かしたときの速度差が気になる。 人工知能を学習する上で使う言語はPython一択ですし、Cでネットワークを実装するとなると使えるライブラリがなくてかなり厳しいことになります。なんで、そんなこと気になる人ってほとんどいないと思います。 ところが、自分で所属している研究室ではニューラルネットワークをフルスクラッチで（主にCで）実装していくとい......