人生のオープンソース化。

pickerLab

AI・データサイエンス

Google Colaboratory proで割り当てられるGPUについて思ったこと AI・データサイエンス

Google Colaboratory proで割り当てられるGPUについて思ったこと

（ちゃんと検証してQiitaに載せようと思っていたネタですが、まともな検証ができなかったのでこっちのブログに載せます） google colaboratoryのpro版が日本でも契約できるようになりましたね。 (なんか最近5000円払うとpro+にアップデートできるみたい・・・) 別に手元にGPUを積んだ機械学習バリバリこなせるPCがあるよって人は興味ないと思いますが、自分みたいにノートPCしか使......
[AI-900] Microsoft Azure AI Fundamentals trainingに参加して 機械学習

[AI-900] Microsoft Azure AI Fundamentals trainingに参加して

※本記事はセミナー履修時にメモとして書いた記事なので、若干間違っている部分もありますし（若干じゃない）、誤字もめちゃ多いので下のAI-900の記事を参照していただきたいです。この記事はSEO的に残しているだけです。 pickerLab[カンペ]AI-900合格に必要な知識まとめ　※例題ありhttps://pickerlab.net/2021/06/12/test-preparation-for-a......
Lightweight GANで今年の干支の牛のイラストを生成したら失敗した話 機械学習

Lightweight GANで今年の干支の牛のイラストを生成したら失敗した話

あけましておめでとうございます！！今年もどうぞよろしくお願いします。 皆さんとどういう形で関われるのかわかりませんが、来年もたまにこのブログを読んでいっていただけたら嬉しいです。   牛のイラストを生成してみた   画像を生成できるニューラルネットワークであるGNAなるものが世の中に存在するのは昔から知ってましたが、 そういうものがあるって聞いていただけで、使ったこともないし、......
2020年7月のG検定を受けて感じたG検定の傾向と対策 IT技術

2020年7月のG検定を受けて感じたG検定の傾向と対策

2020年7月4日G検定を受験して1週間経とうとしていますが、当日のことを忘れてしまわないうちにまとめておこうと思います。 [2020 11月追記]合格してから振り返ってみると、高得点を取ることはかなり難しいテストですが、合格することはそれほど難易度が高くないと感じました。8割とるとなるとかなり膨大な範囲を勉強する必要がありますが、5割得点するだけ合格の可能性はあると思うので、戦略としては解く分野......
G検定で出題される定理・名言まとめ IT技術

G検定で出題される定理・名言まとめ

市販の問題集や模試では定理系の問題はたくさん出題されますが、実際の試験ではほとんど出ないので出題率の高い、深層学習（特にCNN）と法律系の問題演習に時間をかけたほうがいいです。 バニーおじさんのルール   調整しなくちゃいけないパラメータ（重みやバイアスなど）の数の10倍の学習データを用意しないといけないという経験則。あくまで最低10倍で実際はもっとってことだと思います。   ......
中学数学だけでG検定で出題される統計学的分手法を感覚で理解する IT技術

中学数学だけでG検定で出題される統計学的分手法を感覚で理解する

この記事では数学が得意ではない方でもわかりやすいけど厳密に言うと正しくない説明で、G検定の問題を回答するには十分な理解というコンセプトでG検定に出てくる統計学的分手法（主に回帰と分類）のアルゴリズムやモデルをまとめています（ニューラルネットワーク関係は別記事でまとめます）。 こういうことって数学的に理解することが正しいアプローチだと思うのですが、それだとまず数学のお勉強からになってしまうので、この......
G検定で出題されるAI界隈の著名人 IT技術

G検定で出題されるAI界隈の著名人

G検定で出題される可能性のある人物名をまとめます。年齢は2020時点 第一次AIブーム時の著名人　[1960年代] ジョン・マッカーシー　（John McCarthy、故人） AIという言葉を定義したダートマス会議を発議した人です。世界初の対話システムELIZAの開発言語であるLISPというプログラミング言語を開発しました。 ダートマス会議にはジョン・マッカーシーの他にシャノンの完全機械やシャノン......
僕が大学院で研究していたこと AI・データサイエンス

僕が大学院で研究していたこと

「電通大でニューラルネットワークやってたんだから、専攻は情報工学でしょ？」って会社の人からは言われますが、僕の専攻していたコースは化学生命コースで、その中の脳神経科学の研究室にいました。 なんで、研究室のある棟にいた同僚たちは、マウスの薬品を投与したり、細胞を培養したり、有機化合物を合成したりしていましたし、授業で代謝とか遺伝子とか神経の勉強をしていました。 じゃぁ、生物の人がなんでニューラルネッ......
[卒業エントリー]電気通信大学（電通大・UEC）に6年間通って感じたこと AI・データサイエンス

[卒業エントリー]電気通信大学（電通大・UEC）に6年間通って感じたこと

今月、学部１年生から修士２年生まで６年間通った電気通信大学を卒業します。 新型コロナウイルスの影響で卒業式はやるのかわかりませんけど、大学に行くのはたぶん卒業式だけになりますね。 「やっと終わった・・・」って感じですけど、でも少し寂しい気もします。まぁ、調布のキャンパスは自分にとっては随分と居心地がよかったです。 話は変わりますが、就活中に企業研究で企業名をネットで検索していると、”退職エントリー......
今から脳科学をやりたい人へ　理論系の研究をしていた自分が思う脳科学の学び方 ニューラルネットワーク

今から脳科学をやりたい人へ　理論系の研究をしていた自分が思う脳科学の学び方

以前、このブログで「脳科学系の学科に進みたいのだが、いったいどんな進路をとったほうがいいか？」というコメントをいただきました。 このブログでコメントをもらうことはあまりないので、うれしかったですね。 自分もなんとなく脳科学に関係する研究は興味があるなと思っていましたが、そこまで行きたかったわけじゃなくて、修士進学の際にたまたま空いている研究室の中に脳のシミュレーションをやっているところがあったので......
研究発表用フリー素材　脳のスケッチとモニターを見つめる猿 ニューラルネットワーク

研究発表用フリー素材　脳のスケッチとモニターを見つめる猿

修論のための素材として人の脳とモニター見つめる、電極が刺さった猿を書いたので使いたい人使ってください。 落書きなのでどう使ってもいいです。２次利用も全然いいです。 一応ブロードマンの脳地図を意識したような気もしますが、しわの位置とか適当だと思います。 こちらは視覚野に電極刺されてモニターを見つめるニホンザル（マカクザルです）。 実際こういう実験するときって電極のでデバイスってもっと大掛かりですし、......
序論 ニューラルネットワーク

序論

執筆中の修論を晒します。 まずは序論。 研究背景と研究目的を書こうと思っていましたが、背景の内容がアプローチ的な内容が多かったので急遽アプローチも序論に入れましたが、先輩や先生になんて言われるかわかりませんね。 そもそも文章が論文というよりはブログみたいですけど、修論は個人要素強いし、チェックが甘いので自由に書かせてほしい。   序論   人の脳中で情報処理がおこわれる際、短期......
Short-term synaptic plasticity(STSP、短期シナプス可塑性)とは？ ニューラルネットワーク

Short-term synaptic plasticity(STSP、短期シナプス可塑性)とは？

Short-term synaptic plasticity(STSP、短期シナプス可塑性)   ワーキングメモリ関係の論文を読むとShort-termシナプス可塑性(Short-term synaptic plasticity: STSP)という言葉が出てきます。 何がショートタームかというと、シナプスのハード面（受容体やチャネルの種類）を変化さえずに、ソフトな部分（神経伝達物質を枯渇......
学歴ロンダリングはなぜ差別されてしまうのか？ 現役大学院生が考えてみた AI・データサイエンス

学歴ロンダリングはなぜ差別されてしまうのか？ 現役大学院生が考えてみた

学歴ロンダリングがちょっと前に話題になっていました。 ロンダリングってちょっとネガティブな言葉ですね。まるで学歴を偽装しているみたいに聞こえます。 でも、修士号や博士号をその大学でとったならば、まぎれもなくその人はそこの卒業生ですし、同じ空間に留まらず学ぶ場所や分野を変えるのは僕はすごくいいことだと思います。 それなのに、修士進学のタイミングで他大に移った人のことをちょっと差別的に「学歴ロンダリン......
ラグランジュ緩和法によるスケジューリング問題をpythonで解く AI・データサイエンス

ラグランジュ緩和法によるスケジューリング問題をpythonで解く

レポート課題でなんでもいいからラグランジュ緩和法で制約付き最適化問題を解いてくるものを作ってこいといわれたので。Pythonで解いてみました。 子問題に分解できる簡単なパターンです。（制約は２つ、変数も２つ）おんなじ状況に陥った人は使てやってください。   Pythonでラグランジュ緩和法によるスケジューリング問題を解く   こちらがクラス class Lagrangian_r......
ワーキングメモリにおける時系列情報の保持と行動のための神経機構 発表資料-NC研究会・脳医工学研究センター ニューラルネットワーク

ワーキングメモリにおける時系列情報の保持と行動のための神経機構 発表資料-NC研究会・脳医工学研究センター

  発表資料作りがてら、今度の口頭発表向けの研究結果をここにまとめておこうと思います。 修士の学生が研究室での成果をブログで公開しちゃうのはどうなのか？とも思うんですけど、僕はもう数か月でここからいなくなるし、先生もあと２年で退官しちゃうので、自分の研究(先輩方の成果も含む)が論文として日の目を見る可能性もうなくなりました。 なんで、完全にロストしてしまうのであれば、個人ブログの記事とし......
脳科学のシミュレーションの研究でありがちの”やらせ感” ニューラルネットワーク

脳科学のシミュレーションの研究でありがちの”やらせ感”

脳科学の系の学会誌に原稿を載せてもらうために参考文献を漁ってて、今所属している研究室にいた人間が書いた論文を探していたんですが、 自分の前任の今はいない先輩が書いた論文に対してアメリカのどっかの実験系の脳科学の研究者のブログでその先輩の論文を引用して、「我々が最近実験で示された結論がシミュレーションでも証明されたか、ふむふむ」的なことを書いているページを見ました。 日本の弱小研究室の論文を読んでい......
日本神経回路学会に行って　RNNってそんなに長いチャンクを認識する必要がないと思った ニューラルネットワーク

日本神経回路学会に行って　RNNってそんなに長いチャンクを認識する必要がないと思った

9月の4日に東工大でやってた日本神経回路学会に行ってきました。 めっちゃマイナーな学会ですけど、AIでもない神経科学でもない、ウェットとドライの中間のニューラルネットワークをやってるうちらにとってはすごい同業が多いというか、みんなお互いの微妙な立ち位置を理解しているから話が早い学会です。 逆に、統計学、AI、神経科学を専門でやっている人たちはいなくはなかったですが、ちょっとアウエーな感じになってま......
脳神経科学の研究室でニューラルネットワークをやって、AIは人間を超えられない気がしてきた。 ニューラルネットワーク

脳神経科学の研究室でニューラルネットワークをやって、AIは人間を超えられない気がしてきた。

このブログで何回か話していますが、学部4年の半導体の研究室で先生と喧嘩して研究室を追い出されたあと、脳神経科学の研究室でニューラルネットワークを研究しています。 なんで、脳神経科学でAIに使われているニューラルネットワークを研究しているの？って疑問に思うかもしれませんが、ニューラルネットワークって脳神経の働きをシミュレーションするために開発かされた脳の簡易化モデルで、もともとはニューラルネットワー......
[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時 IT・開発

[解決方法]バックプロパゲーション・誤差伝播で、誤差がある0ではない値に収束する時

パーセプトロンを誤差伝播、バックプロパゲーションで学習させている時に、学習が終わらなくなった時のトラブルシューティングです。 症状としては、 誤差がある0ではない値に収束して学習が進まない、出力層の出力を確認すると出力がすべて0になっているか、-1になっている状態です。 こんな時に考えるバグは 最初に逆伝搬させている勾配が、損失関数（誤差関数）の微分ではなく損失関数自体になっている   ......
[随時更新]多層パーセプトロンでmnistを学習さえて、CとPythonの速度を比較する IT・開発

[随時更新]多層パーセプトロンでmnistを学習さえて、CとPythonの速度を比較する

研究室的にやたらニューラルネットワークをCとPythonで動かしたときの速度差が気になる。 人工知能を学習する上で使う言語はPython一択ですし、Cでネットワークを実装するとなると使えるライブラリがなくてかなり厳しいことになります。なんで、そんなこと気になる人ってほとんどいないと思います。 ところが、自分で所属している研究室ではニューラルネットワークをフルスクラッチで（主にCで）実装していくとい......