市販の問題集や模試では定理系の問題はたくさん出題されますが、実際の試験ではほとんど出ないので出題率の高い、深層学習（特にCNN）と法律系の問題演習に時間をかけたほうがいいです。

バニーおじさんのルール

調整しなくちゃいけないパラメータ（重みやバイアスなど）の数の10倍の学習データを用意しないといけないという経験則。あくまで最低10倍で実際はもっとってことだと思います。

ノーフリーランチの定理

どんな問題問題も解くことができる万能なアルゴリズムは存在しない

醜いアヒルの子の定理

普通のアヒルと醜いアヒルの区別は機学習の定式化によってつくことができないということ。

正直意味わからんと思ってますが、たぶん、他のアヒルから見て醜いアヒルが他と違うと感じるのは、アヒル主観でアヒルはこれくらいからこれくらいの大きさで、羽の色はこれくらいからこれくらいという基準があって、それから逸脱するから白鳥の子はアヒル的におかしいってなるだけで、客観的に見れば少し特徴が他のアヒルよりも離れているが十分分類できるほどの大差はないという意味だと思います。