『A Review of Binarized Neural Networks』のメモ

オープンアクセスのレビューのメモ

Section 2

用語

• Weights(重み): 学習された値で、前の層からの活性化値を持つドット積で使用される。BNNでは、学習された実数値の重みと、その重みのバイナリ版があり、バイナリの活性化値を持つドット積で使用されます。
• Activations(活性化値)。活性化関数からの出力で、次の層の重みを用いてドット積で使用される。活性化の代わりに「入力」という用語が使われることがあります。ここでは、個々の層への入力だけでなく、ネットワーク自体への入力を指す場合に「入力」という用語を使用します。BNNでは、活性化関数の出力は2値であり、活性化関数は符号関数である。
• Dot product(ドット積): ニューラルネットワークの「ニューロン」の中で、積和演算が発生する。文献では “multiply accumulate “という用語が使われることがありますが、ここでは代わりにdot productという用語を使います。
• Parameters(パラメータ): バックプロパゲーションによってネットワークが学習するすべての値。これには、重み、バイアス、ゲインなどの値が含まれます。
• Bias(バイアス)：通常、学習される加算するスカラー値。バッチ正規化層や後述する特定のBNN技法で見られる。
• Gain(ゲイン): 通常、学習されるスケーリング係数（ただし，統計量から抽出されることもある（5.2節））。バイアスに似ている。ゲインは、重みと活性化の間のドット積の後に適用される。スケーリング・ファクターという用語が文献で使われることがあるが、ここではバイアスとの相関を強調するためにゲインを使う。
• Topology(トポロジー): ネットワーク内のレイヤーの特定の配置。「アーキテクチャ」という用語は、DNNコミュニティで頻繁に使用されています。しかし、デジタルデザインやFPGAのコミュニティでは、ハードウェアコンポーネントの配置を指すためにアーキテクチャという用語を使用しています。このため、我々はDNNモデルのレイアウトをトポロジーと呼んでいます。
• Architecture(アーキテクチャ): デジタルハードウェアの接続やレイアウトのこと。DNNモデル自体のトポロジーと混同しないようにしてください。
• Fully Connected Layer(全結合層): 明確にするために、本論文でレビューされているいくつかの文献のように、密な層ではなく、完全に接続された層という用語を使用しています。