㈠ qnn是什么意思网络用语
神经网络（QNN）的方法，在运行时具有极低精度（例如1bit）权重和激活的神经网络。在训练时期，量化的权重和激活值被用于计算参数梯度。在前向传递期间，QNN大大减少了内存大小和访问，并用按位运算代替了大多数算术运算。结果，预期功耗将大大降低。我们通过MNIST，CIFAR-10，SVHN和ImageNet数据集训练了QNN。由此产生的QNN可以达到与32-bit同类网络相当的预测精度。例如，我们的AlexNet量化版本具有1-bit权重和2-bit激活，可实现51％的top-1准确性。此外，我们还将参数梯度量化为6-bit，这使得仅使用按位运算就可以进行梯度计算。在Penn Treebank数据集上对量化的递归神经网络进行了测试，并仅使用4-bit就获得了与32-bit相当的准确性。最后但并非最不重要的一点是，我们对二进制矩阵乘法GPU内核进行了编程，与未优化的GPU内核相比，使用它可以使MNIST QNN的运行速度快7倍，而不会降低分类精度。 QNN代码已开源。