㈠ qnn是什麼意思網路用語
神經網路（QNN）的方法，在運行時具有極低精度（例如1bit）權重和激活的神經網路。在訓練時期，量化的權重和激活值被用於計算參數梯度。在前向傳遞期間，QNN大大減少了內存大小和訪問，並用按位運算代替了大多數算術運算。結果，預期功耗將大大降低。我們通過MNIST，CIFAR-10，SVHN和ImageNet數據集訓練了QNN。由此產生的QNN可以達到與32-bit同類網路相當的預測精度。例如，我們的AlexNet量化版本具有1-bit權重和2-bit激活，可實現51％的top-1准確性。此外，我們還將參數梯度量化為6-bit，這使得僅使用按位運算就可以進行梯度計算。在Penn Treebank數據集上對量化的遞歸神經網路進行了測試，並僅使用4-bit就獲得了與32-bit相當的准確性。最後但並非最不重要的一點是，我們對二進制矩陣乘法GPU內核進行了編程，與未優化的GPU內核相比，使用它可以使MNIST QNN的運行速度快7倍，而不會降低分類精度。 QNN代碼已開源。