神经网络实时在线训练如何实现

⑴ 如何训练神经网络

1、先别着急写代码

训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。

Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。

由于神经网络实际上是数据集的压缩版本，因此您将能够查看网络（错误）预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致，那么就会有所收获。

一旦从数据中发现规律，可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值，而异常值总能揭示数据的质量或预处理中的一些错误。

2、设置端到端的训练评估框架

处理完数据集，接下来就能开始训练模型了吗？并不能！下一步是建立一个完整的训练+评估框架。

在这个阶段，我们选择一个简单又不至于搞砸的模型，比如线性分类器、CNN，可视化损失。获得准确度等衡量模型的标准，用模型进行预测。

这个阶段的技巧有：

· 固定随机种子

使用固定的随机种子，来保证运行代码两次都获得相同的结果，消除差异因素。

· 简单化

在此阶段不要有任何幻想，不要扩增数据。扩增数据后面会用到，但是在这里不要使用，现在引入只会导致错误。

· 在评估中添加有效数字

在绘制测试集损失时，对整个测试集进行评估，不要只绘制批次测试损失图像，然后用Tensorboard对它们进行平滑处理。

· 在初始阶段验证损失函数

验证函数是否从正确的损失值开始。例如，如果正确初始化最后一层，则应在softmax初始化时测量-log(1/n_classes)。

· 初始化

正确初始化最后一层的权重。如果回归一些平均值为50的值，则将最终偏差初始化为50。如果有一个比例为1:10的不平衡数据集，请设置对数的偏差，使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。

· 人类基线

监控除人为可解释和可检查的损失之外的指标。尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释，并且对于每个示例，将一个注释视为预测，将第二个注释视为事实。

· 设置一个独立于输入的基线

最简单的方法是将所有输入设置为零，看看模型是否学会从输入中提取任何信息。

· 过拟合一个batch

增加了模型的容量并验证我们可以达到的最低损失。

· 验证减少训练损失

尝试稍微增加数据容量。

⑵ 如何实现神经网络控制器的“离线训练，在线修正”

% 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列（主从成分） Output = Data(:,end); % 取数据表的最后一列

⑶ 在神经网络算法当中提到的在线训练和离线训练分别是什么意思

在线训练的话数据是实时过来的。所采用的算法必须得考虑这种实时性。而离线的话数据都已得到，即不会随着时间的变化有新的数据到来

⑷ 如何用python和scikit learn实现神经网络

1：神经网络算法简介

2：Backpropagation算法详细介绍

3：非线性转化方程举例

4：自己实现神经网络算法NeuralNetwork

5：基于NeuralNetwork的XOR实例

6：基于NeuralNetwork的手写数字识别实例

7：scikit-learn中BernoulliRBM使用实例

8：scikit-learn中的手写数字识别实例

一：神经网络算法简介

1：背景

以人脑神经网络为启发，历史上出现过很多版本，但最着名的是backpropagation

2：多层向前神经网络（Multilayer Feed-Forward Neural Network）

⑸ 什么是人工神经网络的学习它可以通过哪些途径来实现

早在1943 年，神经科学家和控制论专家Warren McCulloch 与逻辑学家Walter Pitts就基于数学和阈值逻辑算法创造了一种神经网络计算模型。其中最基本的组成成分是神经元（Neuron）模型，即上述定义中的“简单单元”（Neuron 也可以被称为Unit）。在生物学所定义的神经网络中（如图1所示），每个神经元与其他神经元相连，并且当某个神经元处于兴奋状态时，它就会向其他相连的神经元传输化学物质，这些化学物质会改变与之相连的神经元的电位，当某个神经元的电位超过一个阈值后，此神经元即被激活并开始向其他神经元发送化学物质。Warren McCulloch 和Walter Pitts 将上述生物学中所描述的神经网络抽象为一个简单的线性模型（如图2所示），这就是一直沿用至今的“McCulloch-Pitts 神经元模型”，或简称为“MP 模型”。

在MP 模型中，某个神经元接收到来自n 个其他神经元传递过来的输入信号（好比生物学中定义的神经元传输的化学物质），这些输入信号通过带权重的连接进行传递，某个神经元接收到的总输入值将与它的阈值进行比较，然后通过“激活函数”（亦称响应函数）处理以产生此神经元的输出。如果把许多个这样的神经元按照一定的层次结构连接起来，就可以得到相对复杂的多层人工神经网络。

⑹ 求PSO—BP神经网络训练方法，matlab实现的

输入层、隐层的神经元激励函数选为S型函数，输出层采用线性函数purelin。各层的节点数分别为3、10、2，训练步数选为1500次。在Matlab中进行BP神经网络的建立、训练、仿真，结果如下：
T=[0.23 0.23];目标输出值
P=[-04953 -0.4915 ;0.4889 0.6160; 0.3708 0.4535]; 输入矩阵三行两列
net=newff(minmax(P),[5,12,1],{'tansig','tansig','purelin'},'traingd');网络建立、训练
net.trainParam.epochs=1500;训练步数
net.trainParam.goal=0.00001;均方误差
[net,tr]=train(net,P,T);进行训练
y=sim(net,P)输出的结果

⑺ 怎样用weka对数据进行神经网络训练

常用的神经网络就是向前反馈的BP(Back Propagation)网络，也叫多层前馈网络，而BP在weka中就是由MultilayerPerceptron算法实现的。

所以呢
在weka explorer中选用classifiers.functions.MultilayerPerceptron训练分类模型就可以了^^

⑻ 深度神经网络是如何训练的

Coursera的Ng机器学习，UFLDL都看过。没记错的话Ng的机器学习里是直接给出公式了，虽然你可能知道如何求解，但是即使不知道完成作业也不是问题，只要照着公式写就行。反正我当时看的时候心里并没能比较清楚的明白。我觉得想了解深度学习UFLDL教程 - Ufldl是不错的。有习题，做完的话确实会对深度学习有更加深刻的理解，但是总还不是很清晰。后来看了Li FeiFei的Stanford University CS231n: Convolutional Neural Networks for Visual Recognition，我的感觉是对CNN的理解有了很大的提升。沉下心来推推公式，多思考，明白了反向传播本质上是链式法则(虽然之前也知道，但是当时还是理解的迷迷糊糊的)。所有的梯度其实都是对最终的loss进行求导得到的，也就是标量对矩阵or向量的求导。当然同时也学到了许多其他的关于cnn的。并且建议你不仅要完成练习，最好能自己也写一个cnn，这个过程可能会让你学习到许多更加细节和可能忽略的东西。这样的网络可以使用中间层构建出多层的抽象，正如我们在布尔线路中做的那样。例如，如果我们在进行视觉模式识别，那么在第一层的神经元可能学会识别边，在第二层的神经元可以在边的基础上学会识别出更加复杂的形状，例如三角形或者矩形。第三层将能够识别更加复杂的形状。依此类推。这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。然后，正如线路的示例中看到的那样，存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。

⑼ 神经网络如何用单片机实现

主要考虑三个方向：

1）网络本身，神网本质上是一组矩阵，矩阵在单片机中的表现可以通过数组来实现。

2）输入输出，神网的应用就是把输入阵列与网络本身的矩阵点乘叉乘后算术求和，产生输出矩阵，把输入输出的算法做到单片机里也不是难事。

3）训练，神网的权值矩阵都是训练出来的，采用诸如前向或反向的算法，可以做离线也可以做在线，如果做离线就没有必要把算法实现在单片机内，PC上就可以做，然后导入矩阵即可；如果做在线则是相对较难的技术，需要在单片机上实现，对于单片机本身的资源要求也较高。

简单说，1）是基础，也最容易；1）+2）就已经是神经网络的应用了，也容易实现。1）+2）+Matlab神经网络离线训练是易于实现，且富有弹性的应用方式；1）+2）+在线训练基本上就是具备自己学习能力的机器人，这是学术界一直探索的方向。