❶ 深度学习caffe的代码怎么读
楼上的大神回答的都很好了，非常感谢。这里我想说一下我自己学习caffe的方式，限于时间篇幅，并不想深入到具体的实现细节，只是从大的方向上谈谈，因为讲清楚一个细节都是一篇博客的篇幅了。
1．学习程序的第一步，先让程序跑起来，看看结果，这样就会有直观的感受。
Caffe的官网上Caffe | Deep Learning Framework 提供了很多的examples,你可以很容易地开始训练一些已有的经典模型，如LeNet。我建议先从
LeNet MNIST Tutorial开
始，因为数据集很小，网络也很小但很经典，用很少的时间就可以跑起来了。当你看到terminal刷拉拉的一行行输出，看到不断减少的loss和不断上升
的accuracy，训练结束你得到了99+%的准确率，感觉好厉害的样子。你可以多跑跑几个例子，熟悉一下环境和接口。
2．单步调试，跟着Caffe在网络里流动
当玩了几天之后，你对Caffe的接口有点熟悉了，对已有的例子也玩腻了，你开始想看看具体是怎么实现的了。我觉得最好的方法是通过单步调试的方式跟着程序一步一步的在网络里前向传播，然后再被当成误差信息传回来。
Caffe
就像一个你平常编程中Project,你可以使用IDE或者GDB去调试它，这里我们不细说调试的过程。你可以先跟踪前向传播的过程，无非就是从高层次到
低层次的调用Forward函数，Solver->Net->Layer->Specific Layer
(Convolution等...).后向传播也类似，但因为你对Caffe里面的各种变量运算不熟悉，当你跟踪完前向传播时可能已经头晕眼花了，还是休
息一下，消化一下整个前向传播的流程。
刚刚开始你没有必要对每个Layer的计算细节都那么较真，大概知道程序的运算流程就好，这样你才可以比较快的对Caffe有个大体的把握。
3．个性化定制Caffe
到这里，你已经可以说自己有用过Caffe了，但是还不能算入门，因为你还不知道怎么修改源码，满足自己特定的需求。我们很多时候都需要自己定义新的层来完成特定的运算，这时你需要在Caffe里添加新的层。
你一开肯定无从下手，脑子一片空白。幸运的是Caffe github上的Wiki Development · BVLC/caffe Wiki · GitHub已经有了教程了，而且这是最接近latest Caffe的源码结构的教程，你在网上搜到的Blog很多是有点过时的，因为Caffe最近又重构了代码。你可以跟着它的指导去添加自己的层。
虽然你已经知道要在哪里添加自己的东西了，但你遇到最核心的问题是如何写下面这四个函数。
forward_cpu()
forward_gpu()
backward_cpu()
backward_gpu()
你可以先模仿已有的层去实现这四个函数，而且我相信forward函数很快就可以写出来了，但backward的还是一头雾水。这时我们就要补补神经网络里最核心的内容了——Backpropagation.
4．理解并实现Backpropagation
这
个我觉得是与平台无关的，不管你是使用Caffe、Torch
7,还是Theano,你都需要深刻理解并掌握的。因为我比较笨，花了好长时间才能够适应推导中的各种符号。其实也不难，就是误差顺着Chain
rule法则流回到前面的层。我不打算自己推导后向传播的过程，因为我知道我没有办法将它表达得很好，而且网上已经有很多非常好的教程了。下面是我觉得比
较好的学习步骤吧。
从浅层的神经网络（所谓的全连接层）的后向传播开始，因为这个比较简单，而且现在我们常说的CNN和LSTM的梯度计算也最终会回归到这里。
第一个必看的是Ng深入浅出的Ufldl教程UFLDL Tutorial，还有中文版的，这对不喜欢看英语的同学是个好消息。当然你看一遍不理解，再看一遍，忘了，再看，读个几遍你才会对推导过程和数学符号熟悉。我头脑不大行，来来回回看了好多次。
当然，Ufldl的教程有点短，我还发现了一个讲得更细腻清晰的教程, Michael Nielsen写的Neural networks and deep learning。它讲得实在太好了，以至于把我的任督二脉打通了。在Ufldl的基础上读这个，你应该可以很快掌握全连接层的反向传播。
最后在拿出standford大牛karpathy的一篇博客Hacker's guide to Neural Networks，这里用了具体的编程例子手把手教你算梯度，并不是推导后向传播公式的，是关于通用梯度计算的。用心去体会一下。
这时你跃跃欲试，回去查看Caffe源码里Convolution层的实现，但发现自己好像没看懂。虽说卷积层和全连接层的推导大同小异，但思维上还是有个gap的。我建议你先去看看Caffe如何实现卷积的，Caffe作者贾扬清大牛在知乎上的回答在 Caffe 中如何计算卷积？让我茅塞顿开。重点理解im2col和col2im.
这
时你知道了Convolution的前向传播，还差一点就可以弄明白后向传播怎么实现了。我建议你死磕Caffe中Convolution层的计算过程，
把每一步都搞清楚，经过痛苦的过程之后你会对反向传播有了新的体会的。在这之后，你应该有能力添加自己的层了。再补充一个完整的添加新的层的教程Making a Caffe Layer • Computer Vision Enthusiast。这篇教程从头开始实现了一个Angle To Sine Cosine Layer，包含了梯度推导，前向与后向传播的CPU和GPU函数，非常棒的一个教程。
最后，建议学习一下基本的GPU Cuda编程，虽然Caffe中已经把Cuda函数封装起来了，用起来很方便，但有时还是需要使用kernel函数等Cuda接口的函数。这里有一个入门的视频教程，讲得挺不错的NVIDIA CUDA初级教程视频。
❷ 如何用caffe解决回归问题
如何在Caffe中配置每一个层的结构最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。1.VisionLayers1.1卷积层(Convolution)类型：CONVOLUTION例子layers{name:"conv1"type:CONVOLUTIONbottom:"data"top:"conv1"blobs_lr:1#_lr:2#_decay:1#_decay:0#_param{num_output:96#learn96filterskernel_size:11#eachfilteris11x11stride:4#_filler{type:"gaussian"#:0.01#distributionwithstdev0.01(defaultmean:0)}bias_filler{type:"constant"#initializethebiasestozero(0)value:0}}}blobs_lr:学习率调整的参数，在上面的例子中设置权重学习率和运行中求解器给出的学习率一样，同时是偏置学习率为权重的两倍。weight_decay：卷积层的重要参数必须参数：num_output(c_o)：过滤器的个数kernel_size(orkernel_handkernel_w)：过滤器的大小可选参数：weight_filler[defaulttype:'constant'value:0]：参数的初始化方法bias_filler：偏置的初始化方法bias_term[defaulttrue]：指定是否是否开启偏置项pad(orpad_handpad_w)[default0]：指定在输入的每一边加上多少个像素stride(orstride_handstride_w)[default1]：指定过滤器的步长group(g)[default1]:Ifg>1,.Specifically,,els.通过卷积后的大小变化：输入：n*c_i*h_i*w_i输出：n*c_o*h_o*w_o，其中h_o=(h_i+2*pad_h-kernel_h)/stride_h+1，w_o通过同样的方法计算。1.2池化层（Pooling）类型：POOLING例子layers{name:"pool1"type:POOLINGbottom:"conv1"top:"pool1"pooling_param{pool:MAXkernel_size:3#poolovera3x3regionstride:2#steptwopixels(inthebottomblob)betweenpoolingregions}}卷积层的重要参数必需参数：kernel_size(orkernel_handkernel_w)：过滤器的大小可选参数：pool[defaultMAX]：pooling的方法，目前有MAX,AVE,和STOCHASTIC三种方法pad(orpad_handpad_w)[default0]：指定在输入的每一遍加上多少个像素stride(orstride_handstride_w)[default1]：指定过滤器的步长通过池化后的大小变化：输入：n*c_i*h_i*w_i输出：n*c_o*h_o*w_o，其中h_o=(h_i+2*pad_h-kernel_h)/stride_h+1，w_o通过同样的方法计算。1.3LocalResponseNormalization(LRN)类型：LRNLocalResponseNormalization是对一个局部的输入区域进行的归一化（激活a被加一个归一化权重（分母部分）生成了新的激活b），有两种不同的形式，一种的输入区域为相邻的channels（crosschannelLRN），另一种是为同一个channel内的空间区域（withinchannelLRN）计算公式：对每一个输入除以可选参数：local_size[default5]：对于crosschannelLRN为需要求和的邻近channel的数量；对于withinchannelLRN为需要求和的空间区域的边长alpha[default1]：scaling参数beta[default5]：指数norm_region[defaultACROSS_CHANNELS]:选择哪种LRN的方法ACROSS_CHANNELS或者WITHIN_CHANNEL2.LossLayers深度学习是通过最小化输出和目标的Loss来驱动学习。2.1Softmax类型:SOFTMAX_LOSS2.2Sum-of-Squares/Euclidean类型:EUCLIDEAN_LOSS2.3Hinge/Margin类型:HINGE_LOSS例子：#L1Normlayers{name:"loss"type:HINGE_LOSSbottom:"pred"bottom:"label"}#L2Normlayers{name:"loss"type:HINGE_LOSSbottom:"pred"bottom:"label"top:"loss"hinge_loss_param{norm:L2}}可选参数：norm[defaultL1]:选择L1或者L2范数输入：n*c*h*wPredictionsn*1*1*1Labels输出1*1*1*1ComputedLoss2.4SigmoidCross-Entropy类型：SIGMOID_CROSS_ENTROPY_LOSS2.5Infogain类型：INFOGAIN_LOSS2.6AccuracyandTop-k类型：ACCURACY用来计算输出和目标的正确率，事实上这不是一个loss，而且没有backward这一步。3.激励层（Activation/NeuronLayers）一般来说，激励层是element-wise的操作，输入和输出的大小相同，一般情况下就是一个非线性函数。3.1ReLU/Rectified-LinearandLeaky-ReLU类型:RELU例子:layers{name:"relu1"type:RELUbottom:"conv1"top:"conv1"}可选参数：negative_slope[default0]:指定输入值小于零时的输出。ReLU是目前使用做多的激励函数，主要因为其收敛更快，并且能保持同样效果。标准的ReLU函数为max(x,0)，而一般为当x>0时输出x，但x<=0时输出negative_slope。RELU层支持in-place计算，这意味着bottom的输出和输入相同以避免内存的消耗。3.2Sigmoid类型:SIGMOID例子:layers{name:"encode1neuron"bottom:"encode1"top:"encode1neuron"type:SIGMOID}SIGMOID层通过sigmoid(x)计算每一个输入x的输出，函数如下图。3.3TanH/HyperbolicTangent类型:TANH例子:layers{name:"encode1neuron"bottom:"encode1"top:"encode1neuron"type:SIGMOID}TANH层通过tanh(x)计算每一个输入x的输出，函数如下图。3.3AbsoluteValue类型:ABSVAL例子:layers{name:"layer"bottom:"in"top:"out"type:ABSVAL}ABSVAL层通过abs(x)计算每一个输入x的输出。3.4Power类型:POWER例子：layers{name:"layer"bottom:"in"top:"out"type:POWERpower_param{power:1scale:1shift:0}}可选参数：power[default1]scale[default1]shift[default0]POWER层通过(shift+scale*x)^power计算每一个输入x的输出。3.5BNLL类型:BNLL例子：layers{name:"layer"bottom:"in"top:"out"type:BNLL}BNLL(binomialnormalloglikelihood)层通过log(1+exp(x))计算每一个输入x的输出。4.数据层（DataLayers）数据通过数据层进入Caffe，数据层在整个网络的底部。数据可以来自高效的数据库（LevelDB或者LMDB），直接来自内存。如果不追求高效性，可以以HDF5或者一般图像的格式从硬盘读取数据。4.1Database类型：DATA必须参数：source:包含数据的目录名称batch_size:一次处理的输入的数量可选参数：rand_skip:在开始的时候从输入中跳过这个数值，这在异步随机梯度下降（SGD）的时候非常有用backend[defaultLEVELDB]:选择使用LEVELDB或者LMDB4.2In-Memory类型:MEMORY_DATA必需参数：batch_size,channels,height,width:指定从内存读取数据的大小,withoutingit.Inordertouseit,onemustcallMemoryDataLayer::Reset(fromC++)orNet.set_input_arrays(fromPython)(as4Drowmajorarray),whichisreadonebatch-sizedchunkatatime.4.3HDF5Input类型:HDF5_DATA必要参数：source:需要读取的文件名batch_size：一次处理的输入的数量4.4HDF5Output类型:HDF5_OUTPUT必要参数：file_name:输出的文件名HDF5的作用和这节中的其他的层不一样，它是把输入的blobs写到硬盘4.5Images类型:IMAGE_DATA必要参数：source:text文件的名字，每一行给出一张图片的文件名和labelbatch_size:一个batch中图片的数量可选参数：rand_skip：在开始的时候从输入中跳过这个数值，这在异步随机梯度下降（SGD）的时候非常有用shuffle[defaultfalse]new_height,new_width:把所有的图像resize到这个大小4.6Windows类型：WINDOW_DATA4.7Dummy类型：DUMMY_DATADummy层用于development和debugging。具体参数DummyDataParameter。5.一般层（CommonLayers）5.1全连接层InnerProct类型：INNER_PRODUCT例子：layers{name:"fc8"type:INNER_PRODUCTblobs_lr:1#_lr:2#_decay:1#_decay:0#_proct_param{num_output:1000weight_filler{type:"gaussian"std:0.01}bias_filler{type:"constant"value:0}}bottom:"fc7"top:"fc8"}必要参数：num_output(c_o)：过滤器的个数可选参数：weight_filler[defaulttype:'constant'value:0]：参数的初始化方法bias_filler：偏置的初始化方法bias_term[defaulttrue]：指定是否是否开启偏置项通过全连接层后的大小变化：输入：n*c_i*h_i*w_i输出：n*c_o*1*15.2Splitting类型：SPLITSplitting层可以把一个输入blob分离成多个输出blobs。这个用在当需要把一个blob输入到多个输出层的时候。5.3Flattening类型：FLATTENFlattening是把一个输入的大小为n*c*h*w变成一个简单的向量，其大小为n*(c*h*w)*1*1。5.4Concatenation类型：CONCAT例子：layers{name:"concat"bottom:"in1"bottom:"in2"top:"out"type:CONCATconcat_param{concat_dim:1}}可选参数：concat_dim[default1]：0代表链接num，1代表链接channels通过全连接层后的大小变化：输入：从1到K的每一个blob的大小n_i*c_i*h*w输出：如果concat_dim=0:(n_1+n_2++n_K)*c_1*h*w，需要保证所有输入的c_i相同。如果concat_dim=1:n_1*(c_1+c_2++c_K)*h*w，需要保证所有输入的n_i相同。通过Concatenation层，可以把多个的blobs链接成一个blob。5.(currentlynumorchannelonly)withgivensliceindices.5.6ElementwiseOperations类型：ELTWISE5.7Argmax类型：ARGMAX5.8Softmax类型：SOFTMAX5.9Mean-VarianceNormalization类型：MVN6.参考Caffe
❸ caffe中怎么固定前面的网络参数，训练后面层的参数
1、会更新，finetune的过程相当于继续训练，跟直接训练的区别是初始化的时候：
a. 直接训练是按照网络定义指定的方式初始化（如高斯随机初始化）
b. finetune是用你已经有的参数文件来初始化（就是之前训练好的caffemodel）
2、嗯，这个问题有两种情况：比如有4个全连接层A->B->C->D
a. 你希望C层的参数不会改变，C前面的AB层的参数也不会改变，这种情况也就是D层的梯度不往前反向传播到D层的输入blob（也就是C层的输出blob 没有得到梯度），你可以通过设置D层的propagate_down为false来做到。
propagate_down的数量与输入blob的数量相同，假如你某个层有2个输入blob，那么你应该在该layer的Param里面写上两行：
propagate_down : 0 # 第1个输入blob不会得到反向传播的梯度
propagate_down : 0 # 第2个输入blob不会得到反向传播的梯度
这样的话，你这个layer的梯度就不会反向传播啦，前面的所有layer的参数也就不会改变了
b. 你希望C层的参数不会改变，但是C前面的AB层的参数会改变，这种情况，只是固定了C层的参数，C层得到的梯度依然会反向传播给前面的B层。只需要将对应的参数blob的学习率调整为0：
你在layer里面加上param { lr_mult: 0 }就可以了，比如全连接层里面：
layer {
type: "InnerProct"
param { # 对应第1个参数blob的配置，也就是全连接层的参数矩阵的配置
lr_mult: 0 # 学习率为0，其他参数可以看caffe.proto里面的ParamSpec这个类型
}
param { # 对应第2个参数blob的配置，也就是全连接层的偏置项的配置
lr_mult: 0 # 学习率为0
}
}
不知道这样说你能不能理解
❹ 深度学习caffe的代码怎么读
1．学习程序的第一步，先让程序跑起来，看看结果，这样就会有直观的感受。
Caffe的官网上Caffe | Deep Learning Framework 提供了很多的examples,你可以很容易地开始训练一些已有的经典模型，如LeNet。我建议先从 LeNet MNIST Tutorial开始，因为数据集很小，网络也很小但很经典，用很少的时间就可以跑起来了。当你看到terminal刷拉拉的一行行输出，看到不断减少的loss和不断上升的accuracy，训练结束你得到了99+%的准确率，感觉好厉害的样子。你可以多跑跑几个例子，熟悉一下环境和接口。
2．单步调试，跟着Caffe在网络里流动
当玩了几天之后，你对Caffe的接口有点熟悉了，对已有的例子也玩腻了，你开始想看看具体是怎么实现的了。我觉得最好的方法是通过单步调试的方式跟着程序一步一步的在网络里前向传播，然后再被当成误差信息传回来。
Caffe就像一个你平常编程中Project,你可以使用IDE或者GDB去调试它，这里我们不细说调试的过程。你可以先跟踪前向传播的过程，无非就是从高层次到低层次的调用Forward函数，Solver->Net->Layer->Specific Layer (Convolution等...).后向传播也类似，但因为你对Caffe里面的各种变量运算不熟悉，当你跟踪完前向传播时可能已经头晕眼花了，还是休息一下，消化一下整个前向传播的流程。
刚刚开始你没有必要对每个Layer的计算细节都那么较真，大概知道程序的运算流程就好，这样你才可以比较快的对Caffe有个大体的把握。
3．个性化定制Caffe
到这里，你已经可以说自己有用过Caffe了，但是还不能算入门，因为你还不知道怎么修改源码，满足自己特定的需求。我们很多时候都需要自己定义新的层来完成特定的运算，这时你需要在Caffe里添加新的层。
你一开肯定无从下手，脑子一片空白。幸运的是Caffe github上的Wiki Development · BVLC/caffe Wiki · GitHub已经有了教程了，而且这是最接近latest Caffe的源码结构的教程，你在网上搜到的Blog很多是有点过时的，因为Caffe最近又重构了代码。你可以跟着它的指导去添加自己的层。
虽然你已经知道要在哪里添加自己的东西了，但你遇到最核心的问题是如何写下面这四个函数。
forward_cpu()
forward_gpu()
backward_cpu()
backward_gpu()
你可以先模仿已有的层去实现这四个函数，而且我相信forward函数很快就可以写出来了，但backward的还是一头雾水。这时我们就要补补神经网络里最核心的内容了——Backpropagation.
4．理解并实现Backpropagation
这个我觉得是与平台无关的，不管你是使用Caffe、Torch 7,还是Theano,你都需要深刻理解并掌握的。因为我比较笨，花了好长时间才能够适应推导中的各种符号。其实也不难，就是误差顺着Chain rule法则流回到前面的层。我不打算自己推导后向传播的过程，因为我知道我没有办法将它表达得很好，而且网上已经有很多非常好的教程了。下面是我觉得比较好的学习步骤吧。
从浅层的神经网络（所谓的全连接层）的后向传播开始，因为这个比较简单，而且现在我们常说的CNN和LSTM的梯度计算也最终会回归到这里。
第一个必看的是Ng深入浅出的Ufldl教程UFLDL Tutorial，还有中文版的，这对不喜欢看英语的同学是个好消息。当然你看一遍不理解，再看一遍，忘了，再看，读个几遍你才会对推导过程和数学符号熟悉。我头脑不大行，来来回回看了好多次。
当然，Ufldl的教程有点短，我还发现了一个讲得更细腻清晰的教程, Michael Nielsen写的Neural networks and deep learning。它讲得实在太好了，以至于把我的任督二脉打通了。在Ufldl的基础上读这个，你应该可以很快掌握全连接层的反向传播。
最后在拿出standford大牛karpathy的一篇博客Hacker's guide to Neural Networks，这里用了具体的编程例子手把手教你算梯度，并不是推导后向传播公式的，是关于通用梯度计算的。用心去体会一下。
这时你跃跃欲试，回去查看Caffe源码里Convolution层的实现，但发现自己好像没看懂。虽说卷积层和全连接层的推导大同小异，但思维上还是有个gap的。我建议你先去看看Caffe如何实现卷积的，Caffe作者贾扬清大牛在知乎上的回答在 Caffe 中如何计算卷积？让我茅塞顿开。重点理解im2col和col2im.
这时你知道了Convolution的前向传播，还差一点就可以弄明白后向传播怎么实现了。我建议你死磕Caffe中Convolution层的计算过程，把每一步都搞清楚，经过痛苦的过程之后你会对反向传播有了新的体会的。在这之后，你应该有能力添加自己的层了。再补充一个完整的添加新的层的教程Making a Caffe Layer • Computer Vision Enthusiast。这篇教程从头开始实现了一个Angle To Sine Cosine Layer，包含了梯度推导，前向与后向传播的CPU和GPU函数，非常棒的一个教程。
最后，建议学习一下基本的GPU Cuda编程，虽然Caffe中已经把Cuda函数封装起来了，用起来很方便，但有时还是需要使用kernel函数等Cuda接口的函数。这里有一个入门的视频教程，讲得挺不错的NVIDIA CUDA初级教程视频。
作者：Gein Chen
来源：知乎
❺ caffe怎么把全连接层转成convolutional层
首先将原模型加载进来fc_param，然后把全conv的配置文件和模型加载conv_param，然后将fc_param进行flat并赋值给conv_param，当然在flat时会按照conv_param的格式进行赋值。然后我们就完成了全conv的模型生成，此时再把模型保存下来，就完成了模型转换为全conv的模型的过程。
然后在我们使用full conv模型时，只要加载就可以了。
❻ caffe训练网络的时候学习率应该怎么设置
1、会更新，finetune的过程相当于继续训练，跟直接训练的区别是初始化的时候：
a. 直接训练是按照网络定义指定的方式初始化（如高斯随机初始化）
b. finetune是用你已经有的参数文件来初始化（就是之前训练好的caffemodel）
2、嗯，这个问题有两种情况：比如有4个全连接层A->B->C->D
a. 你希望C层的参数不会改变，C前面的AB层的参数也不会改变，这种情况也就是D层的梯度不往前反向传播到D层的输入blob（也就是C层的输出blob 没有得到梯度），你可以通过设置D层的propagate_down为false来做到。
propagate_down的数量与输入blob的数量相同，假如你某个层有2个输入blob，那么你应该在该layer的Param里面写上两行：
propagate_down : 0 # 第1个输入blob不会得到反向传播的梯度
propagate_down : 0 # 第2个输入blob不会得到反向传播的梯度
这样的话，你这个layer的梯度就不会反向传播啦，前面的所有layer的参数也就不会改变了
b. 你希望C层的参数不会改变，但是C前面的AB层的参数会改变，这种情况，只是固定了C层的参数，C层得到的梯度依然会反向传播给前面的B层。只需要将对应的参数blob的学习率调整为0：
你在layer里面加上param { lr_mult: 0 }就可以了，比如全连接层里面：
layer {
type: "InnerProct"
param { # 对应第1个参数blob的配置，也就是全连接层的参数矩阵的配置
lr_mult: 0 # 学习率为0，其他参数可以看caffe.proto里面的ParamSpec这个类型
}
param { # 对应第2个参数blob的配置，也就是全连接层的偏置项的配置
lr_mult: 0 # 学习率为0
}
}
不知道这样说你能不能理解
❼ 如何在Caffe中配置每一个层的结构
如何在Caffe中配置每一个层的结构
最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。
1. Vision Layers
1.1 卷积层(Convolution)
类型：CONVOLUTION
例子
layers {
name: "conv1"
type: CONVOLUTION
bottom: "data"
top: "conv1"
blobs_lr: 1 # learning rate multiplier for the filters
blobs_lr: 2 # learning rate multiplier for the biases
weight_decay: 1 # weight decay multiplier for the filters
weight_decay: 0 # weight decay multiplier for the biases
convolution_param {
num_output: 96 # learn 96 filters
kernel_size: 11 # each filter is 11x11
stride: 4 # step 4 pixels between each filter application
weight_filler {
type: "gaussian" # initialize the filters from a Gaussian
std: 0.01 # distribution with stdev 0.01 (default mean: 0)
}
bias_filler {
type: "constant" # initialize the biases to zero (0)
value: 0
}
}
}
blobs_lr: 学习率调整的参数，在上面的例子中设置权重学习率和运行中求解器给出的学习率一样，同时是偏置学习率为权重的两倍。
weight_decay：
卷积层的重要参数
必须参数：
num_output (c_o)：过滤器的个数
kernel_size (or kernel_h and kernel_w)：过滤器的大小
可选参数：
weight_filler [default type: 'constant' value: 0]：参数的初始化方法
bias_filler：偏置的初始化方法
bias_term [default true]：指定是否是否开启偏置项
pad (or pad_h and pad_w) [default 0]：指定在输入的每一边加上多少个像素
stride (or stride_h and stride_w) [default 1]：指定过滤器的步长
group (g) [default 1]: If g > 1, we restrict the connectivityof each filter to a subset of the input. Specifically, the input and outputchannels are separated into g groups, and the ith output group channels will beonly connected to the ith input group channels.
通过卷积后的大小变化：
输入：n * c_i * h_i * w_i
输出：n * c_o * h_o * w_o，其中h_o = (h_i + 2 * pad_h - kernel_h) /stride_h + 1，w_o通过同样的方法计算。
1.2 池化层（Pooling）
类型：POOLING
例子
layers {
name: "pool1"
type: POOLING
bottom: "conv1"
top: "pool1"
pooling_param {
pool: MAX
kernel_size: 3 # pool over a 3x3 region
stride: 2 # step two pixels (in the bottom blob) between pooling regions
}
}
卷积层的重要参数
必需参数：
kernel_size (or kernel_h and kernel_w)：过滤器的大小
可选参数：
pool [default MAX]：pooling的方法，目前有MAX, AVE, 和STOCHASTIC三种方法
pad (or pad_h and pad_w) [default 0]：指定在输入的每一遍加上多少个像素
stride (or stride_h and stride_w) [default1]：指定过滤器的步长
通过池化后的大小变化：
输入：n * c_i * h_i * w_i
输出：n * c_o * h_o * w_o，其中h_o = (h_i + 2 * pad_h - kernel_h) /stride_h + 1，w_o通过同样的方法计算。
1.3 Local Response Normalization (LRN)
类型：LRN
Local ResponseNormalization是对一个局部的输入区域进行的归一化（激活a被加一个归一化权重（分母部分）生成了新的激活b），有两种不同的形式，一种的输入区域为相邻的channels（cross channel LRN），另一种是为同一个channel内的空间区域（within channel LRN）
计算公式：对每一个输入除以
可选参数：
local_size [default 5]：对于cross channel LRN为需要求和的邻近channel的数量；对于within channel LRN为需要求和的空间区域的边长
alpha [default 1]：scaling参数
beta [default 5]：指数
norm_region [default ACROSS_CHANNELS]: 选择哪种LRN的方法ACROSS_CHANNELS 或者WITHIN_CHANNEL
2. Loss Layers
深度学习是通过最小化输出和目标的Loss来驱动学习。
2.1 Softmax
类型: SOFTMAX_LOSS
2.2 Sum-of-Squares / Euclidean
类型: EUCLIDEAN_LOSS
2.3 Hinge / Margin
类型: HINGE_LOSS
例子：
# L1 Norm
layers {
name: "loss"
type: HINGE_LOSS
bottom: "pred"
bottom: "label"
}
# L2 Norm
layers {
name: "loss"
type: HINGE_LOSS
bottom: "pred"
bottom: "label"
top: "loss"
hinge_loss_param {
norm: L2
}
}
可选参数：
norm [default L1]: 选择L1或者 L2范数
输入：
n * c * h * wPredictions
n * 1 * 1 * 1Labels
输出
1 * 1 * 1 * 1Computed Loss
2.4 Sigmoid Cross-Entropy
类型：SIGMOID_CROSS_ENTROPY_LOSS
2.5 Infogain
类型：INFOGAIN_LOSS
2.6 Accuracy and Top-k
类型：ACCURACY
用来计算输出和目标的正确率，事实上这不是一个loss，而且没有backward这一步。
3. 激励层（Activation / Neuron Layers）
一般来说，激励层是element-wise的操作，输入和输出的大小相同，一般情况下就是一个非线性函数。
3.1 ReLU / Rectified-Linear and Leaky-ReLU
类型: RELU
例子:
layers {
name: "relu1"
type: RELU
bottom: "conv1"
top: "conv1"
}
可选参数：
negative_slope [default 0]:指定输入值小于零时的输出。
ReLU是目前使用做多的激励函数，主要因为其收敛更快，并且能保持同样效果。
标准的ReLU函数为max(x, 0)，而一般为当x > 0时输出x，但x <= 0时输出negative_slope。RELU层支持in-place计算，这意味着bottom的输出和输入相同以避免内存的消耗。
3.2 Sigmoid
类型: SIGMOID
例子:
layers {
name: "encode1neuron"
bottom: "encode1"
top: "encode1neuron"
type: SIGMOID
}
SIGMOID 层通过 sigmoid(x) 计算每一个输入x的输出，函数如下图。
3.3 TanH / Hyperbolic Tangent
类型: TANH
例子:
layers {
name: "encode1neuron"
bottom: "encode1"
top: "encode1neuron"
type: SIGMOID
}
TANH层通过 tanh(x) 计算每一个输入x的输出，函数如下图。
3.3 Absolute Value
类型: ABSVAL
例子:
layers {
name: "layer"
bottom: "in"
top: "out"
type: ABSVAL
}
ABSVAL层通过 abs(x) 计算每一个输入x的输出。
3.4 Power
类型: POWER
例子：
layers {
name: "layer"
bottom: "in"
top: "out"
type: POWER
power_param {
power: 1
scale: 1
shift: 0
}
}
可选参数：
power [default 1]
scale [default 1]
shift [default 0]
POWER层通过 (shift + scale * x) ^ power计算每一个输入x的输出。
3.5 BNLL
类型: BNLL
例子：
layers {
name: "layer"
bottom: "in"
top: "out"
type: BNLL
}
BNLL (binomial normal log likelihood) 层通过 log(1 + exp(x)) 计算每一个输入x的输出。
4. 数据层（Data Layers）
数据通过数据层进入Caffe，数据层在整个网络的底部。数据可以来自高效的数据库（LevelDB 或者 LMDB），直接来自内存。如果不追求高效性，可以以HDF5或者一般图像的格式从硬盘读取数据。
4.1 Database
类型：DATA
必须参数：
source:包含数据的目录名称
batch_size:一次处理的输入的数量
可选参数：
rand_skip:在开始的时候从输入中跳过这个数值，这在异步随机梯度下降（SGD）的时候非常有用
backend [default LEVELDB]: 选择使用 LEVELDB 或者 LMDB
4.2 In-Memory
类型: MEMORY_DATA
必需参数：
batch_size, channels, height, width: 指定从内存读取数据的大小
The memory data layer reads data directly from memory, without ing it. In order to use it, one must call MemoryDataLayer::Reset (from C++) or Net.set_input_arrays (from Python) in order to specify a source of contiguous data (as 4D row major array), which is read one batch-sized chunk at a time.
4.3 HDF5 Input
类型: HDF5_DATA
必要参数：
source:需要读取的文件名
batch_size：一次处理的输入的数量
4.4 HDF5 Output
类型: HDF5_OUTPUT
必要参数：
file_name: 输出的文件名
HDF5的作用和这节中的其他的层不一样，它是把输入的blobs写到硬盘
4.5 Images
类型: IMAGE_DATA
必要参数：
source: text文件的名字，每一行给出一张图片的文件名和label
batch_size: 一个batch中图片的数量
可选参数：
rand_skip：在开始的时候从输入中跳过这个数值，这在异步随机梯度下降（SGD）的时候非常有用
shuffle [default false]
new_height, new_width: 把所有的图像resize到这个大小
4.6 Windows
类型：WINDOW_DATA
4.7 Dummy
类型：DUMMY_DATA
Dummy 层用于development 和debugging。具体参数DummyDataParameter。
5. 一般层（Common Layers）
5.1 全连接层Inner Proct
类型：INNER_PRODUCT
例子：
layers {
name: "fc8"
type: INNER_PRODUCT
blobs_lr: 1 # learning rate multiplier for the filters
blobs_lr: 2 # learning rate multiplier for the biases
weight_decay: 1 # weight decay multiplier for the filters
weight_decay: 0 # weight decay multiplier for the biases
inner_proct_param {
num_output: 1000
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
bottom: "fc7"
top: "fc8"
}
必要参数：
num_output (c_o)：过滤器的个数
可选参数：
weight_filler [default type: 'constant' value: 0]：参数的初始化方法
bias_filler：偏置的初始化方法
bias_term [default true]：指定是否是否开启偏置项
通过全连接层后的大小变化：
输入：n * c_i * h_i * w_i
输出：n * c_o * 1 *1
5.2 Splitting
类型：SPLIT
Splitting层可以把一个输入blob分离成多个输出blobs。这个用在当需要把一个blob输入到多个输出层的时候。
5.3 Flattening
类型：FLATTEN
Flattening是把一个输入的大小为n * c * h * w变成一个简单的向量，其大小为 n * (c*h*w) * 1 * 1。
5.4 Concatenation
类型：CONCAT
例子：
layers {
name: "concat"
bottom: "in1"
bottom: "in2"
top: "out"
type: CONCAT
concat_param {
concat_dim: 1
}
}
可选参数：
concat_dim [default 1]：0代表链接num，1代表链接channels
通过全连接层后的大小变化：
输入：从1到K的每一个blob的大小n_i * c_i * h * w
输出：
如果concat_dim = 0: (n_1 + n_2 + ... + n_K) *c_1 * h * w，需要保证所有输入的c_i 相同。
如果concat_dim = 1: n_1 * (c_1 + c_2 + ... +c_K) * h * w，需要保证所有输入的n_i 相同。
通过Concatenation层，可以把多个的blobs链接成一个blob。
5.5 Slicing
The SLICE layer is a utility layer that slices an input layer to multiple output layers along a given dimension (currently num or channel only) with given slice indices.
5.6 Elementwise Operations
类型：ELTWISE
5.7 Argmax
类型：ARGMAX
5.8 Softmax
类型：SOFTMAX
5.9 Mean-Variance Normalization
类型：MVN
6. 参考
Caffe
❽ 在caffe上怎么做到各个卷积层权值参数共享
通过设置param {name : xxx}参数，如果名字相同就共享，不相同就不共享
❾ 如何针对自己的需要修改caffe的网络
你说的可能是finetune，它有几个步骤
根据自己的数据分类类别，修改原有网络的最后一层全连接层
将前面各层均冻结参数，仅打开最后一层全连接层的参数更新
载入模型已有参数，如caffenet，vgg等
根据自己的数据对模型进行微调训练。
微调成功后，可选择打开所有层进行小步长参数更新。
我在网上讲caffe，感兴趣可以搜搜我的名字。