在Caffe框架的ReLU中修改阈值

Question

我是Caffe的新手，现在我需要修改卷积神经网络中ReLU图层的阈值。我现在用来修改阈值的方式是编辑caffe/src/caffe/layers/relu_layer.cpp中的C++源代码，并重新编译它。但是，每次调用ReLU时，都会将阈值更改为指定值。在网络中的每个ReLU图层中是否有任何方法使用不同的值作为阈值？顺便说一句，我正在使用pycaffe界面，我找不到这样做的方法。

最后，对不起我的英文不好，如果有什么不清楚的地方，请告诉我，我会尽力详细描述它。

Answer 1

基本上

f(x) = x-threshold if x>threshold, 0 otherwise 

：

和编译你的caffe和pycaffe，在你net.prototxt后，你可以写一个relu层像您可以通过添加一个"Bias"图层来轻松实现该图层，该图层从输入中减去threshold，然后在常规图层"ReLU"呃

Answer 2

是的，你可以。在src/caffe/proto，添加一行：

message ReLUParameter { 
    ... 
    optional float threshold = 3 [default = 0]; #add this line 
    ... 
} 

和src/caffe/layers/relu_layer.cpp，做一些小的修改：

template <typename Dtype> 
void ReLULayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom, 
    const vector<Blob<Dtype>*>& top) { 
    ... 
    Dtype threshold = this->layer_param_.relu_param().threshold(); //add this line 
    for (int i = 0; i < count; ++i) { 
    top_data[i] = (bottom_data[i] > threshold) ? (bottom_data[i] - threshold) : 
        (negative_slope * (bottom_data[i] - threshold)); 
    } 
} 

template <typename Dtype> 
void ReLULayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top, 
    const vector<bool>& propagate_down, 
    const vector<Blob<Dtype>*>& bottom) { 
    if (propagate_down[0]) { 
    ... 
    Dtype threshold = this->layer_param_.relu_param().threshold(); //this line 
    for (int i = 0; i < count; ++i) { 
     bottom_diff[i] = top_diff[i] * ((bottom_data[i] > threshold) 
      + negative_slope * (bottom_data[i] <= threshold)); 
    } 
    } 
} 

，同样在src/caffe/layers/relu_layer.cu代码应该像this。如果我正确理解你的 “RELU与门槛”

layer { 
    name: "threshold_relu" 
    type: "ReLU" 
    relu_param: {threshold: 1 #e.g. you want this relu layer to have a threshold 1} 
    bottom: "input" 
    top: "output" 
}