regularized

    0热度

    1回答

    我想实现一个正则化技术“抖出”在CNTK

    有一纸“抖出：一种新方法正则深层神经网络训练”，它可以在这里找到：http://ieeexplore.ieee.org/abstract/document/7920425/ 一种新的正技术是在引进这篇论文可以用更多的功能来替代丢失层。我正在研究一个深度学习问题，为此我想实施“Shakeout”技术，但问题是我无法完全理解纸张的实际流水线。有太多的数学，我仍然在努力去理解。 到目前为止，我已经看到一
    python machine-learning caffe cntk regularized 2017-07-28

    1热度

    2回答

    之后设置Keras层的属性

    我有一个需要分析模型输出张量的定制调整器。基本上我不能这样做。 model = Sequential() model.add(Dense(128, name="dense_1", W_regularizer=Custom(0.1))) model.add(Dense(nb_classes, name='dense_2')) model.compile(loss='mse', optimize
    python deep-learning keras regularized 2017-03-06

    0热度

    1回答

    在小型批量更新

    执行L1正规化我目前正在读Neural Networks and Deep Learning，我被困在一个问题。问题是更新他给出的​​使用L1正则化而不是L2正则化的代码。 原片的使用L2正规化代码是： def update_mini_batch(self, mini_batch, eta, lmbda, n): """Update the network's weights and b
    python neural-network gradient-descent regularized mini-batch 2017-06-19

    0热度

    2回答

    与TensorFlow后端使用Keras时的辍学

    我读到了关于Keras实现的辍学，它似乎在使用它的反辍学版本，即使它说失落。 这是我读Keras和Tensorflow文件我已经明白： 当我指定Dropout(0.4) 0.4意味着，在该层每个节点都有被丢弃其中有40％的几率意味着0.4是丢弃概率。因此，通过反向丢失的概念，由于保持概率为0.6，所以其余神经元的输出被缩放1/0.6的因子。 （请指出，如果我的解释是不正确。我的整个怀疑是基于这种解
    python-3.x tensorflow keras regularized 2017-09-26

    -1热度

    1回答

    添加正则化会导致性能下降和更差

    当我添加了更强的正则化（例如L2正则化参数从1到10或退出参数从0.75到0.5）时，它给了我更慢和更差的性能（例如97-98％的测试精度在3000-4000次迭代中3000-4000次迭代只能达到94-95％的测试精度）。是否有这种情况发生的原因？我可以确认一切正确实施。谢谢！ 编辑：我只是想说明我的程序有过度拟合（大约1％），而且看起来有没有退出，训练与测试精度之间的差异大致相同。
    performance machine-learning neural-network conv-neural-network regularized 2017-08-13

    0热度

    3回答

    如何在CNTK中使用自定义正则化（使用python）？

    您是否知道我如何将自定义正则化函数应用于CNTK？ 特别是，我想补充损失函数的导数对输入的影响;类似于 newLoss = loss + lambda * gradient_F(inputs) 其中F是模型学到的函数，输入是模型的输入。 如何在CNTK中实现此目的？我不知道如何访问与输入相关的梯度，以及如何将梯度与正规化器的权重进行比较。
    python machine-learning backpropagation cntk regularized 2017-06-25

    0热度

    1回答

    正规化与完整数据集机器学习

    我最近观看了一个视频，解释了对于深度学习，如果添加更多数据，则不需要太多的正则化，这是有道理的。 这就是说，这个声明是否适用于像“随机森林”这样的“正常”机器学习算法？如果是这样，当为该算法搜索最佳的超参数时，理论上你应该有输入数据集（当然这会进一步划分为交叉验证集等）和您拥有的数据一样多，而不仅仅是样本它。这当然意味着更长的训练时间，对于超参数的每个组合，您都有需要接受训练的X个交叉验证集合等等
    machine-learning deep-learning random-forest regularized 2017-02-01

    0热度

    1回答

    如何调整Sklearn的RandomForest？ MAX_DEPTH Vs的min_samples_leaf

    max_depth VS min_samples_leaf 参数max_depth和min_samples_leaf混淆了我期间使用GridSearchCV的多次尝试最。根据我的理解，这两个参数都是控制树木深度的一种方法，如果我错了，请纠正我。 max_features 我在做一个非常简单的分类任务和不断变化的min_samples_leaf似乎对AUC得分没有影响;然而，调整深度可将我的AUC从
    machine-learning scikit-learn random-forest regularized 2017-05-14

    0热度

    2回答

    作为Pytorch中的正则化函数的L1规范

    我需要添加一个L1规范作为正则化函数，以便在我的神经网络中创建一个稀疏条件。我想训练我的网络分类，我需要添加一个L1规范作为正规化者来创建稀疏条件。我需要训练网络进行分类，我先从pytorch开始，但我没有任何意识如何做到这一点。我尝试着自己构建一个L1规范，比如here，但没有工作。 有人可以帮助我吗？我需要把ConvTranspose2d在此之后正则，我想做些事情像这样Keras： model
    keras torch pytorch regularized 2017-10-17

    1热度

    1回答

    如何实现卷积神经网络的L2正则化成本函数

    我已经实现了CNN数字分类模型。我的模型过度配合，为了克服过度配合，我试图在我的成本函数中使用L2 Regularization。我有一个小混乱 我怎么能选择<weights>把成本公式（代码的最后一行）。 ... x = tf.placeholder(tf.float32, shape=[None, img_size, img_size, num_channels], name='x') #
    tensorflow computer-vision conv-neural-network regularized 2017-10-20
最新问题