关于keras示例的疑问pretrained_word_embeddings

Question

我对Keras示例pretrained_word_embeddings有几个疑问，以提高对其工作原理的理解程度。

1. 在这样的模型中使用dropout层是否合理？

2. 最后MaxPooling1D层每次都要覆盖所有的输出形状吗？在原始模型中，最后的conv层输出是35，我们将maxpool设置为相同的35值。

3. 我说得对，如果增加值128（内核数）会提高准确度吗？

4. 是否有意义增加额外的转换层来提高准确度？即使它会减少模型训练阶段。

谢谢！

Answer 1

所以基本上有一个简单的回答你的问题 - 你需要对其进行测试：

1. 添加dropout通常是一件好事。它介绍了合理数量的随机化和正规化。缺点是您需要设置其参数的正确值 - 有时可能需要一段时间。
2. 在我看来 - 最后一个pooling层中的MaxPooling1D的值是以这种方式设置的，以便降低下一层输入的维度。人们可以检查，例如， （例如18）（这只是将输入的大小增加到下一层的大小）可以引入任何改进。
3. 很难说 - 如果你有一个非常严格的结构的少量数据 - 很多参数可能严重损害您的训练。最好的方法是测试网格或随机搜索范例中的不同参数值。它被认为random search做得更好:)