何时在PyTorch中使用单独的优化器？

Question

给出的示例here分别使用两个优化器encoder和decoder。为什么？什么时候这样做？

Answer 1

如果您有多个网络（从多个对象继承nn.Module），您必须这样做，原因很简单：构建torch.nn.optim.Optimizer对象时，它将需要优化的参数作为参数。在你的情况下：

encoder_optimizer = optim.Adam(encoder.parameters(), lr=learning_rate) 
decoder_optimizer = optim.Adam(decoder.parameters(), lr=learning_rate) 

这也给你自由地改变参数作为学习率独立。如果你不需要，你可以创建一个新的类从nn.Module继承和含两个网络，编码器和解码器或创建一组参数来给优化为解释here：

nets = [encoder, decoder] 
parameters = set() 
for net in nets: 
    parameters |= set(net.parameters()) 

其中|是在这种情况下集合的联合运算符。