如何在不同的GPU上训练与tensorflow并行的多网络？

Question

我想在3个GPU上并行训练3个不同尺度的网络，然后合成这些输出。 （张量流）

我是否需要为每个网络创建图形和相应的会话？以及如何使这些会话同时运行而不是按顺序运行？

Answer 1

我是否需要为每个网络创建图形和相应的会话？

是的，因为网络不完全相同，需要单独的图形和会话来创建。

如何让这些会话同时运行而不是按顺序运行？

假设你有三个培训脚本train_graph1.py，train_graph2.py，train_graph3.py。您需要同时单独运行所有这些脚本以同时运行。

CUDA_VISIBLE_DEVICES=0, train_graph1.py .... 
CUDA_VISIBLE_DEVICES=1, train_graph2.py .... 
CUDA_VISIBLE_DEVICES=2, train_graph3.py ....