我知道训练DNN当使用多个GPU的一个数据集在一次而不是分裂的数据集,用通常的方式多GPU是拆分数据集,每个分割数据集分配给每个GPU。在tensorflow
然而,有没有使用多GPU为不可分割的,整个数据集的计算速度更快的方式?我的意思是当GPU用于训练网络时,矩阵乘法在单GPU内并行化。我可以通过一次使用多个GPU来更快地实现矩阵乘法?
例如,我只有一张数据集图片。由于我没有多张图片用于分割并分发到多个GPU,因此我希望利用所有GPU来为此一个图片计算做出贡献。
在Tensorflow中可能吗?我在互联网上搜索,但没有发现,因为这是非常罕见的情况。