正常softmax和采样softmax之间有什么区别？

Question

我正在学习seq2seq神经模型，我对常规softmax和采样softmax感到困惑。我被告知，采样的softmax主要用于大词汇量。那么谁能直观地解释两者之间的区别？

Answer 1

softmax是一个softmax，其中计算归一化总和中的每个分量以便使所有概率总和为1.在采样的softmax中，通常只需要softmax分布的几个分量就可以了基本上通过简单地采样先前分布的一些值，总结它们并将其作为归一化因子的近似值来忽略归一化因子的直接计算。