加重和

意味

ベクトルVと重み付けベクトルWにおいてVとWの内積をとること。

登場文献

論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ

Dot-Product Attention(内積アテンション)においては、 softmax(QK^T)が重みに相当し、これにvalueを掛けることで加重和を取り出す。