CoderAnswer - 程序员编程问答

Seq2seq模型可以由RNN,LSTM或注意机制组成

by @subho

lstm seq2seq natural-language-processing

seq2seq可以由RNN,LSTM或注意机制组成

是seq2seq中的实现者选择,他可以使用RNN,LSTM或这个选择的注意机制


1个答案

0 by @ウィエム

不完全是。 RNN,递归神经网络适用于某些任务,但由于使用RNN(例如爆炸梯度或消失梯度问题)引起了一些问题,因此使用LSTM成为标准,LSTM是一种解决这些问题的RNN。

当您通过长网络进行反向传播时会发生爆炸/消失渐变,并且因为您继续将渐变增加,它可以增长得多,也可以溢出,或者它可以变得非常小,它将没有效果了。

LSTM通过使用名为Gated Recurrent Unit的机制解决了这个问题。理解这些主题对您来说实际上很重要,所以我会看一下这个博客,它完美地用图表和示例来解释它们。 https://skymind.ai/wiki/lstm


相关问题