一、输入门
输入门负责决定哪些新的信息将被存储到细胞状态中。这一过程涉及到当前时间步的输入和前一个隐藏状态的信息,两者经过线性变换后通过sigmoid函数生成一个介于0-1之间的值作为权重。
二、遗忘门
忘记门则决定了细胞状态中哪些信息需要被抛弃。它同样使用当前输入和前一隐藏状态,经过线性变换后通过sigmoid函数产生一个介于0-1的数来控制信息的丢弃程度。
三、输出门
最后,输出门决定了细胞状态中哪些部分将被输出作为当前时间步的输出。这个过程类似于遗忘门的操作,通过sigmoid函数生成一个0-1之间的值来控制输出信息量,并与tanh变换后的细胞状态相乘以得到最终的输出。
总结来说,LSTM中的这三个门就像是三个开关,分别负责新信息的引入、旧信息的保留或删除以及当前状态的传递。它们共同作用确保了即使面对复杂的时间序列数据也能保持长期依赖关系的有效捕捉和利用。