1.多层全连接神经网络 如图是一个多层全连接神经网络,input层是输入层,Layer[1]到Layer[L-1]是隐层,Layer[L]是输出层,层与层之前每两两个单元(神经元或者输出/输入单元)之间存在连接,代表着一个权重,单个神经元干什么事呢? 前一层的输出作为当前层的输入,用权重与输入之间的乘积和+偏置的值Z作为到激活函数...
关于自注意力层(以下简称 SA 层)和全连接层(以下简称 MLP 层)的区别,我觉得可以这样思考: 首先需要承认,二者的确很相似,最终输出时都是矩阵乘以矩阵,但是实际还是有所不同的。我们可以通过考察计算复杂度来确认这一事实。 1. 推导:MLP 层和 SA 层的计算复杂度 MLP 层间的加权公式如下,这里我们略去偏置项 b...
1. 全连接:网络中的每个神经元与前一层的所有神经元相连,参数数量较多。 2. 简单结构:相比其他复杂结构,MLP易于理解和实现。 3. 泛化能力:通过正则化和数据增强,MLP可以表现出良好的泛化能力。 应用 - 分类和回归任务:如图像分类、股价预测等。 - 小规模数据集:对于数据量较小的任务,MLP是一个有效的选择。