|
- 多层感知器MLP，全连接网络，DNN三者的关系？三者是不是同一个概念？ - 知乎
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视
- MLP和BP的区别是什么？ - 知乎
mlp是多层感知机，是多层的全连接的前馈网络，是而且仅仅是算法结构。 输入样本后，样本在MLP在网络中逐层前馈（从输入层到隐藏层到输出层，逐层计算结果，即所谓前馈），得到最终输出值。
- 神经网络Linear、FC、FFN、MLP、Dense Layer等区别是什么？
3 ffn（前馈神经网络）和 mlp（多层感知机）： "FFN" 和 "MLP" 表示前馈神经网络和多层感知机，它们在概念上是相同的。 前馈神经网络是一种最常见的神经网络结构，由多个全连接层组成，层与层之间是前向传播的。
- transformer 与 MLP 的区别是什么 - 知乎
但特征交互时，MLP的权重是固定的，训练好之后就不会变。而Transformer的权重是随着输入，动态变化的。这是这2个模型最大的区别。 举个简单的例子：输入是2个“元素”（x1, x2）时，MLP的特征交互是这样的：
- transformer 与 MLP 的区别是什么 - 知乎
个人认为Transformer、MLP、CNN、RNN的本质区别在于特征的交互方式不一样。MLP是通过全连接的方式让全局特征交互，CNN是通过卷积的方式让局部特征交互，RNN是通过隐藏状态的方式让半全局（指方向性）特征有记忆地交互，Transformer是通过attention的方式让全局特征有注意力地交互，因此，transformer这种
- 损失函数｜交叉熵损失函数 - 知乎
可以看出，该函数是凸函数，求导时能够得到全局最优值。 3 学习过程 交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。
- MLP能够模拟CNN，为什么却没有CNN性能好? - 知乎
mlp极其容易过拟合，所以mlp很难直接应用，尤其深层的mlp几乎没有。 其他的所谓“网络结构”，都是对MLP的拟合能力的“妥协”，也就是降低了MLP的拟合程度，同时也降低了参数量，拥有了更强的范化能力。
- 如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？ - 知乎
而MLP-Mixer这篇文章面对MLP计算量太大，参数量太大两大问题，换了一个解决思路。 这个解决思路跟depthwise separable conv是一致的，depthwise separable conv把经典的conv分解为两步，depthwise conv和pointwise conv，这样就降低了经典conv的计算量和参数量。
|
|
|