常见的激励函数:sigmoid函数、tanh函数、ReLu函数、SoftMax函数等等。为什么要用relu激活功能？使用sigmod函数会导致将近一半的神经元被激活，和relu函数在这方面类似，它自动引入稀疏性，相当于无监督的预练习，k做二进制分类，激活函数非常适合作为输出层的激活函数，其他单元都用ReLU函数。
本文结构:梯度消失，这种现象经常发生在基于梯度训练神经网络的过程中。当我们做反向传播，计算损失函数对权重的梯度时，梯度随着反向传播越来越小，这意味着网络前一层的神经元的训练速度会比后面慢很多，甚至不会发生变化。网络前面的一些层很重要。它们负责学习和识别简单的模式，也是整个网络的基础。如果它们的结果不准确，后面各层的结果也会不准确。
如果参数发生变化，网络的输出值贡献很小，那么参数的学习就很困难，需要很长时间。为了在训练神经网络时使损失函数越来越小，优化方法之一是梯度下降。梯度下降法简单来说就是在权重的负梯度方向更新权重，如下式所示，直到梯度收敛到零。(当然在实际过程中会通过设置一个叫做最大暴跌代数的超参数来控制。如果迭代次数太少，结果会不准确。如果迭代次数太多，训练过程会很长。
优点:缺点:双曲正切函数等于双曲正弦与双曲余弦之比，即优点:缺点:z为正，导数等于1；z为负时，导数等于0；当z为0时，导数是未定义的。优点:优点:缺点:对于j1，...，K做二进制分类，激活函数非常适合作为输出层的激活函数，其他单元都用ReLU函数。Tanh功能几乎在所有场合都是上乘的。最常用的默认激活函数是ReLU。如果使用线性激活函数，那么神经网络只是将输入线性组合并输出，并一直计算线性激活函数。还不如直接去掉所有隐藏层。
3、ReLU和Dropout从解决最小的问题开始。ReLU族的激活函数通常是神经网络中激活函数的首选。它的优点是漏失是防止过拟合的有效方法。这种方法的本质是在前向传播过程中随机丢弃(停用)网络中的一些神经元。所谓丢弃神经元，实际上是指当数据流经每个神经元时，额外乘以一个概率p，当p的值为0时，丢弃当前的神经元。随机丢弃神经元的意义在于使网络独立于与某个神经元或某个神经元结合，因为每次随机丢弃，网络都会产生一个新的结构。
4、激活函数总结激活功能是什么？激活函数在神经网络* *中的作用是赋予神经网络更多的非线性因素。如果不使用激活函数，网络的输出是输入的线性组合，相当于最原始的感知器，网络的逼近能力相当有限。如果能引入一个合适的非线性函数作为激活函数，神经网络的逼近能力将更加强大。激活函数在学习和理解神经网络模型的复杂和非线性函数中起着重要作用。
如果网络中不使用激活函数，则网络每层的输出是上层输入的线性组合。无论神经网络有多少层，输出都是输入的线性组合。如果使用，激活函数在神经元中引入非线性因子，使得神经网络可以任意逼近任意非线性函数。此时，神经网络可以应用于各种非线性场景。常见的激活函数，如sigmoid、tanh、relu等。，都具有非线性的输入输出映射，从而可以赋予网络非线性逼近能力。
5、7.激励函数(激活函数在深度计算机学习中，你总会遇到一些你从未听说过的词汇，比如激励函数、卷积、池化、交叉熵。刚开始可能会觉得特别陌生，一时半会儿不理解。没关系。当你深刻理解了这个词背后的具体含义，你会发现这些词是可以慢慢接受的(习惯就好...).通常是对一层的神经元进行加权求和，然后将非线性方程得到的结果转化为输出，或者作为下一层的输入。
激发函数的作用:通过激活函数将数据压缩到一定的范围内，得到的数据大小将决定神经元是否活跃，即是否被激活。这使得神经网络能够更好地解决更复杂的问题。常见的激励函数:sigmoid函数、tanh函数、ReLu函数、SoftMax函数等等。我们先来看sigmoid函数表达式:sigmoid函数图像:优点:1。输出结果在(0，
6、激活函数Reference:非线性激活函数可以使神经网络逼近任何复杂函数。没有激活函数引入的非线性，多层神经网络相当于单层神经网络sigmoid1，梯度消失:sigmoid函数在0和1附近是平坦的。即在0和1附近，sigmoid的梯度为0。通过sigmoid函数网络反向传播时，当神经元的输出接近0和1时，神经元的梯度趋近于0。
因此，这些神经元的权重无法更新。而且与这些神经元相连的神经元的权值更新也很慢。这个问题也叫梯度消失。所以，想象一下，如果一个大的网络中包含了很多在饱和动力学中具有sigmoid激活函数的神经元，那么这个网络将无法传播回去。2.非零均值:sigmoid的输出不是零均值。3.计算量太大:与其他非线性激活函数相比，指数函数的计算量太大。
7、激活函数与损失函数线性模型的表达能力不够，激活函数增加了神经网络模型的非线性，提高了神经网络模型的表达能力(数据往往是线性不可分的)。(1)sigmoid函数:sigmoid函数(Logistic函数)，由隐神经元输出，取值范围为(0，1)，可将一个实数映射到(0，1)的区间，可分为两类。缺点:(3)softmax函数:多分类神经网络输出:(4)LeakyReLU函数:(4) Elu函数:(4)MaxOut函数:MaxOut是深度学习网络中的一层网络，是同一个池层和卷积层。Maxout可以看作是网络的激活函数层，假设网络某一层的输入特征向量为:X(x1
8、为什么要使用relu激活函数使用sigmod函数会导致将近一半的神经元被激活。不符合人脑活动工程学，和relu函数在这方面类似，它自动引入稀疏性，相当于无监督的预练习。增加网络的非线性能力，从而拟合更多的非线性过程，ReLU可以在一定程度上防止梯度消失，但不是使用它的主要原因，主要原因是导数简单。某种程度上意味着右端不会接近饱和，求导时导数不为零，所以梯度不会消失，但左端问题依然存在，如果落进去梯度就会消失。
