tensorflow2知识总结（杂）—2、Adam优化器

一、总结

一句话总结：

1、Adam算法可以看做是修正后的Momentum+RMSProp算法.

2、Adam通常被认为对超参数的选择相当鲁棒

3、学习率建议为0.001

1、反向传播算法？

每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。

二、内容在总结中

博客对应课程的视频位置：

1、反向传播算法

反向传播算法是一种高效计算数据流图中梯度的技术
每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。
前馈时，从输入开始，逐一计算每个隐含层的输出，直到输出层。
然后开始计算导数，并从输出层经各隐含层逐一反向传播。为了减少计算量，还需对所有已完成计算的元素进行复用。
这便是反向传播算法名称的由来。

2、常见的优化函数

优化器（optimizer）是编译模型的所需的两个参数之一。
你可以先实例化一个优化器对象，然后将它传入model.compile（），或者你可以通过名称来调用优化器。在后一种情况下，将使用优化器的默认参数。
SGD：随机梯度下降优化器
随机梯度下降优化器SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平梯度均值。

RMSprop：经验上，RMSProp被证明有效且实用的深度学习网络优化算法.
RMSProp增加了一个衰减系数来控制历史信息的获取多少，RMSProp会对学习率进行衰减。

Adam优化器：
1、Adam算法可以看做是修正后的Momentum+RMSProp算法.
2、Adam通常被认为对超参数的选择相当鲁棒
3、学习率建议为0.001

Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。
Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率

3、tensorflow的输出层注意

如果输出层是一个连续的数字，就不进行其它操作，直接输出
如果输出层是一个二分类（是和否），可以对输出层做一个sigmoid操作，然后输出
如果输出层是一个多分类的输出，我们就可以对输出层做一个softmax输出

二分类：输出层是sigmoid
model.add(tf.keras.layers.Dense(1,activation=’sigmoid’))
多分类：输出层是softmax时
model.add(tf.keras.layers.Dense(10,activation=’softmax’))

我的旨在学过的东西不再忘记（主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法）的偏公益性质的完全免费的编程视频学习网站：
fanrenyi.com；有各种前端、后端、算法、大数据、人工智能等课程。

版权申明：欢迎转载，但请注明出处
一些博文中有一些参考内容因时间久远找不到来源了没有注明，如果侵权请联系我删除。

博主25岁，前端后端算法大数据人工智能都有兴趣。
大家有啥都可以加博主联系方式（qq404006308，微信fan404006308）互相交流。工作、生活、心境，可以互相启迪。
聊技术，交朋友，修心境，qq404006308，微信fan404006308

26岁，真心找女朋友，非诚勿扰，微信fan404006308，qq404006308

人工智能群：939687837

作者相关推荐

#fry_added_part .inspiration_content{
//max-height: 120px;
overflow: auto;
margin: 20px 0;
}
#fry_added_part .fry_inspiration .simple a{
margin-right: 25px;
}

感悟总结

其它重要感悟总结

感悟总结200813
最近心境200830
最近心境201019
201218-210205