1. Dropout：是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃（使其暂时不工作），使一部分神经元工作，使另一部分神经元不工作；没有被删除的部分的参数得到更新，被删除的神经元参数保持之前的状态，此次训练过程中暂时不参加神经网络的计算，不更新权值，以达到避免过 ...
分类：
其他好文 时间：
2020-02-05 23:03:07
阅读次数：
170
理性模型的建模和算法，经验模型的决策建模和算法，构成了目前人工智能的基础，基于学习反馈的模型构成了它的进化。学习人工智能，必须有较好的数学基础。 《矩阵分析与应用第2版》电子书中总结了大量线性代数的知识，是一本很不错的书，数学专业可以跳过，主要是给工科生用的。归纳了不少论文中的解法，是做信号处理的一 ...
分类：
编程语言 时间：
2020-02-05 18:11:20
阅读次数：
90
我认为《深度学习入门：基于Python的理论与实现》电子书代码基本原理，简洁清楚，所用数学基本就是大一水平，适合做第一本入门书。 《深度学习入门：基于Python的理论与实现》书代码实现的神经网络全是用numpy，超级适合刚刚入门想了解神经网络，数学不好看公式看不懂的人，看完这本基本就懂深度学习是弄 ...
分类：
编程语言 时间：
2020-02-05 13:44:21
阅读次数：
85
第四周 深度神经网络的核心概念 第 31 题 在我们的前向传播和后向传播实现中使用的“缓存”是什么？ A.它用于在训练期间缓存成本函数的中间值。 B.我们用它将在正向传播过程中计算的变量传递到相应的反向传播步骤。它包含了反向传播计算导数的有用值。 C.它用于跟踪我们正在搜索的超参数，以加快计算速度。 ...
分类：
其他好文 时间：
2020-02-04 23:26:34
阅读次数：
200
虽然之前已经大概介绍了关于神经网络的基本结构，但是对于神经网络来说，还有很多可以提升的地方，包括不限于：参数的初始化，正则化，检测方式，除了梯度下降以外的优化算法，超参的调试，批量标准化，和TensorFlow等等。下面我们依次来介绍。 参数的初始化 由于 梯度消失/爆炸 的原因，参数的初始化关系着 ...
分类：
其他好文 时间：
2020-02-04 22:07:11
阅读次数：
95
深度学习在很多机器学习领域均有非常出色的表现，在图像识别、语音识别、自然语言处理、机器人、网络广告投放、医学自动诊断和金融等各大领域有着广泛的应用。面对繁多的应用场景，深度学习框架可以节省大量而繁琐的外围工作，使建模者关注业务场景和模型设计本身。 使用深度学习框架完成建模任务有两个显著优势。 节省大 ...
分类：
其他好文 时间：
2020-02-04 13:49:54
阅读次数：
99
第三周 浅层神经网络 第 21 题 以下哪项是正确的？（选出所有正确项） A.$a^{ "2" }$是第12层，第2个训练数据的激活向量 B.$X$是一个矩阵，其中每个列是一个训练数据 C.$a^{[2]}_4$是第2层，第4个训练数据的激活输出 D.$a^{[2]}_4$是第2层，第4个神经元的激 ...
分类：
其他好文 时间：
2020-02-04 13:46:02
阅读次数：
216
Linear regression 1. 线性回归 线性回归模型尽量写成矩阵形式进行计算。 为什么矩阵计算比循环快很多？ 【知乎】因为通常的数学库，矩阵运算都是用BLAS、ATLAS之类的库。这些库中，矩阵运算都是优化过的（也就是说通常不会用两层循环来计算矩阵乘法，具体的计算方法请参考源代码）。 当 ...
分类：
其他好文 时间：
2020-02-04 13:44:43
阅读次数：
102
深度学习系列 | Global Average Pooling是否可以替代全连接层？ Global Average Pooling(简称GAP，全局池化层)技术最早提出是在这篇论文（第3.2节）中，被认为是可以替代全连接层的一种新技术。在keras发布的经典模型中，可以看到不少模型甚至抛弃了全连接层 ...
分类：
其他好文 时间：
2020-02-04 10:46:22
阅读次数：
93
Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文将首先引入Dropout的原理和实现，然后观察现代深度模型Dropout的使用情况，并与BN进行实验比对 ...
分类：
其他好文 时间：
2020-02-04 10:41:27
阅读次数：
91
