原理 聚类、高维可视化、数据压缩、特征提取 自组织映射神经网络本质上是一个两层的神经网络，包含输入层和输出层（竞争层）输出层中神经元的个数通常是聚类的个数 训练时采用“竞争学习”方式，每个输入在输出层中找到一个和它最匹配的节点，称为激活节点。紧接着用随机梯度下降法更新激活节点的参数，同时，激活节点临 ...
分类：
其他好文 时间：
2019-11-24 15:45:03
阅读次数：
87
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 第2章 神经网络中的三个基本概念 2.0 通俗地理解三大概念 这三大概念是：反向传播，梯度下降，损失函数。 神经网络训练的最基本的思想就是：先“猜”一个结果 ...
分类：
其他好文 时间：
2019-11-22 13:38:55
阅读次数：
76
深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU 2019-05-06 17:56:43 wamg潇潇 阅读数 652更多 分类专栏： python机器学习 深度学习 深度学习的激活函数 ：sigmoid、t ...
分类：
其他好文 时间：
2019-11-18 18:41:48
阅读次数：
344
引自：https://www.zhihu.com/question/58200555/answer/621174180 为了从两个方面限制梯度： 当预测框与 ground truth 差别过大时，梯度值不至于过大； 当预测框与 ground truth 差别很小时，梯度值足够小。 考察如下几种损失函 ...
分类：
其他好文 时间：
2019-11-18 12:58:24
阅读次数：
98
1、回归是达尔文表弟发现的，就是说人类总体有一个平均身高。那个高个子生的孩子都个高，矮的孩子生的矮。但是他们的下一代大部分都往平均身高长，也就是说特别高的人，他们的孩子会很高，但是往往比他们自己矮。特别矮的人他们生的孩子会矮一些，但是会比自己的父母高，他们都有这种趋势。表弟管这个叫做回归。 2、一元 ...
分类：
其他好文 时间：
2019-11-17 01:55:43
阅读次数：
95
<! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 ...
分类：
其他好文 时间：
2019-11-16 12:58:18
阅读次数：
68
参考资料：梯度下降优化算法总结(必看！！！！！！！) 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 我们使用梯度下降法 ...
分类：
编程语言 时间：
2019-11-13 22:30:05
阅读次数：
144
梯度下降法及一元线性回归的python实现 一、梯度下降法形象解释 设想我们处在一座山的半山腰的位置，现在我们需要找到一条最快的下山路径，请问应该怎么走？根据生活经验，我们会用一种十分贪心的策略，即在现在所处的位置上找到一个能够保证我们下山最快的方向，然后向着该方向行走；每到一个新位置，重复地应用上 ...
分类：
编程语言 时间：
2019-11-12 00:51:12
阅读次数：
209
讲授卷积神经网络面临的挑战包括梯度消失、退化问题，和改进方法包括卷积层、池化层的改进、激活函数、损失函数、网络结构的改 进、残差网络、全卷机网络、多尺度融合、批量归一化等 大纲： 面临的挑战梯度消失问题退化问题改进的总体思路卷积层的改进用矩阵乘法实现卷积运算池化层的改进激活函数的改进损失函数的改进高 ...
分类：
其他好文 时间：
2019-11-11 23:08:20
阅读次数：
166
首先强调一下，这篇文章适合有很好的基础的人 梯度下降 这里不系统讲，只介绍相关的点，便于理解后文 先放一个很早以前写的 梯度下降 实现 logistic regression 的代码 def tiduxiajiang(): """梯度下降算法""" alpha=0.000001 # 学习率的确定方法 ...
分类：
其他好文 时间：
2019-11-11 12:31:26
阅读次数：
118
