关键词： 梯度下降：就是让数据顺着梯度最大的方向，也就是函数导数最大的放下下降，使其快速的接近结果。 Cost函数等公式太长，不在这打了。网上多得是。 这个非线性回归说白了就是缩小版的神经网络。 python实现： 运行结果： ......输出数据太多，只截取后面十几行 Iteration 9998 ...
分类：
编程语言 时间：
2018-08-31 15:51:53
阅读次数：
966
反向传播算法 上一节的我们已经知道了前向传播是如何计算的了。即给定x如何通过各个节点计算出y。 那么还有一个问题就是我们如何确定各个神经元的权重，或者如何说训练一个神经网络。 在传统机器学习算法中我们会使用梯度下降算法来做权重更新： $$ \theta_j:=\theta_j \alpha\frac ...
分类：
编程语言 时间：
2018-08-29 21:28:51
阅读次数：
465
tanh(z) = (ez - e-z ) / ( ez + e-z ) tanh函数几乎在所有场合都更优越 用σ激活函数的一个例外场合是：使用二元分类的时候。因为二元分类问题概率数值应在（0，1）之间 因此可以在隐藏层用tanh函数，在输出层y帽计算时用σ函数 现在σ函数和tanh函数都有一个缺点 ...
分类：
其他好文 时间：
2018-08-29 14:46:43
阅读次数：
212
线性回归是一种回归分析技术，回归分析本质上就是一个函数估计的问题（函数估计包括参数估计和非参数估计），就是找出因变量和自变量之间的因果关系。回归分析的因变量是应该是连续变量，若因变量为离散变量，则问题转化为分类问题，回归分析是一个有监督学习问题。 线性其实就是一系列一次特征的线性组合，在二维空间中是 ...
分类：
其他好文 时间：
2018-08-26 15:35:44
阅读次数：
188
梯度下降算法 - 监督学习 损失函数的导数称为梯度，若对损失函数的参数求偏导，则这个偏导数代表着损失函数在该参数下各点的斜率； 目标就是让损失能尽可能的小，希望取到损失函数的最小值，可以通过梯度函数得到损失函数上各点的斜率，然后逐步更新参数从而满足要求的这种方法就是梯度下降！ 对于L2损失，参数对应 ...
分类：
其他好文 时间：
2018-08-25 23:28:29
阅读次数：
300
：今天来一起聊一聊梯度下降算法的原理及实现。 一.梯度下降的算法方程式为： 二.方程式详解： 参数： 1.：：表示网络中需要训练的参数。 2.：表示学习率。 3.：表示图像中一点的斜率。 含义： 假设一个二次函数，初始位置在曲线上蓝色点， 如果学习率α设置过大，则θ的每一次更新幅值将会很大。如此，若 ...
分类：
编程语言 时间：
2018-08-24 19:29:43
阅读次数：
135
梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数 J(θ0,θ1) 的最小值。 梯度下降背后的思想是:开始时我们随机选择一个参数的组合(θ0,θ1,...,θn)，计算代价 函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到 一个局部最小值(l ...
分类：
编程语言 时间：
2018-07-13 01:17:19
阅读次数：
211
批梯度下降算法： 训练样本为一个时：更新Θi 让代价函数最小，利用沿梯度下降方向函数会变得越来越小。这个函数是代价函数J关于(Θi )的。这里并没有在讨论x，y。 关于为什么式子（图是复制的）可以让代价函数趋向于最小值。参考博客：https://blog.csdn.net/ZengDong_1991 ...
分类：
其他好文 时间：
2018-07-09 23:15:59
阅读次数：
193
使用tensorflow进行简单的线性回归 标签（空格分隔）： tensorflow 数据准备 使用np.random.uniform()生成x方向的数据 使用np.random.uniform()生成bias数据 直线方程为y=0.1x + 0.2 使用梯度下降算法 代码 结果汇总： ...
分类：
其他好文 时间：
2018-06-22 01:05:52
阅读次数：
140
[toc] 吴恩达机器学习笔记 初识机器学习 监督学习和无监督学习 单变量线性回归 模型描述 假设函数、参数、代价函数、目标 假设函数是对训练数据的拟合，代价函数用来衡量给定参数下假设函数的准确性 梯度下降算法 不断改变参数θ的值，期望找到代价函数的最小值 其中，α称为学习率（Learning Ra ...
分类：
其他好文 时间：
2018-05-15 10:39:29
阅读次数：
153
