梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函 ...
分类：
其他好文 时间：
2018-05-09 22:43:33
阅读次数：
221
iris二分类 下面例子数据集可能更好看； 高斯核函数的应用，其实也可以自定义很多核函数： ...
分类：
其他好文 时间：
2018-05-06 00:22:58
阅读次数：
559
# Multi-class (Nonlinear) SVM Example # # This function wll illustrate how to # implement the gaussian kernel with # multiple classes on the iris data... ...
分类：
其他好文 时间：
2018-05-06 00:16:36
阅读次数：
670
1、什么是回归？ 是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。 2、线性回归 代价函数（平方误差代价函数，加1/2是为了方便求导）： 梯度下降法： (1) 批处理梯度下降法：每次对全部训练数据进行求导后更新参数 ...
分类：
其他好文 时间：
2018-05-04 14:20:55
阅读次数：
263
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 ...
分类：
编程语言 时间：
2018-05-04 14:05:31
阅读次数：
233
反向传播 如何让多层神经网络学习呢？我们已了解了使用梯度下降来更新权重，反向传播算法则是它的一个延伸。以一个两层神经网络为例，可以使用链式法则计算输入层-隐藏层间权重的误差。 要使用梯度下降法更新隐藏层的权重，你需要知道各隐藏层节点的误差对最终输出的影响。每层的输出是由两层间的权重决定的，两层之间产 ...
分类：
其他好文 时间：
2018-04-27 18:07:13
阅读次数：
239
一元线性回归模型 样本数量m 输入变量x 输出变量y 训练样本（x,y） 第i个训练样本（，） 假设函数： 模型参数 代价函数： 优化目标： 算法： 1.梯度下降法 具体解法： 2.正规方程法 ...
分类：
其他好文 时间：
2018-04-20 23:42:29
阅读次数：
230
机器是什么，机器就是电脑、芯片、代码这些东西。让电脑遵循人的指令，完成一件特定的任务从计算机发明那天开始就在研究了，现在的各种编程语言、数据结构和编程算法等都是在做这个。但是它们只能依赖于程序员输入的确定的代码才能 work，也就是说他们不能“自己学习 ...
分类：
其他好文 时间：
2018-04-09 23:07:53
阅读次数：
200
https://blog.csdn.net/jinping_shi/article/details/52433975 https://blog.csdn.net/zouxy09/article/details/24971995 一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止 ...
分类：
其他好文 时间：
2018-04-04 18:21:33
阅读次数：
197
梯度下降是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函... ...
分类：
其他好文 时间：
2018-04-03 23:53:43
阅读次数：
240
