机器学习，分为监督学习和无监督学习，监督学习里有回归和分类，分类有线性回归和逻辑回归。 从最简单的线性回归开始： 通过已有数据需要预测的线性方程： 实际值和预测值的误差，求最小误差函数（最小二乘法）： 1.梯度下降法： 其中ε是步长，步长越大，下降越快，但是可能到不了局部最小值，步长越小，下降越慢， ...
分类：
其他好文 时间：
2017-09-01 00:59:55
阅读次数：
592
Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2017-08-19 18:34:39
阅读次数：
191
一、基本形式 通过属性的线性组合来进行预测， 许多非线性模型可以在线性模型的基础上，引入层级结构或高维映射而得。 二、线性回归 最小二乘法：求解ω和b； 多元线性回归：样本由多个属性描述，即x为多维向量； 若矩阵不满秩产生多个解，解决方法：引入正则化项； 三、对数/逻辑线性回归 广义线性模型： g( ...
分类：
其他好文 时间：
2017-08-09 16:50:33
阅读次数：
140
回归拟合是最基础的数据分析方法，而线性回归又是最基础的回归拟合。对于分布非常集中的数据，可以直接采用最小二乘法进行回归拟合。甚至，我们可以直接把数据放到excel表格中，使用excel直接进行拟合。然而，当数据中含有噪声的时候，必须采用新的算法过滤噪声点。 在此，介绍一种RANSAC(Random ...
分类：
其他好文 时间：
2017-08-08 00:37:38
阅读次数：
302
正式学习之前，所需要的预备知识（主要是数学）应该包括：微积分（偏导数、梯度等等）、概率论与数理统计（例如极大似然估计、中央极限定理、大数法则等等）、最优化方法（比如梯度下降、牛顿-拉普什方法、变分法（欧拉-拉格朗日方程）、凸优化等等）——如果你对其中的某些名词感到陌生，那么就说明你尚不具备深入开展数 ...
分类：
其他好文 时间：
2017-08-07 19:29:03
阅读次数：
169
最小二乘法原理 最小二乘法的目标：求误差的最小平方和，相应有两种：线性和非线性。线性最小二乘的解是closed-form（例如以下文），而非线性最小二乘没有closed-form，通经常使用迭代法求解（如高斯牛顿迭代法，本文不作介绍）。 【首先得到线性方程组】 1.概念 最小二乘法（又称最小平方法） ...
分类：
编程语言 时间：
2017-08-05 12:33:25
阅读次数：
210
有一系列的数据点 {xi,yi}\{x_i, y_i\}。我们知道这些数据点近似的落在一个圆上。依据这些数据预计这个圆的參数就是一个非常有意义的问题。今天就来讲讲怎样来做圆的拟合。圆拟合的方法有非常多种，最小二乘法属于比較简单的一种。今天就先将这样的。 我们知道圆方程能够写为： (x?xc)2+(y ...
分类：
其他好文 时间：
2017-07-31 20:07:04
阅读次数：
303
现实生活总是充满了杂音。记得高中时，班上某学霸喜欢戴着耳机边听JAY的歌边学习，或许这样可以帮他进入一个心如止水的境界。刚毕业那会，我也喜欢在班车上戴着耳机听歌，似乎逃避现实是常态。把嘈杂的现实屏蔽在外很简单，只需要一个耳机。但人总会成长的，面对纷繁复杂的现实，一味逃避总归不是办法。情绪的发泄也无益 ...
分类：
其他好文 时间：
2017-07-30 21:15:14
阅读次数：
432
对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。而对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。显然，这是从不同原理出发的两种参数 ...
分类：
其他好文 时间：
2017-07-28 21:00:21
阅读次数：
280
在机器学习或者是模式识别其中有一种重要的分类器叫做：SVM 。这个被广泛的应用于各个领域。可是其计算的复杂度以及训练的速度是制约其在实时的计算机应用的主要原因。因此也非常非常多的算法被提出来。如SMO，Kernel的方法。 可是这里要提到的 Regularized least-squares cla ...
分类：
其他好文 时间：
2017-07-22 16:49:19
阅读次数：
183
