常用的机器学习&数据挖掘知识(点）
声明：想做机器学习&数据挖掘的学弟学妹，可以看看，转载请说明出处...
常用的机器学习知识(点)
Basis(基础)：
MSE(Mean Square Error 均方误差)，LMS(LeastMean
Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihoo...
分类：
其他好文 时间：
2014-09-15 22:51:09
阅读次数：
340
机器学习(3)之最小二乘法的概率解释在前面梯度下降以及正规方程组求解最优解参数Θ时，为什么选择最小二乘作为计算参数的指标，使得假设预测出的值和真正y值之间面积的平方最小化？我们提供一组假设，证明在这组假设下最小二乘是有意义的，但是这组假设不唯一，还有其他很多方法可以证明其有意义。（1）假设1：假设输...
分类：
其他好文 时间：
2014-09-11 01:02:41
阅读次数：
291
最小2乘法最小2乘法直线拟合在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y2... xm, ym)；将这些数据描绘在x -y直角座标系中(如图1),若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。Y计= a0+ a1X ...
分类：
其他好文 时间：
2014-08-31 00:21:20
阅读次数：
237
一、概念：（Iteratice Method）,迭代是数值分析中通过一个初始估计出发寻找一系列近似解解决问题（一般是解方程或者方程组）的过程，为实现这一过程所使用的方法统称为迭代法。 常见的迭代法是牛顿法。其它还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、....
分类：
其他好文 时间：
2014-08-12 12:43:44
阅读次数：
191
偏最小二乘法（PLS）是近年来发展起来的一种新的多元统计分析http://en.wikipedia.org/wiki/Partial_least_squares_regression
分类：
其他好文 时间：
2014-08-11 23:59:53
阅读次数：
437
最小二乘法的直线拟合 #coding:utf-8
import?numpy?as?np
import?matplotlib.pyplot?as?plt
dots?=?np.array([[1,6],?[2,5],?[3,7],?[4,10]])
plt.plot([i[0]?for?i?in?dots],?
????[i[1]...
分类：
其他好文 时间：
2014-07-26 03:37:57
阅读次数：
255
本来以为可以将《实战机器学习》的代码全部实现完，殊不知到了支持向量机这一章，仅是为了理清概念，我找出高数线代概统重识拉格朗日乘数、向量空间、最小二乘法，为了理解非线性情况时用到的核技术去查阅曼瑟定理...
分类：
其他好文 时间：
2014-07-25 00:00:26
阅读次数：
290
似然函数：似然函数在形式上就概率密度函数。 似然函数用来估计某个参数。最大似然函数：就是求似然函数的最大值。 最大似然函数用于估计最好的参数。最小二乘法：它通过最小化误差的平方和寻找数据的最佳函数匹配。就是求 y=a1+a2x的系数。通过最小化误差的平方，然后求系数的偏导数，令导数为0，求...
分类：
其他好文 时间：
2014-07-24 22:50:53
阅读次数：
261
主要内容： 1、QR分解定义 2、QR分解求法 3、QR分解与最小二乘 4、Matlab实现 一、QR分解 R分解法是三种将矩阵分解的方式之一。这种方式，把矩阵分解成一个正交矩阵与一个上三角矩阵的积。 QR 分解经常用来解线性最小二乘法问题。QR 分解也是特定特征值算法即QR算法的基础。 定义： 实...
分类：
其他好文 时间：
2014-07-16 18:10:22
阅读次数：
898
