本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
利用最小二乘法进行多项式拟合时，最终归结为求解一个关于a1, a2, a3, ..., an的线性方程组，其矩阵表示如下：求解该方程组的方法有两种。其一，用高斯消元法，解方程组。其二，用矩阵运算，X*A=Y，则A=X^-1*Y。
分类：
其他好文 时间：
2015-03-10 15:13:28
阅读次数：
138
在优化求解问题中，经常要用到矩阵奇异值的SVD分解。奇异值分解 (singularvalue decomposition,SVD)是一种可靠地正交矩阵分解法，它比QR分解法要花上近十倍的计算时间。在Ubuntu下基于eigen C++库测试了eigen SVD算法的性能，即SVD求解最小二乘/伪逆...
分类：
编程语言 时间：
2015-03-03 06:24:38
阅读次数：
553
一、线性最小二乘法 1、基本思路 令，其r(x)是事先选定的一组线性无关的函数。ak是待定系数。然后拟合的准则就是使得yi与f(xi)的距离的平方和最小，称之为最小二乘准则 2、系数的确定 ，要使距离的平方和最小，那只要取得，使得取到极值，就可以解除待定系数ak，记 然后线性方程组为，所以当R列满秩...
分类：
编程语言 时间：
2015-02-05 01:57:22
阅读次数：
375
机器学习与智能优化
机器学习与智能优化 之 KNN
OpenCV KNN 之 使用方法
机器学习与智能优化 之 学习有道
机器学习与智能优化 之 线性模型
机器学习与智能计算 之 最小二乘法
机器学习与智能优化 之 规则、决策树和森林
OpenCV 决策树 之 理论准备
OpenCV 决策树 之 使用方法...
分类：
其他好文 时间：
2015-02-01 12:07:32
阅读次数：
178
线性规划是凸优化的一种，故线性规划只是凸优化的一个子集。是线性规划一定属于凸优化，但反之不一定成立。凸优化与线性规划定义的区别有两点：系数，等号最小二乘优化没有限制条件。但A行数不小于列数，使得转置再相乘的时候有可能得逆矩阵。最小二乘法可以通过增加权重或附加项来调整，增加灵活性。所有从n维实空间到实...
分类：
其他好文 时间：
2015-01-27 17:46:42
阅读次数：
169
概念最小二乘法多项式曲线拟合，依据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。原理[原理部分由个人依据互联网上的资料进行总结，希望对大家能实用] 给定数据点pi(xi,yi)，当中i=1,2,…,m。求近似曲线y= φ(x)。而且使得近似曲线与y=....
分类：
其他好文 时间：
2015-01-22 23:03:09
阅读次数：
555
【转载】偏最小二乘法回归（Partial Least Squares Regression）
分类：
其他好文 时间：
2015-01-16 12:36:50
阅读次数：
353
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，....
分类：
其他好文 时间：
2015-01-13 15:39:08
阅读次数：
469
