这一章节我们主要讨论定义在R^n空间上的向量之间的关系，而这个关系概括来讲其实就是正交，然后引入正交投影、最佳逼近定理等，这些概念将为我们在求无解的线性方程组Ax=b的最优近似解打下基石. 正交性： 先举个最简单的例子，在平面中，两个二维向量的点乘如果为0，那么我们可判定两个向量互相垂直，那么实际上 ...
分类：
移动开发 时间：
2016-08-22 23:30:18
阅读次数：
307
正在学习《用python做科学计算》，在练习最小二乘法时遇到matplotlib无法显示中文的问题。查资料，感觉动态的加上几条语句是最好，这里贴上全部的代码。 输出结果： ...
分类：
编程语言 时间：
2016-08-11 00:51:21
阅读次数：
216
Ordinary Least Squares 普通最小二乘法 当达到最小值的时候，就达到最佳拟合直线 求关于系数w 最小二次方程的最小值，可以利用求对w偏导数 同上面等价的另外一种形式的表示： 也可以简化成 推导过程： Ridge Regression 岭回归 Ridge Regression 岭回 ...
分类：
其他好文 时间：
2016-08-05 07:44:12
阅读次数：
133
逻辑回归常用于分类问题，最简单诸如二分类问题：是否是垃圾邮件？比赛是赢是输？ 对于线性回归问题， z = w0*x0+w1*x1+w2*x2+... 一般的通过最小二乘法学习参数w来预测给定一个x值时z的大小，其值域在(-∞,+∞)，而对于分类问题，显然预测值是离散的，通过引入S函数先将值域y缩小到 ...
分类：
其他好文 时间：
2016-07-07 19:16:56
阅读次数：
921
1. 多项式拟合函数： y= a0 + a1x + a2x^2 + ... + akx^k (其中k为拟合次数) 当k=1 为线性拟合 ，k=2 为二次多项式 ... 三次多项式。 2. 最小二乘原理矩阵算法原理： X*A=Y A=((X'*X)-1)*X'*Y |1 X1 X1^2 ... X1^ ...
分类：
编程语言 时间：
2016-07-06 20:05:03
阅读次数：
247
还是照着书上推了一遍， 反正写一遍之后很好理解， 也许是只是这点算法比较简单基础。。。 讲到底还是统计的知识，二维的最小二乘法， 让均方差最小 放代码： 有个问题就是imfilter的补充矩阵，里面的circular是按周期来补矩阵，这个复原效果比较好。 直接补0，是MotionBlur这个效果。 ...
分类：
其他好文 时间：
2016-07-03 17:13:46
阅读次数：
203
传统线性模型的假设之一是因变量之间相互独立，并且如果自变量之间不独立，会产生共线性，对于模型的精度也是会有影响的。虽然完全独立的两个变量是不存在的，但是我们在分析中也可以使用一些手段尽量减小这些问题产生的影响，例如采用随机抽样减小因变量间的相关性，使其满足假设；采用岭回归、逐步回归、主成分回归等解决 ...
分类：
其他好文 时间：
2016-07-03 15:42:39
阅读次数：
476
平均值、标准差、相关系数、回归线及最小二乘法 相关性 线性相关 数据在一条直线附近波动，则变量间是线性相关 非线性相关 数据在一条曲线附近波动，则变量间是非线性相关 不相关 数据在图中没有显示任何关系，则不相关 平均值 N个数据 的平均值计算公式： 标准差 标准差表示了所有数据与平均值的平均距离，表 ...
分类：
其他好文 时间：
2016-07-02 14:28:04
阅读次数：
219
标准的线性回归模型的假设之一是因变量方差齐性，即因变量或残差的方差不随自身预测值或其他自变量的值变化而变化。但是有时候，这种情况会被违反，称为异方差性，比如因变量为储蓄额，自变量为家庭收入，显然高收入家庭由于有更多的可支配收入，因此储蓄额差异较大，而低收入家庭由于没有过多的选择余地，因此储蓄会比较有 ...
分类：
其他好文 时间：
2016-07-01 18:13:43
阅读次数：
1019
计量经济学研究的直接目的是确定总体回归函数Yi=B1+B2Xi+ui,然而能够得到的只是来自总体的若干样本的观测值，要用样本信息建立的样本回归函数尽可能“接近”地去估计总体回归函数。为此，可以以从不同的角度去确定建立样本回归函数的准则，也就有了估计回归模型参数的多种方法。 最小二乘估计法用来确定函数y(x) = b1x + b0 中b1和b0的估计值。 y(x)是n个点(x0,y0) , ... ...
分类：
编程语言 时间：
2016-06-28 12:51:57
阅读次数：
185
