Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
编程语言 时间：
2016-11-14 09:41:30
阅读次数：
306
整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； ...
分类：
其他好文 时间：
2016-11-03 01:53:41
阅读次数：
463
今天开始学习机器学习，主要在于几个方面，就是机器学习对于我个人的几个方面提升都特别大。不管是金融还是图像。 在金融我需要机器学习对于我的策略进行重构与评价。 在图像，我擅长的是模式识别，需要大量的数据处理，机器学习是大数据的根本。 从今天开始，每天学一点。坚持下去吧。 机器学习的关键在于如何入门，如 ...
分类：
其他好文 时间：
2016-11-01 18:55:20
阅读次数：
168
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式： 目标函数 = ...
分类：
其他好文 时间：
2016-10-19 14:12:24
阅读次数：
163
线性回归是指，试图学得一个线性模型以尽可能准确的预测实值输出标记。 最小二乘法：基于均方误差最小化来进行模型求解的方法。 通过变成实现最小二乘法（可能不是最简化的，有待提高编程能力） ...
分类：
编程语言 时间：
2016-10-18 23:01:34
阅读次数：
208
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 ...
分类：
其他好文 时间：
2016-10-18 01:40:45
阅读次数：
349
1.背景: 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。 ...
分类：
其他好文 时间：
2016-09-12 20:32:42
阅读次数：
166
最小二乘问题： 结合之前给出向量空间中的正交、子空间W、正交投影、正交分解定理、最佳逼近原理，这里就可以比较圆满的解决最小二乘问题了。 首先我们得说明一下问题本身，就是在生产实践过程中，对于巨型线性方程组Ax=b，可能是无解的，但是我们就是迫切的需要一个解，满足这个解是方程的最近似解。 下面我们综合 ...
分类：
移动开发 时间：
2016-09-03 08:36:34
阅读次数：
218
构造R^n子空间W一组正交基的算法：格拉姆-施密特方法。 ...
分类：
移动开发 时间：
2016-09-02 13:01:48
阅读次数：
177
一.背景 5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基... ...
分类：
其他好文 时间：
2016-08-31 14:09:35
阅读次数：
167
