整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； ...
分类：
其他好文 时间：
2016-11-03 01:53:41
阅读次数：
463
在我们遇到回归问题时，例如前面提到的线性回归，我们总是选择最小而成作为代价函数，形式如下： 这个时候，我们可能就会有疑问了，我们为什么要这样来选择代价函数呢？一种解释是使我们的预测值和我们训练样本的真实值之间的距离最小，下面我们从概率的角度来进行解释。 首先假设输入变量和目标变量满足下面的等式 ε（ ...
分类：
其他好文 时间：
2016-08-13 06:26:00
阅读次数：
162
（一）局部加权回归 通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting）。如下图的左图。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的 过拟合（overfitting），不符合数据真实的模型。如下图的右图。 下面来讲一种非 ...
分类：
编程语言 时间：
2016-04-21 01:09:40
阅读次数：
369
线性回归即线性拟合，给定N个样本数据（x1,y1）,(x2,y2)....(xN,yN)（x_1,y_1）,(x_2,y_2)....(x_N,y_N)其中xix_i为输入向量，yiy_i表示目标值，即想要预测的值。采用曲线拟合方式，找到最佳的函数曲线来逼近原始数据。通过使得代价函数最小来决定函数参数值。
采用斯坦福大学公开课的例子：假如一套房子的价格只考虑由房屋面积(Living area)与...
分类：
其他好文 时间：
2016-03-14 00:20:17
阅读次数：
651
本文主要从一个例子开始说说线性回归模型以及线性回归模型的损失函数，求解方法和概率解释。不涉及统计学里的回归分析等诸多细节。例子假设我们中介手上有一些房屋销售的数据（北京的房价太高了）：面积(平方米)价格（万）8032090365100380120400150500有个人有个130平方米的房子要卖，中...
分类：
其他好文 时间：
2015-12-08 02:02:08
阅读次数：
225
对于常规线性模型来说，其精确的模型可定义如下： 其中，模型中的第一部分描述了通过待预测值随自变量的变化趋势，而第二部分描述了线性模型不能建模的误差项。 最小二乘方法采用损失代价和最小来获得线性模型的参数。在此，我们通过假设误差项的概率分布，并用最大似然估计的方法寻求模型参数Θ。 在此，我们假设误差项...
分类：
其他好文 时间：
2015-11-18 16:00:10
阅读次数：
138
摘要主要是通过回归（discrimination learning model）来对机器学习算法建立横向连接，有助于对各类算法的理解和归类。储备知识从统计学角度来讲，一个信号基本上可以分为两个部分：系统性部分和随机分布，系统性部分在我看来是传达的某种规律性的信息，而随机成分就是用来对信号中不能通过规律性的东西进行把握的部分。所以，一般来讲都采用高斯分布进行建模。系统性的部分就是所谓的利用hypoth...
分类：
编程语言 时间：
2015-08-26 12:10:19
阅读次数：
188
信息检索概述信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] … w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D’。对于这一问题，先后出现了布尔...
分类：
其他好文 时间：
2015-06-24 07:05:45
阅读次数：
237
欧拉函数： phi(n) = n*(1 - 1/p1)*(1 - 1/p2)*...*(1 - 1/pk); p1 p2 ... 为n 的素因子，表示 1 ... n 中 与 n 互质的数的个数推导： 由于符号难写，在此略去。概率解释ex： [1, a] 与 [1, b] 互质对个数 ？来道裸题练习...
分类：
其他好文 时间：
2015-06-21 09:17:44
阅读次数：
104
