回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。...
分类：
其他好文 时间：
2014-11-13 20:28:37
阅读次数：
547
一般的线性回归使用的cost function为:但由于logistic function：本身非凸函数（convex function）， 如果直接使用线性回归的cost function的话，很难到达全局最优解。相反，很容易陷入局部最优解然后就认为到达收敛条件了。因此，logistic regr...
分类：
其他好文 时间：
2014-11-13 08:16:45
阅读次数：
221
《PRML》中Logistic回归（逻辑回归，LR）的推导...
分类：
其他好文 时间：
2014-11-12 21:16:56
阅读次数：
280
Microsoft 决策树算法是由 Microsoft SQL Server Analysis Services 提供的分类和回归算法，用于对离散和连续属性进行预测性建模。对于离散属性，该算法根据数据集中输入列之间的关系进行预测。它使用这些列的值（也称之为状态）预测指定为可预测的列的状态。具体地说，...
分类：
编程语言 时间：
2014-11-11 16:16:08
阅读次数：
259
Sigmoid function也叫Logistic function, 在logistic regression中扮演将回归估计值h(x)从[-inf, inf]映射到[0,1]的角色。公式为：g(z) = 1 / (1 + exp(-z))如图：其输出值大于0.5这认为待分类对象属于1，否则则属...
分类：
其他好文 时间：
2014-11-10 11:40:12
阅读次数：
199
回归1）多元线性回归（1）模型建立多元线性回归讨论的的是变量y与非随机变量x1……xm之间的关系，假设他们具有线性关系，于是有模型：y=b0+b1x1+……+bmxm+e这里的e~N（0，a2），b0，……，bn，a2都是未知数。上式矩阵表达式为：y=xb+e对于一组样本（x00……x0m，y0）……（xn0..
分类：
编程语言 时间：
2014-11-10 01:19:31
阅读次数：
406
梯度下降是回归问题中求cost function最小值的有效方法，对大数据量的训练集而言，其效果要好于非迭代的normal equation方法。 在将其用于多变量回归时，有两个问题要注意，否则会导致收敛速度小，甚至无法收敛。1. 特征均一化（Feature Scaling） 当特征量多时，...
分类：
其他好文 时间：
2014-11-08 16:35:06
阅读次数：
135
从前有棵树, 叫高数, 树上挂了很多人很久很久以前, 在拉格朗日照耀下, 有几座城: 分别是常微分方城和偏微分方城这两座兄弟城, 还有数理方城、随机过城. 从这几座城里流出了几条溪, 比较著名的有: 柯溪、数学分溪、泛函分溪、回归分溪、时间序列分溪等. 其中某几条溪和支流汇聚在一起, 形成了解析几河...
分类：
其他好文 时间：
2014-11-07 12:40:24
阅读次数：
169
Machine Learning:Linear Regression With Multiple Variables
接着上次预测房子售价的例子，引出多变量的线性回归。
接着上次预测房子售价的例子，引出多变量的线性回归。
多变量梯度下降跟单变量一样需同步更新所有的theta值。
进行feature scaling的原因是为了使grad...
分类：
系统相关 时间：
2014-11-07 01:02:19
阅读次数：
413
