第三章 线性模型3.1 基本形式线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成，其中w 和 b 学得之后， 模型就得以确定。3.2 线性回归对离散属性的处理：若属性值间存在序关系，可通过连续化将其转化为连续值，例如二值属性“身高”的取值“高”... ...
分类：
其他好文 时间：
2017-06-20 17:52:37
阅读次数：
237
一，引言 尽管线性回归包含了一些强大的方法，但这些方法创建的模型需要拟合所有的样本数据。当数据拥有众多特征并且特征之间的关系比较复杂时，构建全局线性模型就会非常困难。并且，在实际生活中很多问题都是非线性的，很难通过全局线性模型来拟合所有数据。 解决上述非线性数据的拟合问题的一个可行的方法是，将数据集 ...
分类：
其他好文 时间：
2017-06-11 19:17:53
阅读次数：
439
本节内容 牛顿方法 指数分布族 广义线性模型 之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为其实梯度下降属于一种优化 ...
分类：
其他好文 时间：
2017-06-08 00:19:59
阅读次数：
299
最小二乘法是机器学习中的基础知识点，一致对最小二乘法的理解不够深入，今天就花点时间来深入理解和探讨一下最小二乘法 最小二乘法，又称最小平方法，基本公式通俗来讲，二者先取个差值，在来个平方，最后搞一个和号上去，这就是最小二乘问题的思想，下面介绍下 最小二乘法 我们以最简单的一元线性模型来解释最小二乘法 ...
分类：
其他好文 时间：
2017-06-06 22:07:09
阅读次数：
172
广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents 1. 广义线性模型的认识 2. ...
分类：
其他好文 时间：
2017-06-05 19:23:26
阅读次数：
319
本讲内容 1. Newton's method（牛顿法） 2. Exponential Family（指数簇） 3. Generalized Linear Models(GLMs)（广义线性模型） 1.牛顿法 假如有函数, 寻找使得 牛顿法的步骤如下： (1) initialize as some ...
分类：
其他好文 时间：
2017-06-02 11:37:11
阅读次数：
377
抛出问题：为什么前面的线性回归要用最小二乘法？为什么要用这样的指标？ 下面我们会给出一系列的概率假设，从而导出最小二乘法是一个很自然的算法： 先设 y^(i) = θTx^(i) + ε（i）, 其中ε（i）叫做误差项 error term，这个可以看作是对未建模的效应的捕获，简单的说就是没有考虑到 ...
分类：
其他好文 时间：
2017-05-30 17:49:00
阅读次数：
273
机器学习中的类别均衡问题？分为类别平衡问题和类别不平衡问题类别平衡问题：可以采用回归类别不平衡问题：可以采用在缩放针对类别的回归问题有线性回归：非线性回
分类：
其他好文 时间：
2017-05-28 16:06:34
阅读次数：
126
1.1.2 Ridge Regression（岭回归） 岭回归和普通最小二乘法回归的一个重要差别是前者对系数模的平方进行了限制。例如以下所看到的： In [1]: from sklearn import linear_model In [2]: clf = linear_model.R linear ...
分类：
其他好文 时间：
2017-05-26 23:33:29
阅读次数：
344
代码及数据：https://github.com/zle1992/MachineLearningInAction logistic regression 优点:计算代价不高，易于理解实现，线性模型的一种。 缺点:容易欠拟合，分类精度不高。但是可以用于预测概率。 适用数据范围:数值型和标称型。 准备数 ...
分类：
编程语言 时间：
2017-05-25 17:17:39
阅读次数：
378
