1.简单介绍 线性回归方法可以有效的拟合所有样本点（局部加权线性回归除外）。当数据拥有众多特征并且特征之间关系十分复杂时，构建全局模型的想法一个是困难一个是笨拙。此外，实际中很多问题为非线性的，例如常见到的分段函数，不可能用全局线性模型来进行拟合。 树回归将数据集切分成多份易建模的数据，然后利用线性... ...
分类：
其他好文 时间：
2016-08-14 15:56:18
阅读次数：
284
在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 ...
分类：
其他好文 时间：
2016-08-14 07:38:51
阅读次数：
196
Ordinary Least Squares 普通最小二乘法 当达到最小值的时候，就达到最佳拟合直线 求关于系数w 最小二次方程的最小值，可以利用求对w偏导数 同上面等价的另外一种形式的表示： 也可以简化成 推导过程： Ridge Regression 岭回归 Ridge Regression 岭回 ...
分类：
其他好文 时间：
2016-08-05 07:44:12
阅读次数：
133
广义线性模型 前面我们举了回归和分类得到例子。在回归的例子中，$y \mid x;\theta \sim N(u,\sigma ^{2})$，在分类例子中，$y\mid x;\theta \sim Bbernoulli(\phi)$ 广义线性模型是基于指数函数族的，指数函数族原型为： $p(y;\e ...
分类：
其他好文 时间：
2016-08-03 21:59:48
阅读次数：
309
方差膨胀因子（Variance Inflation Factor，VIF）：是指解释变量之间存在多重共线性时的方差与不存在多重共线性时的方差之比。 共线性：两个自变量之间有很大程度的相似性（70%）。有时候在进行线性模型运算中，为了让自变量少，就看哪些变量相互之间具有共线性，具有共线性的变量中可以留 ...
分类：
其他好文 时间：
2016-07-23 17:56:04
阅读次数：
286
读书笔记 周志华老师的《机器学习》 因为边看边记，所以写在随笔里，如果涉及版权问题，请您联系我立马删除，lvxia@mail.ustc.edu.cn 3.1 基本形式 给定d个属性描述的示例 x = (x_1;x_2;...;x_3), 其中x_i是X在第i个属性上的取值，线性模型视图学得一个通过属 ...
分类：
其他好文 时间：
2016-07-19 23:50:33
阅读次数：
1093
卡方检验-考察分类变量相关性-“交叉表”或“设定表”中进行； t检验-考察连续变量与分类变量相关性-“设定表”中进行； 线性logsitic回归-研究分类因变量与一组自变量（可连续可分类）的关系； 树结构模型-研究自变量间是否存在交互作用 广义线性模型-在更广范畴建立模型。 1、案例背景 收集脑外伤 ...
分类：
其他好文 时间：
2016-07-13 13:37:55
阅读次数：
721
散点图 曲线直线化：变量变换后拟合线性模型、曲线拟合模型 非线性模型 残差的独立性、正态性、方差齐性检验 预测值 1、案例背景 利用某车企过去14年的汽车销售量来预测未来2-3年的销售量。变量：时间、销售量 2、数据理解 画时间与销售量的散点图，发现以下三类关键信息： 变量间是否存在数量关联趋势； ...
分类：
其他好文 时间：
2016-07-08 19:38:44
阅读次数：
279
分类变量、连续变量分布的描述 bootstrap抽样、秩和检验探索变量关联：比较均值、独立样本 变量变换：P-P图 秩变换分析：个案排秩 Cox回归模型 方差分析实质是自变量含有分类变量的一般线性模型。 方差分析属于参数检验，有一定的假设条件。当不满足方差分析的假设条件时，就选择 （1）非参数检验（ ...
分类：
其他好文 时间：
2016-07-08 00:03:17
阅读次数：
371
传统线性模型的假设之一是因变量之间相互独立，并且如果自变量之间不独立，会产生共线性，对于模型的精度也是会有影响的。虽然完全独立的两个变量是不存在的，但是我们在分析中也可以使用一些手段尽量减小这些问题产生的影响，例如采用随机抽样减小因变量间的相关性，使其满足假设；采用岭回归、逐步回归、主成分回归等解决 ...
分类：
其他好文 时间：
2016-07-03 15:42:39
阅读次数：
476
