笔记︱范数正则化L0、L1、L2-岭回归&Lasso回归（稀疏与特征工程） 一、正则化背景 监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们 ...
分类：
其他好文 时间：
2017-02-19 18:21:35
阅读次数：
403
摘要： 1.正则化（Regularization） 1.1 正则化的目的 1.2 正则化的L1范数（lasso），L2范数（ridge），ElasticNet 2.归一化 （Normalization） 2.1归一化的目的 2.1归一化计算方... ...
分类：
其他好文 时间：
2017-01-19 02:42:43
阅读次数：
801
Lasso Regression标签（空格分隔）： 监督学习在数据挖掘和机器学习算法的模型建立之初，为了尽量的减少因缺少重要变量而出现的模型偏差问题，我们通常会尽可能的多的选择自变量。但是在实际建模的过程中，通常又需要寻找 对响应变量具有解释能力的自变量子集，以提高模型的解释能力与预测精度，这个过程称为特征选择。...
分类：
其他好文 时间：
2016-06-12 02:56:22
阅读次数：
2307
那几年。我学习机器学习的主要内容：1.机器学习基本导论，机器学习入门了解；2.线性回归与Logistic。xx业绩预測系统。智能交互统计系统等。3.岭回归。Lasso，变量选择技术。维度的技巧等技术；4.降维技术。xx指标设计，详细规范。5.线性分类器，Knn算法，朴素贝叶斯分类器。文本挖掘。XX智...
分类：
其他好文 时间：
2015-12-19 17:55:21
阅读次数：
141
多元线性回归模型 的最小二乘估计结果为 如果存在较强的共线性，即 中各列向量之间存在较强的相关性，会导致的从而引起对角线上的 值很大 并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。 因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的...
分类：
其他好文 时间：
2015-12-12 12:22:27
阅读次数：
13446
1、机器学习概论。 2、线性回归与Logistic。案例：电子商务业绩预测 3、岭回归，Lasso，变量选择技术。从一团乱麻中识别有用维度的技巧 4、降维技术。案例：业绩综合指标设计 5、线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘，案例：智能判断垃圾短信，通过文本挖掘给用户加标签，评论自动分...
分类：
编程语言 时间：
2015-11-26 01:23:58
阅读次数：
240
主要内容：1、L1 minimization2、Matching Pursuit3、Iterative thresholding4、Total-variation minimization1、L1 minimization这是一个凸优化问题，类似于统计学中的LASSO。优化算法有：特点：L1最小化的...
分类：
编程语言 时间：
2015-11-24 12:28:45
阅读次数：
131
尽管有些内容还是不懂，先截取的摘录。1.变量选择问题：从普通线性回归到lasso 使用最小二乘法拟合的普通线性回归是数据建模的基本方法。其建模要点在于误差项一般要求独立同分布（常假定为正态）零均值。t检验用来检验拟合的模型系数的显著性，F检验用来检验模型的显著性（方差分析）。如果正态性不成立，...
分类：
其他好文 时间：
2015-11-08 19:25:44
阅读次数：
1650
SVM和LASSO是机器学习里两个非常经典的模型，每个模型都有大量的文献进行研究。其中去年出版的这本书——《Regularization, Optimization, Kernels, and Support Vector Machines》的第一章证明了某些形式的SVM和LASSO其实是等价的.....
分类：
其他好文 时间：
2015-09-19 15:07:00
阅读次数：
264
FCKeditor是一个功能强大支持所见即所得功能的文本编辑器，可以为用户提供微软office软件一样的在线文档编辑服务。它不需要安装任何形式的客户端，兼容绝大多数主流浏览器，支持ASP.Net、ASP、ColdFusion 、PHP、Jsp、Active-FoxPro、Lasso、Perl、yth...
分类：
其他好文 时间：
2015-08-29 12:37:42
阅读次数：
368
