Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
之前写过决策树的一篇blog。
这几天看数据挖掘导论发掘一些新的东西，记录下来。
增加了过拟合，剪枝，即其他纯度计算方法等内容。...
分类：
其他好文 时间：
2014-06-08 03:12:07
阅读次数：
269
在线性回归中，由于对参数个数选择的问题是在问题求解之前已经确定好的，因此参数的个数不能很好的确定，如果参数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者参数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)可以减少这样的风险。
欠拟合与过拟合
首先看下面的图
对于图中的一系列样本点，当我们采用y...
分类：
其他好文 时间：
2014-06-02 23:50:41
阅读次数：
430
目录：一、L0，L1范数二、L2范数三、核范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，...
分类：
其他好文 时间：
2014-05-09 11:29:41
阅读次数：
793
Before Finetuning Train Accuracy: 51.190%After
Finetuning Train Accuracy: 100.000%Before Finetuning Test Accuracy: 46.429%After
Finetuning Test Accura...
分类：
其他好文 时间：
2014-05-08 20:23:18
阅读次数：
440
简单的以下面曲线拟合例子来讲：直线拟合后，相比原来的点偏差最大，最后一个图完全拟合了数据点偏差最小；但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合了，即第一个模型的方差比最后一个模型小。一般而言高偏差意味着欠拟合，高方差意味着过拟合。他们之间有如下的关系：
...
分类：
其他好文 时间：
2014-05-07 00:28:40
阅读次数：
946
