1、自编码的定义 自编码器是一种数据的压缩算法，属于无监督学习，以自身X作为输出值，但输出值X‘ 和自身X之间还是有一些差异的。自编码器也是一种有损压缩，可以通过使得损失函数最小，来实现X’ 近似于X的值。简单的自编码器是一种三层的神经网络模型，包含数据输入层、隐藏层、输出重构层，同时也是一种无监督 ...
分类：
其他好文 时间：
2018-07-13 00:03:22
阅读次数：
5793
一，均方误差 作为机器学习中常常用于损失函数的方法，均方误差频繁的出现在机器学习的各种算法中，但是由于是舶来品，又和其他的几个概念特别像，所以常常在跟他人描述的时候说成其他方法的名字。 均方误差的数学表达为： 如上图所示，通过计算每个预测值和实际值之间的差值的平方和再求平均，机器学习中它经常被用于表 ...
分类：
其他好文 时间：
2018-07-12 18:05:59
阅读次数：
269
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为： 对应的损失函数为： 下图为一个二维参数（θ0和θ1）组对应能量函数的 ...
分类：
其他好文 时间：
2018-07-11 14:47:25
阅读次数：
190
tf.nn.nce_loss是word2vec的skip-gram模型的负例采样方式的函数，下面分析其源代码。 1 上下文代码 其中， train_inputs中的就是中心词，train_label中的就是语料库中该中心词在滑动窗口内的上下文词。 所以，train_inputs中会有连续n-1（n为 ...
分类：
其他好文 时间：
2018-07-09 17:17:32
阅读次数：
621
17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效： 高方差时（交叉验证集误差减去训练集误差大时）增加数据集可以提高系统。下图中左图增加数据集有效，右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代，其损失函数为： 迭代过程为： 特点： (1)计算量小，迭代速度快 ...
分类：
其他好文 时间：
2018-07-07 17:45:50
阅读次数：
201
1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相 ...
分类：
其他好文 时间：
2018-07-04 18:53:42
阅读次数：
266
损失函数是机器学习中常用于优化模型的目标函数，无论是在分类问题，还是回归问题，都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数是指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为： θ*是我们通过损失函 ...
分类：
其他好文 时间：
2018-07-01 20:59:46
阅读次数：
244
4.1多维特征 上图中列数即为特征的个数，行数是样本数。函数假设如下： 其中x0=1。 4.2多变量梯度下降 和单变量的损失函数相同： 其中， 求导迭代如下： 4.3梯度下降法实践1-特征缩放 特征之间的尺度变化相差很大（如一个是0-1000，一个是0-5），梯度算法需要非常多次的迭代才能收敛，如下 ...
分类：
其他好文 时间：
2018-07-01 20:57:22
阅读次数：
173
更多风控建模、大数据分析等内容请关注公众号《大数据风控的一点一滴》 在分类问题中常常遇到一个比较头疼的问题，即目标变量的类别存在较大偏差的非平衡问题。这样会导致预测结果偏向多类别，因为多类别在损失函数中所占权重更大，偏向多类别可以使损失函数更小。 处理非平衡问题一般有两种方法，欠抽样和过抽样。欠抽样 ...
分类：
其他好文 时间：
2018-07-01 20:25:55
阅读次数：
184
**更多风控建模、大数据分析等内容请关注公众号《大数据风控的一点一滴》在分类问题中常常遇到一个比较头疼的问题，即目标变量的类别存在较大偏差的非平衡问题。这样会导致预测结果偏向多类别，因为多类别在损失函数中所占权重更大，偏向多类别可以使损失函数更小。处理非平衡问题一般有两种方法，欠抽样和过抽样。欠抽样方法可以生成更简洁的平衡数据集，并减少了学习成本。但是它也带来了一些问题，它会删掉一些有用的样本，尤
分类：
其他好文 时间：
2018-07-01 20:24:39
阅读次数：
165
