作者：zzanswer链接：https://www.zhihu.com/question/52398145/answer/209358209来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 举个例子解释一下:（图片来自Andrew Ng Machine Learning ...
分类：
其他好文 时间：
2018-03-20 18:14:53
阅读次数：
200
Adaboost推导每一笔样本都必须有一个权重，因此子模型要支持样本可以带权重，亦即在计算误差时可以考虑要本的权重。例如SVM，LR中通过稍微损失函数使得可以考虑样本的权重：SVM（软间隔，硬间隔貌似没有损失函数）是通过在松弛项前面增加权重。相应的，推导后，alpha的上限C也要乘以权重；LR是直接... ...
分类：
其他好文 时间：
2018-03-10 13:53:20
阅读次数：
208
什么是决策树？ 决策树是一种基本的分类与回归方法。其主要有点事模型具有可得性，分类速度快。学习时，利用训练数据，根据损失函数最小化原则建立决策树模型；预测时，对新数据，利用决策树模型进行分类。 决策树学习通常包含以下三个步骤： 选择特征 决策树生成 剪枝 决策树的改进路线： ID3 >C4.5 >C ...
分类：
其他好文 时间：
2018-03-07 11:38:49
阅读次数：
212
TensorFlow训练神经网络的4个步骤： 1、定义算法公式，即训练神经网络的forward时的计算 2、定义损失函数和选择优化器来优化loss 3、训练步骤 4、对模型进行准确率评测 附Multi-Layer Perceptron代码： 1 from tensorflow.examples.tu ...
分类：
其他好文 时间：
2018-03-06 21:47:21
阅读次数：
147
一、前向传播 w 权重 b 偏差 a 输入 一般地，我们可以把前向传播过程表示： 2. 损失函数和代价函数 损失函数主要指的是对于单个样本的损失或误差； 代价函数表示多样本同时输入模型的时候总体的误差——每个样本误差的和然后取平均值。 3. 反向传播 反向传播的基本思想 就是通过计算输出层与期望值之 ...
分类：
其他好文 时间：
2018-03-06 10:52:21
阅读次数：
182
梯度下降法 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 举个栗子 直线方程：导数代表斜率 曲线方程：导数代表切线斜率 导数可以代表方向，对应J增大的方向。对于蓝点，斜率为负，西塔减少时J增加，西塔增加时J减少，我们想让J减小，对应导数的 ...
分类：
其他好文 时间：
2018-03-04 18:04:02
阅读次数：
214
0. 背景 Junbo Zhao等人提出的“基于能量的GAN”网络，其将判别器视为一个能量函数而不需要明显的概率解释，该函数可以是一个可训练的损失函数。能量函数是将靠近真实数据流形的区域视为低能量区域，而远离的视为高能量区域。和“概率GAN”相似，训练中，生成器会尽可能生成最小能量时候的伪造样本，而 ...
分类：
Web程序 时间：
2018-03-02 01:15:27
阅读次数：
244
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可 ...
分类：
其他好文 时间：
2018-03-01 20:11:57
阅读次数：
930
正规方程： 对于上面的线性回归算法我们都是采用的梯度下降法，使得损失函数最小，而对于线性回归算法还有另外一种使得损失函数最小的方法，那就是正规方程。 正规方程式通过求解下面的方程来找出使得代价函数最小的参数： ?J(θj))?θj=0 假设我们的训练集特征矩阵为X（包含x0=1）并且训练集结果为向量 ...
分类：
其他好文 时间：
2018-02-28 17:31:06
阅读次数：
203
1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x)) 来表示。 损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了 ...
分类：
其他好文 时间：
2018-02-24 00:58:46
阅读次数：
447
