1.理解线性分类器 目前我了解学习的线性分类器有2个：SVM和逻辑回归（也就是SoftMax），这2个分类器的主体都是一样，不同的地方就是生成损失函数不一样。所以我先讲主体，再讲损失函数，关于线性分类器，大体就是这个样子： 图片说明：生成这三根直线就是三个线性分类器，如果生成了这三根直线后，后面再有 ...
分类：
其他好文 时间：
2018-01-03 14:04:14
阅读次数：
141
决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最 ...
分类：
其他好文 时间：
2017-12-28 23:27:58
阅读次数：
286
各种风险及其最小化的解释 对于给定的输入 $X$ ，由 $f(X)$ 给出输出 $Y$ ，这个输出的预测值 $f(X)$ 与真实值 $Y$ 可能一致也可能不一致，用一个损失函数 (loss function) 来度量预测错误的程度，记作 $L(Y,f(X))$ 。 常用的损失函数比如 0 1 损失函 ...
分类：
其他好文 时间：
2017-12-28 23:20:31
阅读次数：
273
TensorFlow L2正则化 L2正则化在机器学习和深度学习非常常用，在TensorFlow中使用L2正则化非常方便，仅需将下面的运算结果加到损失函数后面即可 ...
分类：
其他好文 时间：
2017-12-25 13:44:09
阅读次数：
248
1.梯度消失（vanishing gradient problem）： 原因：例如三个隐层、单神经元网络： 假设上面是一个三层hidden layer的神经网络，每一层只有一个neuron，我们下面的分析仅仅针对bias，w也是可以类比的。 C是损失函数。 每一层的输入为z，输出为a，其中有z = ...
分类：
其他好文 时间：
2017-12-24 18:53:40
阅读次数：
315
这个自定义损失函数的背景：（一般回归用的损失函数是MSE, 但要看实际遇到的情况而有所改变） 我们现在想要做一个回归，来预估某个商品的销量，现在我们知道，一件商品的成本是1元，售价是10元。 如果我们用均方差来算的话，如果预估多一个，则损失一块钱，预估少一个，则损失9元钱（少赚的）。 显然，我宁愿预 ...
分类：
其他好文 时间：
2017-12-22 18:31:17
阅读次数：
153
SVM算法的学习策略就是间隔最大化，是求解凸二次规划的最优化算法，也等价于正则化的合页损失函数的最小化问题。 SVM适合中小规模的数据，预测时不能给出具体的概率结果 支持向量机包含三种模型：1、线性可分支持向量机； 2、线性支持向量机； 3、非线性支持向量机； SVM算法的优缺点： 优点：泛化错误率 ...
分类：
其他好文 时间：
2017-12-21 17:22:18
阅读次数：
151
交叉熵损失： 给定两个概率分布p和q，通过q来表示p的交叉熵为： 从上述公式可以看出交叉熵函数是不对称的，即H(p,q)不等于H（q,p)。 交叉熵刻画的是两个概率分布之间的距离，它表示通过概率分布q来表示概率分布p的困难程度。所以使用交叉熵作为 神经网络的损失函数时，p代表的是正确答案，q代表的是 ...
分类：
其他好文 时间：
2017-12-16 23:17:08
阅读次数：
363
对于线性支持向量机学习来说，模型为分离超平面w*x+b*=0及决策函数f(x)=sign(w*x+b*)，其学习策略为软间隔最大化，学习算法为凸二次规划。线性支持向量机学习还有另外一种解释，也就是最小化如下目标函数： 第一项是经验损失，函数： 称为合页损失函数，下标+表示以下取正值的函数： ...
分类：
其他好文 时间：
2017-12-14 19:30:24
阅读次数：
136
第一页纸定义了损失函数的样子, theta, X 和 y 的 shape, 以及最终的损失函数向量表现形式． 第二页纸抄上了几个要用到的矩阵求导公式，以及推导过程和结果． 要说明的是：推导结果与theta, X 和 y 的 shape有直接关系．也就是说可能和某教材，某大牛教学视频的结论外貌上不一致 ...
分类：
其他好文 时间：
2017-12-10 14:49:25
阅读次数：
169
