1. 前言 在前一篇 "1. 支持向量机（SVM）原理" 中，我们对线性可分SVM的模型和损失函数优化做了总结。但是大家有没发现，之前的文章介绍的支持向量机会无法处理一些情况，比如在有0，1两类，在0类的中间出现了几个1类的异常点，这样的话要之前最原始的SVM绝对分离两个类基本是不可能的了。本文对支 ...
分类：
其他好文 时间：
2018-11-10 10:54:42
阅读次数：
191
1. 前言 在机器学习中，不同的问题对应了不同的损失函数，不同的损失函数也直接会影响到收敛的快慢和结果的好坏，下面就从不同的损失函数的角度进行一下梳理。 2. 0 1损失函数 0 1损失是指，预测值和目标值不相等为1，否则为0 3. log对数损失函数 逻辑回归的损失函数就是对数损失函数，在逻辑回归 ...
分类：
其他好文 时间：
2018-11-10 10:41:51
阅读次数：
207
感知机： 1.感知机关键在于损失函数最小化 2.当初值和分类点选择顺序不同时，算得的结果不同。 3.当线性不可分时，感知机算法不收敛，迭代结果震荡。 4.感知机和随机梯度下降。 5.pocket algorithm 口袋算法：每次梯度下降时和“口袋”比较，将损失更小的放到“口袋”里。 6.voted ...
分类：
其他好文 时间：
2018-11-09 16:12:10
阅读次数：
169
昨天配置了tensorflow的gpu版本，今天开始简单的使用一下 主要是看了一下tensorflow的tutorial 里面的 IMDB 电影评论二分类这个教程 教程里面主要包括了一下几个内容：下载IMDB数据集，显示数据（将数组转换回评论文本），准备数据，建立模型（隐层设置，优化器和损失函数的配 ...
分类：
数据库 时间：
2018-11-04 01:41:18
阅读次数：
369
1.cornerpooling的设计，个人觉得解释有些牵强。 这里的两个特征图如何解释，corner点为何是横向与纵向响应最强的点。如果仅仅当成一种奇特的池化方式，恰好也有着不错的效果，那倒是可以接受，论文中的解释实在难以接受。 2.heapmap的损失函数，角点周围的像素按照高斯分布处理可以理解， ...
分类：
Web程序 时间：
2018-11-02 14:39:02
阅读次数：
692
我们希望找到一个 使得 最小，那么 就得沿着使损失函数L减小的方向变化，即： 同时，最新的学习器是由当前学习器 与本次要产生的回归树 相加得到的： 因此，为了让损失函数减小，需要令： 即用损失函数对f(x)的负梯度来拟合回归树。 ...
分类：
其他好文 时间：
2018-11-01 16:58:55
阅读次数：
345
1 学习率的基本定义 学习率learning_rate：每次参数更新的幅度。 简单示例： 假设损失函数 loss = ( w + 1 )2，则梯度为 参数 w 初始化为 5 ，学习率为 0.2 ，则 2 学习率的初步应用 2.1 学习率 0.2 时 运行 从运算过程可以得出，待优化参数 w 由原来的 ...
分类：
其他好文 时间：
2018-10-30 00:22:04
阅读次数：
324
LR & SVM 的区别 相同点 1. LR和SVM都是分类算法。 2. 如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 3. LR和SVM都是监督学习算法。 4. LR和SVM都是判别模型。 不同点 1. 损失函数不一样 2. 支持向量机只考虑局部的边界线附近 ...
分类：
其他好文 时间：
2018-10-26 19:35:13
阅读次数：
166
MSELoss损失函数中文名字就是：均方损失函数，公式如下所示： 这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。 很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 l ...
分类：
其他好文 时间：
2018-10-25 14:24:18
阅读次数：
362
Normal equation: Method to solve for θ analytically 正规方程：分析求解θ的方法 对于损失函数 \[J\left( {{\theta _0},{\theta _1},...,{\theta _n}} \right) = \frac{1}{{2m}}\ ...
分类：
编程语言 时间：
2018-10-24 01:02:04
阅读次数：
192
