一、损失函数 深度学习中，常用的损失函数为均方误差和交叉熵，分别对应回归和分类问题，其实深度学习的损失函数和机器学习的损失函数差不多，是一致的，均方误差就相当于最小二乘，交叉熵其实是一种特殊的对数损失函数形式，这里不再赘述。 二、激活函数 是深度学习特有的。 关于激活函数，首先要搞清楚的问题是，激活 ...
分类：
其他好文 时间：
2017-02-09 17:21:01
阅读次数：
973
我们将讨论逻辑回归。 逻辑回归是一种将数据分类为离散结果的方法。 例如，我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件。 在本模块中，我们介绍分类的概念，逻辑回归的损失函数（cost functon），以及逻辑回归对多分类的应用。 我们还涉及正规化。 机器学习模型需要很好地推广到模型在实践 ...
分类：
其他好文 时间：
2017-01-26 23:19:54
阅读次数：
288
1 用回归来做分类 到目前为止，我们学习了线性分类，线性回归，逻辑回归这三种模型。以下是它们的pointwise损失函数对比（为了更容易对比，都把它们写作s和y的函数，s是wTx，表示线性打分的分数）： 把这几个损失函数画在一张图上： 如果把逻辑回归的损失函数ce做一个适当的放缩，则可以得到下图： ...
分类：
其他好文 时间：
2017-01-21 20:26:21
阅读次数：
220
摘要： 1.正则化（Regularization） 1.1 正则化的目的 1.2 正则化的L1范数（lasso），L2范数（ridge），ElasticNet 2.归一化 （Normalization） 2.1归一化的目的 2.1归一化计算方... ...
分类：
其他好文 时间：
2017-01-19 02:42:43
阅读次数：
801
介绍：以下是李航《统计学习方法的》第一章的部分摘录，只为复习总结用 内容： 1.损失函数： 扩展：线性回归，LR，svm,boosting的损失函数 2.分类器评估方法： ...
分类：
其他好文 时间：
2017-01-15 11:41:44
阅读次数：
537
第2章 感知机 感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。 ...
分类：
其他好文 时间：
2017-01-07 22:32:59
阅读次数：
305
线性回归：是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 梯度下降，http://www.cnblogs.com/hgl0417/p/5893930.html 最小二乘： 对于一般训练集： 参数系统为： 线性模型为： 线性回归的目的为最小化损失函数J(θ.... ...
分类：
其他好文 时间：
2016-12-30 10:18:50
阅读次数：
160
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟 ...
分类：
其他好文 时间：
2016-12-17 11:36:03
阅读次数：
194
特征工程 一、特征处理 1. 正负样本不均衡问题 a) Oversampleing b) 修改损失函数 c) 取n份正样本 与 负样本 分别构建分类器，然后vote 2． 数值特征处理 a) 归一化 b) Log变换 c) 统计max min mean std d) 离散化 e) HASH分桶 f) ...
分类：
其他好文 时间：
2016-12-11 12:24:54
阅读次数：
343
A Loss Function for Learning Region Proposals 训练RPN时，只对两种anchor给予正标签：和gt_box有着最高的IoU && IoU超过0.7。如果对于 所有的gt_box，其IoU都小于0.3，则标记为负。损失函数定义如下： 其中i为一个mini- ...
分类：
其他好文 时间：
2016-12-06 14:12:37
阅读次数：
1654
