1、sigmoid函数 ? sigmoid函数，也就是s型曲线函数，如下： 函数： 导数： ? 上面是我们常见的形式，虽然知道这样的形式，也知道计算流程，不够感觉并不太直观，下面来分析一下。 1.1 从指数函数到sigmoid ? 首先我们来画出指数函数的基本图形： ? 从上图，我们得到了这样的几个 ...
分类：
其他好文 时间：
2017-10-16 16:46:52
阅读次数：
2739
0 前言 上课的时候老师讲到了信息论中的一些概念，看到交叉熵，这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 Reference: 信息熵是什么，韩迪的回答：https://www.zhihu.com/question/22178202 如何通俗 ...
分类：
其他好文 时间：
2017-10-15 21:22:47
阅读次数：
383
统计学习中常用的损失函数有以下几种： (1) 0-1损失函数(0-1 lossfunction): L(Y,f(X))={1,0,Y≠f(X)Y=f(X) (2) 平方损失函数(quadraticloss function) L(Y,f(X))=(Y?f(X))2 (3) 绝对损失函数(absolu ...
分类：
其他好文 时间：
2017-10-12 20:36:52
阅读次数：
209
从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中，我们知道损失函数为如下的形式：\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\th... ...
分类：
其他好文 时间：
2017-10-07 20:48:04
阅读次数：
167
1、Recursive Nerual Networks能够更好地体现每个词与词之间语法上的联系这里我们选取的损失函数仍然是交叉熵函数 2、整个网络的结构如下图所示: 每个参数的更新时的梯队值如何计算,稍后再给大家计算相应的数学公式 这里先列出节点的合并规则 1、即假设将一句话中的词先两个合并，并通过 ...
分类：
编程语言 时间：
2017-10-06 23:10:00
阅读次数：
334
如上图，深度学习有3个基本的步骤： 1） 定义函数，即选择建立神经网络 2） 建立一个标准，判断第一步得到的函数或者网络好不好，相当于损失函数，误差越小，则该函数或网络越好 3） 选择误差最小的那个函数或网络 将我们之前选择的模型或网络用在训练集上，如果误差大，则说明模型不好，需要重新选择或者训练模 ...
分类：
其他好文 时间：
2017-10-02 17:20:29
阅读次数：
906
（3）在逻辑回归中的应用。 由于交叉熵是衡量两个分布之间的相似度，在逻辑回归中，首先数据集真实的分布是p，通过逻辑回归模型预测出来的结果对应的分布是q，此时交叉熵在这里就是衡量预测结果q与真实结果p之间的差异程度，称之为交叉熵损失函数。具体如下： 假设，对应两分类的逻辑回归模型logistic re ...
分类：
其他好文 时间：
2017-10-01 16:17:29
阅读次数：
198
在求解机器学习算法的优化问题时，梯度下降是经常采用的方法之一。 梯度下降不一定能够找到全局最优解，有可能是一个局部最优解。但如果损失函数是凸函数，梯度下降法得到的一定是全局最优解。 梯度下降的相关概念： 1、步长或学习率（learning rate）：步长和学习率是一个东西，只是在不同的地方叫法不一 ...
分类：
其他好文 时间：
2017-09-17 21:04:27
阅读次数：
275
深度学习笔记(三)：激活函数和损失函数 损失函数：Hinge Loss（max margin） 机器学习中的常见问题——损失函数 ...
分类：
其他好文 时间：
2017-09-14 18:44:28
阅读次数：
112
如果和一个人交流时，他的思想像弹幕一样飘散在空中，将是怎样的一种景象？我想大概会毫不犹豫的点关闭的。生活为啥不能简单明了？因为太直白了令人乏味。保留一些不确定性反而扑朔迷离，引人入胜。我们学习了线性回归，对于损失函数及权重更新公式理解起来毫无压力，这是具体直白的好处。然而遇到抽象晦涩的逻辑回归，它的 ...
分类：
编程语言 时间：
2017-09-10 21:49:41
阅读次数：
219
