课时8 反向传播与神经网络初步（上） 反向传播在运算连路中，这是一种通过链式法则来进行递推的计算过程，这个链路中的每一个中间变量都会对最终的损失函数产生影响。 链式法则通常包含两部分，局部梯度和后一层的梯度相乘 前向和反向花费的时间是基本一样的。 大的函数也可以直接视作一个整体计算梯度 当局部梯度非 ...
分类：
其他好文 时间：
2017-04-23 19:30:26
阅读次数：
122
''' Created on Apr 20, 2017 @author: P0079482 ''' import tensorflow as tf #获取一层神经网络边上的权重，并将这个权重的L2正则化损失加入名称为'losses'的集合中 def get_weight(shape,lambda1)... ...
分类：
其他好文 时间：
2017-04-21 09:37:59
阅读次数：
2557
课时6 线性分类器损失函数与最优化（上） 多类SVM损失：这是一个两分类支持向量机的泛化 SVM损失计算了所有不正确的例子，将所有不正确的类别的评分，与正确类别的评分之差加1，将得到的数值与0作比较，取两者中的最大值。然后将所有的数值进行求和。用平均值来代替不会影响结果。 这些评分都是无标度的，因为 ...
分类：
其他好文 时间：
2017-04-20 21:00:33
阅读次数：
193
再次声明，总结内容基本非原创，只是一个勤劳的搬运工，由于来源比较杂，只好一起感谢网上提供这些知识的人类们。 一、关于线性回归 线性回归比较简单，这里主要是对线性回归的一种理解，包括部分正则化的内容。 1.模型的概率解释 2.最大似然估计 即： 上面是线性回归最原始的最小平方损失函数，如果为了防止过拟 ...
分类：
其他好文 时间：
2017-04-12 15:05:34
阅读次数：
487
假设训练数据线性可分，那么感知机模型如下： f(x)=ω?χ+b这个超平面可以用来分割平面 不考虑系数，那么感知机的损失函数就可以定义为 ...
分类：
其他好文 时间：
2017-04-08 19:02:10
阅读次数：
140
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结。 1. 线性回归的模型函数和损失函数 线性回归遇到的问题一般是这样的。我们有m个样本，每个样本对应于n维特征和一个结果输出，如下： (x(0)1,x(0)2,...x(0)n,y0),(x(1)1,x(1)2,.. ...
分类：
其他好文 时间：
2017-04-05 22:15:49
阅读次数：
270
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
梯度下降法的作用是求到一种方案，使得拟合过程中的损失函数最小(结果可能只为局部最优值)，除此之外还有最小二乘法等方法。 关于此方法详细的阐述参见：http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_le ...
分类：
其他好文 时间：
2017-04-04 00:31:54
阅读次数：
153
注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，对代价函数的理解也在不断的加深， ...
分类：
其他好文 时间：
2017-04-01 20:23:03
阅读次数：
396
