已经知道了logistic回归模型，也知道了损失函数 损失函数是衡量单一训练样例的效果，还知道了成本函数 成本函数用于衡量参数w和b的效果在全部训练集上面的衡量下面开始讨论如何使用梯度下降法来训练或学习训练集上的参数w和b回顾一下： 这里是最熟悉的logistic回归算法第二行是成本函数J，成本函数... ...
分类：
编程语言 时间：
2017-09-09 00:06:05
阅读次数：
212
上一节当中，为了能够训练logistic回归模型的参数w和b，需要定义一个成本函数 使用logistic回归训练的成本函数 为了让模型通过学习来调整参数，要给出一个含有m和训练样本的训练集很自然的，希望通过训练集找到参数w和b，来得到自己得输出对训练集当中的值进行预测，将他写成y^（I）我们希望他会... ...
分类：
其他好文 时间：
2017-09-08 23:58:47
阅读次数：
568
怎么样计算偏导数来实现logistic回归的梯度下降法它的核心关键点是其中的几个重要公式用来实现logistic回归的梯度下降法接下来开始学习logistic回归的梯度下降法logistic回归的公式 现在只考虑单个样本的情况，关于该样本的损失函数定义如上面第三个公式，其中a是logistic回归的... ...
分类：
其他好文 时间：
2017-09-08 23:54:36
阅读次数：
300
假设函数（Hypothesis Function）模型的知识表达： 然后利用已知的数据对其中的参数进行求解，再将该函数用于新数据的预测，其中参数的求解过程称为“训练（Training） or 学习（Learning）” 待优化参数 θ0，θ1 损失函数(loss function)，或叫代价函数(c ...
分类：
其他好文 时间：
2017-09-08 00:25:49
阅读次数：
168
文章导读： 1.交叉熵损失函数 1.1 交叉熵损失函数介绍 1.2 在MNIST数字分类上使用交叉熵损失函数 1.3 交叉熵的意义以及来历 1.4 Softmax 2. 过拟合和正则化 2.1 过拟合 2.2 正则化 2.3 为什么正则化可以减轻过拟合问题 2.4 正则化的其它方法 3. 参数初始化 ...
分类：
编程语言 时间：
2017-09-07 18:16:36
阅读次数：
878
参考：http://blog.csdn.net/google19890102/article/details/50522945 0-1损失函数 平方损失函数（最小二乘法） 最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分 ...
分类：
其他好文 时间：
2017-09-06 15:36:50
阅读次数：
234
logistic回归的 P(y|x):预期输出为y时，输入为x的概率为p(y|x)=y~^y(1-y~)^(1-y) 全面概括y=0|1的情况 loss function()= - log(p(y|x)); 可以根据loss function定义得到结果。 J(w,b)=-1/m求和loss >求它 ...
分类：
其他好文 时间：
2017-09-06 00:38:43
阅读次数：
278
一.感知机概述 感知机适用于：线性可分的数据，用于二分类 目的：找到分离超平面，完全分离不同的类 感知机公式：，一元多维的函数 感知机学习策略：通过求min(所有误分类点到超平面距离)，即损失函数，来确定权重和偏置 求解方法：梯度下降法 求解步骤：1.初始化权重和偏置 2.任选点（x,y） 3.若y ...
分类：
其他好文 时间：
2017-09-05 10:04:50
阅读次数：
153
当前子树的损失函数： $C_a(T) = C(T) + a|T|$, 其中$C(T)$为对训练数据的预测误差，$|T|$为树的叶子结点数目，反映模型的复杂度。对固定的$a$,一定存在使损失函数$C_a(T)$最小的子树，将其表示为$T_a$, 极端情况，当 $a = 0$时，整体树是最优的，当$a ...
分类：
其他好文 时间：
2017-09-01 20:21:53
阅读次数：
137
一、深度学习与深层神经网络 1、线性模型局限性 线性模型无论多少层，表达能力是一致的。可以通过激活函数实现非线性。 2、多层网络可以解决异或运算 二、损失函数定义 1、经典损失函数： 分类问题： 二分类：取0.5作为阈值 多分类：设置n个输出节点，每个对应该类的可能性。神经网络输出向量 —>概率分布 ...
分类：
其他好文 时间：
2017-08-31 23:10:36
阅读次数：
182
