深层神经网络可以解决部分浅层神经网络解决不了的问题。 神经网络的优化目标 损失函数 深度学习：一类通过多层非线性变化对高复杂性数据建模算法的合集。（两个重要的特性：多层和非线性） 线性模型的最大特点：任意线性模型的组合仍然是线性模型。（任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别） ...
分类：
其他好文 时间：
2018-08-01 20:43:02
阅读次数：
126
1. 何为损失函数： 在机器学习里面，基本上所有的算法都是在对一个目标函数进行最大化或者最小化的一个过程，那么我们常常把这个最小化的函数称为损失函数，一般采用梯度下降法求解这个损失函数的最小值所对应的参数。可以认为，损失函数为我们的模型优化提供了方向。 2. 损失函数类型： 2.1 平方损失L2 （ ...
分类：
其他好文 时间：
2018-07-31 13:29:17
阅读次数：
435
K近邻算法 损失函数 正则化惩罚项 soft分类器 梯度下降 反向传播 ...
分类：
其他好文 时间：
2018-07-30 23:04:05
阅读次数：
157
1.布雷格曼散度：是一种类似距离度量的方式，用于衡量两者之间差异的大小。Bregman 散度是损失或者失真函数。考虑如下情况：设点是点的失真或者近似的点，也就是说可能是由添加了一些噪声形成的，损失函数的目的是度量用近似近似导致的失真或者损失，因而Bregman散度可以用作相异性函数。 2.挖掘方向： ...
分类：
其他好文 时间：
2018-07-26 18:51:03
阅读次数：
199
损失函数：是一种衡量损失和错误（这种损失与“错误地”估计有关，如费用或者设备的损失）程度的函数。 ...
分类：
其他好文 时间：
2018-07-26 18:42:37
阅读次数：
105
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可 ...
分类：
其他好文 时间：
2018-07-26 13:05:52
阅读次数：
162
损失函数 神经元模型：用数学公式表示为：，f为激活函数。 神经网络：是以神经元为基本单元构成的。 激活函数：引入非线性激活因素，提高模型的表达力。 常用的激活函数有relu、sigmoid、tanh等。 ① 激活函数relu: 在Tensorflow中，用tf.nn.relu()表示 relu()数 ...
分类：
其他好文 时间：
2018-07-22 20:47:48
阅读次数：
161
# # 由于逻辑回归解决的是分类问题，而且是二分类，因此定义损失函数时也要有两类 # 1）如果 y = 1（p ≥ 0.5），p 越小，损失函数越大； # 2）如果 y = 0（p ≤ 0.5），p 越大，损失函数越大； # 模型变形： # 最终的损失函数模型： # 该模型不能优化成简单的数学表达式 ...
分类：
其他好文 时间：
2018-07-15 21:28:39
阅读次数：
197
性能度量是衡量模型泛化能力的评判标准，性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，因此什么样的模型是好的，不仅取决于算法和数据，还取决于任务需求。 1、错误率和精度 其实说白了就是我们的损失函数所体现的指标，比如常见的在分类问题中分类错误类别所占的比例 ...
分类：
其他好文 时间：
2018-07-15 21:24:50
阅读次数：
318
一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的 θ 的大小，使得模型的泛化能力更强； 2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE ...
分类：
其他好文 时间：
2018-07-13 20:23:20
阅读次数：
241
