一、参数更新策略 1.SGD 也就是随机梯度下降，最简单的更新形式是沿着负梯度方向改变参数（因为梯度指向的是上升方向，但是我们通常希望最小化损失函数）。假设有一个参数向量x及其梯度dx，那么最简单的更新的形式是： x += - learning_rate * dx 其中learning_rate是一 ...
分类：
其他好文 时间：
2016-08-14 14:26:50
阅读次数：
683
Theano是一个Python库，专门用于定义、优化、求值数学表达式，效率高，适用于多维数组。特别适合做机器学习。一般来说，使用时需要安装python和numpy. 首先回顾一下机器学习的东西，定义一个模型（函数）f(x;w) x为输入，w为模型参数，然后定义一个损失函数c(f),通过数据驱动在一堆 ...
分类：
其他好文 时间：
2016-08-14 14:23:50
阅读次数：
389
统计学习三要素：模型、策略、算法 模型分为概率模型（由条件概率表示的模型）和非概率模型（决策函数） 策略包括1、损失函数和风险函数；2、经验风险最小化与结构风险最小化 算法：根据相应的策略求解最优解，即求解最优化问题。 生成模型与判别模型 分类、回归、标注问题 K-近邻算法（KNN） 算法原理 优点 ...
分类：
其他好文 时间：
2016-08-08 07:40:06
阅读次数：
206
两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相 ...
分类：
其他好文 时间：
2016-07-15 23:58:50
阅读次数：
769
【摘要】本文提出了一种针对含有雾的图像和视频快速、完善的去雾算法。观察发现有雾的图像普遍具有低对比度，我们通过增强对比度来修复图像。然后多度的增强这些低对比度会截断像素值以及导致信息丢失。因此，我们引入一个包含对比项以及信息丢失项的损失函数。通过最小化损失函数，该算法不仅增强了对比度而且有效的保留了图像信息。另外，我们将图片去雾算法扩展到视频去雾。我们通过计算透射率的相关性减少对视频去雾时的闪烁程度...
分类：
其他好文 时间：
2016-07-11 17:16:40
阅读次数：
737
神经网络中，我们通过最小化神经网络来训练网络，所以在训练时最后一层是损失函数层（LOSS）， 在测试时我们通过准确率来评价该网络的优劣，因此最后一层是准确率层（ACCURACY）。 但是当我们真正要使用训练好的数据时，我们需要的是网络给我们输入结果，对于分类问题，我们需要获得分类结果，如下右图最后一 ...
分类：
其他好文 时间：
2016-07-04 17:02:14
阅读次数：
1259
前言： 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越... ...
分类：
其他好文 时间：
2016-07-04 11:47:41
阅读次数：
256
分类问题损失函数的信息论解释 分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式： 其中，yi(n)代表第n个样本是否属于第i个类别，取值为0或1，f(x(n))i代表分类模型对于第n个样本属于第 ...
分类：
其他好文 时间：
2016-07-01 21:27:32
阅读次数：
466
L1正则化和L2正则化的区别：L1起截断作用，L2起缩放作用（不让参数θ过大） 数据和特征处理 数据清洗 正负样本不平衡的处理方法：上采样，下采样，修改损失函数 数值型特征：幅度调整，归一化，离散化 类别型特征：one-hot 编码 组合特征 文本特征中的TF-IDF:TF(t)=(t在当前文中出现 ...
分类：
其他好文 时间：
2016-06-29 20:40:42
阅读次数：
501
在SPSS非线性回归过程中，我们讲到了损失函数按钮可以自定义损失函数，但是还有一个约束按钮没有讲到，该按钮的功能是对自 定义的损失函数的参数设定条件，这些条件通常是由逻辑表达式组成，这就使得损失函数具有一定的判断能力。 该功能的主要作用是进行分段回归，有些时候，变量间的关系并非一成不变，而是具有某种 ...
分类：
其他好文 时间：
2016-06-29 20:35:41
阅读次数：
336
