Ref: 线性收敛的随机优化算法 之 SAG、SVRG 很多常见的机器学习模型的目标（比如最小二乘做线性回归、逻辑回归）都可以概括成以下这种一般形式： 其中 代表样本的损失函数，是模型的参数，代表正则化项（用于控制模型复杂度或者模型稀疏度等等），有些时候这个正则化项是不平滑的，也就是说它可能不可导。 ...
分类：
其他好文 时间：
2017-07-12 20:12:50
阅读次数：
629
一、安装 pip install hyperopt 二、说明 Hyperopt提供了一个优化接口，这个接口接受一个评估函数和参数空间，能计算出参数空间内的一个点的损失函数值。用户还要指定空间内参数的分布情况。 Hyheropt四个重要的因素：指定需要最小化的函数，搜索的空间，采样的数据集(trail ...
分类：
编程语言 时间：
2017-07-12 16:49:44
阅读次数：
1979
1. 简单列子： 一个损失函数L与参数x的关系表示为： 则 加上L2正则化，新的损失函数L为：（蓝线） 最优点在黄点处，x的绝对值减少了，但依然非零。 如果加上L1正则化，新的损失函数L为：（粉线） 最优点为红点，变为0，L1正则化让参数的最优值变为0，更稀疏。 L1在江湖上人称Lasso，L2人称 ...
分类：
其他好文 时间：
2017-07-02 10:11:02
阅读次数：
155
感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： 特点： ...
分类：
其他好文 时间：
2017-07-01 01:10:54
阅读次数：
277
统计学习方法概论： （一），统计学习 1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念 1，输入空间，特征向量空间，输出空间 （三），统计学习三要素 1，模型 决策函数模型： 条件概率模型： 2，策略 2.1 损失函数： 2.2 经验风险最小化 ...
分类：
其他好文 时间：
2017-06-30 23:53:33
阅读次数：
216
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量 ...
分类：
其他好文 时间：
2017-06-27 17:01:26
阅读次数：
326
在学习逻辑回归的过程中，通过3D图像可以直接观察损失函数的收敛速度，对自行确定学习速率提供参考损失函数公式：Octave程序如下：tx=linspace(100,-30,1000);%θ和X看做一个共同参数ty=round(unifrnd(0,1,1,1000));%y的值仅仅为0或1，随机生成1000个m=length(tx);[xx,yy]=mesh..
分类：
其他好文 时间：
2017-06-26 22:49:44
阅读次数：
219
本文主要解说局部加权(线性)回归。在解说局部加权线性回归之前，先解说两个概念：欠拟合、过拟合。由此引出局部加权线性回归算法。 欠拟合、过拟合 例如以下图中三个拟合模型。第一个是一个线性模型。对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，假设我们在线性模型上加一个新特征项，拟合结果就会好一 ...
分类：
其他好文 时间：
2017-06-23 14:17:27
阅读次数：
164
介绍tensorflow中的网络API，本节主要介绍损失函数以及分类器相关接口。 ...
线性分类器损失函数明细： 『cs231n』线性分类器损失函数 最优化Optimiz部分代码： 1.差劲的方案，随机搜索 核心思路：迭代优化 2.浪费的方案，随机本地搜索 One_Hot编码 a 0,0,0,1 b 0,0,1,0 c 0,1,0,0 d 1,0,0,0 这样 数据优化另一个方面 下面 ...
分类：
其他好文 时间：
2017-06-11 21:08:17
阅读次数：
249
