相信学过数理统计的都学过线性回归（linear regression），本篇文章详细将讲解单变量线性回归并写出使用最小二乘法（least squares method）来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行线性回归拟合； 线性回归 线性回归假设 ...
分类：
其他好文 时间：
2016-12-05 14:18:07
阅读次数：
436
http://lazycoderx.com/2016/10/09/keras%E4%BF%9D%E5%AD%98%E6%A8%A1%E5%9E%8B%E6%97%B6%E4%BD%BF%E7%94%A8%E8%87%AA%E5%AE%9A%E4%B9%89%E6%8D%9F%E5%A4%B1%E5% ...
分类：
其他好文 时间：
2016-12-01 01:30:34
阅读次数：
544
评估性能 评估损失 1、Training Error 首先要通过数据来训练模型，选取数据中的一部分作为训练数据. 损失函数可以使用绝对值误差或者平方误差等方法来计算，这里使用平方误差的方法，即： (y-f(x))2 使用此方法计算误差，然后计算所有数据点，并求平均数。 Training Error ...
分类：
系统相关 时间：
2016-11-29 18:55:41
阅读次数：
347
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2016-11-23 22:23:15
阅读次数：
308
cs231n线性分类器学习笔记，非翻译，根据自己的学习情况总结出的内容： 线性分类 本节介绍线性分类器，该方法可以自然延伸到神经网络和卷积神经网络中，这类方法主要有两部分组成，一个是评分函数(score function)：是原始数据和类别分值的映射，另一个是损失函数：它是用来衡量预测标签和真是标签 ...
分类：
其他好文 时间：
2016-11-13 01:48:56
阅读次数：
206
本文将用一个例子来讲述怎么用scikit-learn和pandas来学习Ridge回归。 1. Ridge回归的损失函数 在我的另外一遍讲线性回归的文章中，对Ridge回归做了一些介绍，以及什么时候适合用 Ridge回归。如果对什么是Ridge回归还完全不清楚的建议阅读我这篇文章。 线性回归原理小结 ...
分类：
其他好文 时间：
2016-11-02 17:26:21
阅读次数：
505
SGD, BGD初步描述 （原文来自：http://blog.csdn.net/lilyth_lilyth/article/details/8973972，@熊均达@SJTU 做出解释及说明） 梯度下降（GD）是最小化风险函数、损失函数（注意Risk Function和Cost Function在本... ...
分类：
其他好文 时间：
2016-10-19 07:40:19
阅读次数：
195
实际上，代价函数(cost function)和损失函数(loss function 亦称为 error function)是同义的。它们都是事先定义一个假设函数（hypothesis），通过训练集由算法找出一个最优拟合，即通过使的cost function值最小，从而估计出假设函数的未知变量。 例 ...
分类：
其他好文 时间：
2016-10-07 01:25:03
阅读次数：
184
由于最近要经常用到XGBOOST的包，不免对相关的GBDT的原理又重新学习了一遍， 发现其中在考虑损失函数的时候，是以对数log进行度量的，囿于误差平方和函数的印象 那么为什么是对数呢？可能是下面的原因： 【通俗的解释】 对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值，等于每一条数据的概 ...
分类：
其他好文 时间：
2016-09-30 00:53:41
阅读次数：
376
一、损失函数和风险函数 损失函数（loss function）是度量模型一次预测的好坏，风险函数度量平均意义下模型预测好坏。 期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定理，当样本容量N趋于无穷大时，经验风险Remp趋于期望风险Rexp。当用经验风险去预测 ...
分类：
其他好文 时间：
2016-09-28 15:47:12
阅读次数：
106
