原文地址：http://cs231n.github.io/linear-classify/
＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃
内容列表：
１．介绍线性分类器
２．线性成绩函数
３．解释一个线性分类器
４．损失函数
4.1．多类支持向量机
4.2 . Softmax分类器
4.3 . 支持向量机 vs Softmax
５．线性分类器的交...
分类：
系统相关 时间：
2016-05-06 16:02:20
阅读次数：
463
提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升。
梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领域有深刻...
分类：
编程语言 时间：
2016-05-06 15:11:42
阅读次数：
231
原文地址：http://cs231n.github.io/optimization-1/
########################################################################3
内容列表：
１．介绍
２．可视化损失函数
３．最优化
3.1．策略１：随机搜索
3.2．策略２：随机局部搜索
3.3．策略３：跟随...
分类：
其他好文 时间：
2016-05-06 14:59:54
阅读次数：
297
LeNet网络是Yann leCun在1989年提出的一个经典CNN网络，主要用于手写字体的识别，准确率可以达到99%以上。这里采用caffe的python接口进行训练，包括对网络的定义、训练参数的定义、观察卷积效果和卷积核、记录损失函数和测试精度并绘制相关图形。#采用caffe的python接口进行lenet经典网络训练
#第一步，加载相关模块
from pylab import *
#在note...
分类：
Web程序 时间：
2016-05-05 13:01:59
阅读次数：
399
1.模型
（1）整体模型函数如下：
其中 k 表示树的数量，f 表示每棵树的预测函数；
（2）截取到第 t 棵树的模型函数表示如下：
2.训练
（1）每次训练一棵树，目标函数如下：
其中第一项是损失函数，第二项是防止过拟合；N表示样本数，T表示所有树的叶子数目，t 表示训练第 t 棵树，w 表示叶子的输出值；
（2）泰勒展开（二阶展开）：...
分类：
其他好文 时间：
2016-04-29 15:50:16
阅读次数：
204
关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT 地址和xgboost导读和实战 地址，希望对xgboost原理进行深入理解，最后也会简单介绍下python、R上如何使用xgboost。关于如何自定义损失函数，还需读下xgboost的源码，有时间和进展我会陆续更新。...
分类：
其他好文 时间：
2016-04-22 19:29:58
阅读次数：
2654
第7章 支持向量机
支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问。支持向...
分类：
其他好文 时间：
2016-03-30 13:17:03
阅读次数：
240
第2章 感知机
感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。
感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度
下降法对损失函数进行极小化求得感知机模型。
2.1 感知机模型
定义(感知...
分类：
其他好文 时间：
2016-03-30 13:16:48
阅读次数：
193
第5章 决策树
决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决...
分类：
其他好文 时间：
2016-03-30 13:13:19
阅读次数：
248
最近重新看了《机器学习实战》第八章：预测数值型数据：回归。发现了一个以前没有重视的问题，规则化（regularization），通过网上各种查找资料，发现规则化对数据的特征选择，防止回归模型过拟合都有非常大的帮助。 简单的讲，规则化就是给损失函数（cost function）多项式再加上一项，使得训
分类：
其他好文 时间：
2016-03-15 00:36:58
阅读次数：
215
