决策树 一.决策树基本描述 决策树是一种基本的分类与回归方法,呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程.学习时,利用训练数据根据损失函数最小化的原则建立决策树模型.预测时,对新的数据,利用决策树模型进行分类.而学习又通常包括三个步骤:特征选择,决策树生成,决策树修剪. 二.决策树模 ...
分类：
其他好文 时间：
2018-12-22 16:40:18
阅读次数：
222
着重介绍hige loss 和 softmax loss。 "svm回顾" $C_1,C_2$是要区分的两个类别，通过分类函数执行时得到的值与阈值的大小关系来决定类别归属，例如： $$g(x) = g(w^Tx+b)$$ 我们取阈值为0，此时$f(x)=sgn[g(x)]$就是最终的判别函数。对于同 ...
分类：
其他好文 时间：
2018-12-22 13:06:44
阅读次数：
409
1.GBDT(Gradient Boosting Decision Tree)思想 Boosting : Gradient boosting Gradient boosting是 boosting 的其中一种方法，它主要的思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。 ...
分类：
编程语言 时间：
2018-12-21 21:20:35
阅读次数：
311
本篇本来是想写神经网络反向传播算法，但感觉光写这个不是很完整，所以就在前面将相关的求导内容一并补上。所谓的神经网络求导，核心是损失函数对线性输出 $\mathbf{z} \;\; (\mathbf{z} = \mathbf{Wa} + \mathbf{b})$ 求导，即反向传播中的 $\delta ...
分类：
其他好文 时间：
2018-12-18 19:35:16
阅读次数：
775
主要目的：会推导，了解优缺点 主要看这三个链接。1）与李航的书比较接近的。2）公式版 。3）它们当中其实用的损失函数是log损失函数。 ...
分类：
其他好文 时间：
2018-12-17 22:04:00
阅读次数：
205
1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测 ...
分类：
其他好文 时间：
2018-12-16 21:35:20
阅读次数：
170
概述 感知机在1957年由Rosenblatt提出，是神经网络和支持向量机的基础，它是一个二类分类的线性分类模型，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。 感知机模型 1、定义 假设输入空 ...
分类：
其他好文 时间：
2018-12-15 13:58:06
阅读次数：
201
逻辑回归，相对于线性回归是用来处理目标函数是离散数值的情况。它的映射函数和损失函数分别为： （1） （2） 使用梯度下降法进行求解，得到迭代公式： 逻辑回归的优缺点： 简单， 易于并行、速度快，需要复杂的特征工程， 输入特征需要离散化 SGD算法 对于如上LR的迭代公式来说，我们可以得到GD（Gra ...
分类：
其他好文 时间：
2018-12-14 13:00:31
阅读次数：
361
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中
分类：
编程语言 时间：
2018-12-12 17:38:25
阅读次数：
180
正则化 L1范数 蓝色的是范数的解空间,红色的是损失函数的解空间.L2范数和损失函数的交点处一般在坐标轴上,会使$\beta=0$,当然并不一定保证交于坐标轴,但是通过实验发现大部分可以得到稀疏解. L2范数 蓝色的是范数的解空间;红色的是损失函数的解空间.当两个空间相交时得到目标函数的一个解. 增 ...
分类：
其他好文 时间：
2018-12-10 20:48:42
阅读次数：
1161
