决策树算法原理(ID3，C4.5) 决策树算法原理(CART分类树) CART回归树 决策树的剪枝是通过极小化决策树整体的损失函数。(决策树的生成只考虑局部最优，决策树的剪枝考虑全局最优) 设树T的叶节点为 t，个数为 |T|，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，k = ...
分类：
其他好文 时间：
2019-04-24 20:54:18
阅读次数：
212
1. 导入/生成样本数据集 2. 转换和归一化数据 3. 划分样本数据集为训练样本集、测试样本集和验证样本集 4. 设置机器学习参数（超参数） 5. 初始化变量和占位符 6. 定义模型结构 7. 声明损失函数 8. 初始化模型和训练模型 9. 评估机器学习模型 10. 调优超参数 11. 发布/预测 ...
分类：
其他好文 时间：
2019-04-20 15:40:37
阅读次数：
135
转自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用 ...
分类：
其他好文 时间：
2019-04-18 00:45:09
阅读次数：
983
SGD神经网络以及python中实现 1、SGD（stochastic gradient descend）：<1>数据抽取；<2>计算梯度;<3>参数更新；<4>循环 2、三层SGD网络组件：隐藏层（1），隐藏层（2），输出层，损失函数 2.1隐藏层： <1>激活函数/激励函数:sigmoid函数和 ...
分类：
其他好文 时间：
2019-04-17 09:51:55
阅读次数：
209
MIL陷入局部最优，检测到局部，无法完整的检测到物体。将instance划分为空间相关和类别相关的子集。在这些子集中定义一系列平滑的损失近似代替原损失函数，优化这些平滑损失。 C-MIL learns instance subsets, where the instances are spatial ...
分类：
其他好文 时间：
2019-04-15 00:36:05
阅读次数：
332
总结：介绍算法模型一般从模型要解决的问题场景入手。然后介绍模型建模的思路，使用的损失函数，对损失函数的优化如何求解这几块。最后介绍下算法模型的优点和缺点。 一、小米面试（凉凉）——一面1小时，二面40分钟 1、 数据结构很重要（重要指数10颗星） 2、 编程题： （1）a = [1, 2, 3] b ...
分类：
编程语言 时间：
2019-04-05 12:12:15
阅读次数：
158
即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。 对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。在原理篇中对这些分类损失函数有详细的介绍。一般来说，推荐使用默认的"devi ...
分类：
其他好文 时间：
2019-03-25 14:56:03
阅读次数：
132
keras训练cnn模型时loss为nan 1.首先记下来如何解决这个问题的：由于我代码中 model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) 即损失函数用的是categorica ...
分类：
其他好文 时间：
2019-03-25 10:22:09
阅读次数：
299
一般线性回归函数的假设函数为： 对应的损失函数为： （这里的1/2是为了后面求导计算方便）下图作为一个二维参数（，）组对应能量函数的可视化图： 下面我们来比较三种梯度下降法 批量梯度下降法BGD （Batch Gradient Descent） 我们的目的是要误差函数尽可能的小，即求解weights ...
分类：
其他好文 时间：
2019-03-17 14:11:58
阅读次数：
237
常见损失函数记录，主要是自己记一下公式，没啥讲解 均方误差，绝对值损失，0 1损失 最简单的几种，没啥好说的 $$ L(Y, f(X))=(Y f(X))^{2} \\ L(Y, f(X))=\left\{\begin{array}{ll}{1,} & {Y \neq f(X)} \\ {0,} & ...
分类：
其他好文 时间：
2019-03-14 14:59:01
阅读次数：
179
