二分类问题 多分类问题 连续变量问题 四、连续变量问题(回归) (1)距离 (2)残差 (3)残差平方和(SSE): 真实值与预测值之间误差的平方和。 (3-1)均方根误差(MSE = mean square error):真实值与预测值之间误差的平方和的均值。(最小二乘) 均方差越小越好,即最小二 ...
分类:
其他好文 时间:
2019-02-14 00:21:48
阅读次数:
327
GBDT又叫梯度提升决策树,它也属于Boosting框架。GBDT核心原理如下: 如图所示,用GBDT预测年龄,第一轮,预测到年龄为20,它和真实值之间的残差为10,第二轮,GBDT开始预测上一轮的残差10,预测结果为6,这一轮 的残差为4,第三轮,以年龄4为预测目标,预测来的值为3,和真实值之间相 ...
分类:
编程语言 时间:
2019-01-11 15:13:33
阅读次数:
288
1、线性回归 y=θx+ε,其中y=[y1,y2,y3,...,yn]T,θ=[θ1,θ2,...],x=[x1,x2,x3,...,xn]T,ε(残差)符合正态分布 那么对于该模型,就是在损失函数最小的前提条件下,寻找θ取值的过程。其中,损失函数采用最小二乘的方法。 2、对于求θ,有三种方法: 1 ...
分类:
其他好文 时间:
2019-01-10 22:20:07
阅读次数:
165
线性回归是机器学习中最基础的模型,掌握了线性回归模型,有利于以后更容易地理解其它复杂的模型。 线性回归看似简单,但是其中包含了线性代数,微积分,概率等诸多方面的知识。让我们先从最简单的形式开始。 一元线性回归(Simple Linear Regression): 假设只有一个自变量x(indepen ...
分类:
系统相关 时间:
2018-12-19 14:18:00
阅读次数:
201
一、背景 1)梯度消失问题 我们发现很深的网络层,由于参数初始化一般更靠近0,这样在训练的过程中更新浅层网络的参数时,很容易随着网络的深入而导致梯度消失,浅层的参数无法更新。 可以看到,假设现在需要更新b1,w2,w3,w4参数因为随机初始化偏向于0,通过链式求导我们会发现,w1w2w3相乘会得到更 ...
分类:
Web程序 时间:
2018-12-16 20:00:35
阅读次数:
740
[TOC] 在下面的结构图中,每一个inception模块中都有一个1?1的没有激活层的卷积层,用来扩展通道数,从而补偿因为inception模块导致的维度约间。其中Inception ResNet V1的结果与Inception v3相当;Inception ResNet V1与Inception ...
分类:
其他好文 时间:
2018-12-16 16:45:35
阅读次数:
445
一、经典网络 二、残差网络:ResNets 采用了 跳远连接。即a【l+2】= g(Z【l+2】 + a【l】),a【l】作为a【l+2】的残差,g为激活函数。 起作用的原因是:假如Z【l+2】=0,则a【l+2】=a【l】。有时候神经网络深度过大,则 ...
分类:
其他好文 时间:
2018-11-25 16:12:22
阅读次数:
127
百万级字符:中文自然文本数据集CTW资源链接:https://ctwdataset.github.io/ 腾讯AILab最大规模多标签图像数据集 Tencent ML-Images 由深度学习中精度最高的深度残差网络RESNET-101构成。https://github.com/Tencent/te ...
分类:
其他好文 时间:
2018-11-10 12:48:52
阅读次数:
209
brain_parcellation ,On the Compactness, Efficiency, and Representation of 3D Convolutional Networks: Brain Parcellation as a Pretext Task ...
分类:
Web程序 时间:
2018-11-02 21:41:02
阅读次数:
297
我们希望找到一个 使得 最小,那么 就得沿着使损失函数L减小的方向变化,即: 同时,最新的学习器是由当前学习器 与本次要产生的回归树 相加得到的: 因此,为了让损失函数减小,需要令: 即用损失函数对f(x)的负梯度来拟合回归树。 ...
分类:
其他好文 时间:
2018-11-01 16:58:55
阅读次数:
345