讲授卷积神经网络面临的挑战包括梯度消失、退化问题，和改进方法包括卷积层、池化层的改进、激活函数、损失函数、网络结构的改 进、残差网络、全卷机网络、多尺度融合、批量归一化等 大纲： 面临的挑战梯度消失问题退化问题改进的总体思路卷积层的改进用矩阵乘法实现卷积运算池化层的改进激活函数的改进损失函数的改进高 ...
分类：
其他好文 时间：
2019-11-11 23:08:20
阅读次数：
166
背景 特征工程是绕不开的话题，巧妙的特征组合也许能够为模型带来质的提升。但同时，特征工程耗费的资源也是相当可观的，对于后期模型特征的维护、模型线上部署不太友好。2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征的组合 ...
分类：
其他好文 时间：
2019-11-09 21:49:49
阅读次数：
234
线性回归之最小二乘法 1.最小二乘法的原理 最小二乘法的主要思想是通过确定未知参数$\theta$（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为$E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i \hat{y_i})$，其中$y_i$是 ...
分类：
其他好文 时间：
2019-11-07 23:10:55
阅读次数：
94
从残差图中看出来，方差不齐 从图像中看出，λ可取0，即进行对数变换 ...
分类：
其他好文 时间：
2019-10-29 23:30:38
阅读次数：
117
cifar10主要是由32x32的三通道彩色图, 总共10个类别，这里我们使用残差网络构造网络结构 网络结构: 第一层：首先经过一个卷积，归一化，激活 32x32x16 -> 32x32x16 第二层: 通过一多个残差模型 残差模块的网络构造: 如果stride != 1 or in_channel ...
分类：
其他好文 时间：
2019-10-25 16:29:22
阅读次数：
124
1.scale() 函数 2.关于误差e的假设 假设中，e的方差为σ^2 σ^2 的估计为 mse mse = sse/(n-p) p为回归参数的个数 不能用scale函数直接求标准化残差，因为其对应的公式为 (e-mean(e)) / sqrt(sse/(n-1)) 而不是 n-p ...
分类：
编程语言 时间：
2019-10-22 13:26:20
阅读次数：
521
求λ的第一种方法，用包 根据box-cox指令画出来的图，λ=0.5包含在区间中，于是令λ=0.5 求λ的第二种方法 (1)对给定的λ，计算z(λ) (2)求残差平方和 (3)对一系列的λ值，重复上述步骤，得到响应的残差平方和。以λ为横轴，残差平方和为纵轴，做出响应的曲线，值观看出使得残差平方和最小 ...
分类：
其他好文 时间：
2019-10-22 12:57:46
阅读次数：
109
1. 范围 本标准规定了大地测量控制点坐标转换到2000国家大地坐标系的技术要求,包括重合点选取、标转换模型、转换方法、精度评价等。 本标准适用于地方独立坐标系、1954北京坐标系、1980西安坐标系、WGS-84坐标系，以及ITRF框架下的大地测量控制点向2000国家大地坐标系的坐标转换。 2. ...
分类：
其他好文 时间：
2019-10-05 14:51:13
阅读次数：
123
MART概念，即 GBDT： 决策树 cart 的回归应用（连续值，区别于分类），以及拟合负梯度(实际上就是残差)的组合 第t轮的第i个样本的损失函数的负梯度为： 选用不同的损失函数会得到不同的负梯度，GBDT求解过程中使用平方损失作为损失函数： 求解得到负梯度： 可以发现，负梯度其实就是残差，回归 ...
分类：
其他好文 时间：
2019-10-03 12:14:42
阅读次数：
97
实验部分将所提出的两种深度残差收缩网络，即“通道之间共享阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-shared Thresholds，简称DRSN-CS)”，和“逐通道不同阈值的深度残差收缩网络(Deep Residual S ...
分类：
其他好文 时间：
2019-09-29 23:41:17
阅读次数：
105
