另外一种线性回归，它是利用矩阵求导的方式来实现梯度下降算法一样的效果。1. 矩阵的求导首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n这里要用到矩阵迹的特性，trace. 对于一个n阶的方阵（n×n）,它的迹(tr)为对角线元素之和：1. 对于一个实数，... ...
分类：
其他好文 时间：
2019-11-29 15:44:48
阅读次数：
82
梯度下降是线性回归的一种(Linear Regression)，首先给出一个关于房屋的经典例子， 面积(feet2)房间个数价格（1000$） 21043400 16003330 24003369 14162232 30004540 ........ 上表中面积和房间个数是输入参数，价格是所要输出的... ...
分类：
其他好文 时间：
2019-11-29 15:40:37
阅读次数：
73
在Andrew Ng的机器学习课程里面，讲到使用梯度下降的时候应当进行特征缩放(Feature Scaling)。进行缩放后，多维特征将具有相近的尺度，这将帮助梯度下降算法更快地收敛。 为了解释为什么特征缩放会帮助梯度下降算法更快地收敛，Andrew给了两幅图来解释：Feature ScalingI... ...
分类：
其他好文 时间：
2019-11-29 10:45:09
阅读次数：
215
本文采用 正规方程 、 梯度下降 、 带有正则化的岭回归 三种方法对BOSTON房价数据集进行分析预测，比较三种方法之间的差异 正规方程求解方式回归系数 [[ 0.10843933 0.13470414 0.00828142 0.08736748 0.2274728 0.25791114 0.018 ...
分类：
其他好文 时间：
2019-11-27 23:11:20
阅读次数：
155
我们从上一篇博客中知道了关于单变量线性回归的相关问题，例如：什么是回归，什么是代价函数，什么是梯度下降法。 本节我们讲一下多变量线性回归。依然拿房价来举例，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x0 ,x1 ,...,xn )。 增添更多特征 ...
分类：
系统相关 时间：
2019-11-26 22:43:03
阅读次数：
154
本文提出了一种新颖的SR方法DenseNet，用稠密块串联起各层的特征，使得整个网络减轻了梯度消失问题、加强了特征传播、减少了参数数量，并达到了很好的超分辨效果。 ...
分类：
其他好文 时间：
2019-11-25 11:37:24
阅读次数：
108
神经网络的层数决定了模型的容量 网络层数加深，容易陷入局部最优解，梯度消失问题严重 ResNet 解决或缓解深层的神经网络训练中的梯度消失问题 层数更深的网络反而具有更大的训练误差，很大程度归结于梯度消失问题 误差传播涉及非常多的参数和导数的连乘，很容易导致梯度消失或者膨胀 ResNet 既然离输入 ...
分类：
其他好文 时间：
2019-11-24 17:52:11
阅读次数：
62
提升方法与前向分步算法 提升方法 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱学习器，提升为强学习器 两个问题： 在每一轮如何改变训练数据的权值或概率分布 如何将弱学习器组合成一个强学习器 前向分步算法 AdaBoost另一种解释： 加法模型 损失函数为指数函数 学习算法为前向分步 ...
分类：
其他好文 时间：
2019-11-24 17:26:48
阅读次数：
80
原始residual论文 "Deep Residual Learning for Image Recognition" 1. 训练深度神经网络的难处： 梯度爆炸/梯度消失 batchnorm等一系列方法较好的解决了这个问题 加深网络，模型退化（degradation） 2. residual着重要解 ...
分类：
其他好文 时间：
2019-11-24 15:56:01
阅读次数：
66
优化目标函数：$L(\theta) = \mathbb{E}_{(x,y) \sim p_{data}} L(f(x, \theta), y)$ 找到平均损失最小的模型参数，也就是求解优化问题：$\theta^{ } = \mathop{\arg \min} L(\theta)$ 经典梯度下降 采用 ...
分类：
其他好文 时间：
2019-11-24 15:54:13
阅读次数：
86
