前言 上面一节我们介绍了一元线性回归和多元线性回归的原理, 又通过一个案例对多元线性回归模型进一步了解, 其中谈到自变量之间存在高度相关, 容易产生多重共线性问题, 对于多重共线性问题的解决方法有: 删除自变量, 改变数据形式, 添加正则化项, 逐步回归, 主成分分析等. 今天我们来看看其中的添加正 ...
分类：
编程语言 时间：
2018-12-25 11:39:43
阅读次数：
1997
正则化方法：防止过拟合，提高泛化能力 避免过拟合的方法有很多：Early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。 L2 regular ...
分类：
其他好文 时间：
2018-12-23 16:52:23
阅读次数：
133
L1和L2在不同领域的不同叫法机器学习领域：正则化项统计学领域：惩罚项数学领域：范数Lasso和Ridge回归在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。在Ridge回归中正则化项是用... ...
分类：
其他好文 时间：
2018-12-23 15:28:23
阅读次数：
147
1.神经网络和深度学习 课程地址：https://mooc.study.163.com/course/2001281002 /info 2.改善深层神经网络：超参数调试、正则化以及优化 3.结构化机器学习项目 4.卷积神经网络 卷积神经网络 卷积 以边缘检测为例，说明了不同的滤波器filter可以检 ...
分类：
其他好文 时间：
2018-12-18 10:52:33
阅读次数：
220
1. 机器学习流程简介 1）一次性设置（One time setup） - 激活函数（Activation functions） - 数据预处理（Data Preprocessing） - 权重初始化（Weight Initialization） - 正则化（Regularization：避免过拟合 ...
分类：
其他好文 时间：
2018-12-17 23:58:21
阅读次数：
589
#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonTueSep1909:42:222017@author:myhaspl"""importtensorflowastffromtensorflow.examples.tutorials.mnistimportinput_dataINPUT_NODE=784OUTPUT_NODE=10LAYER1_
分类：
其他好文 时间：
2018-12-15 20:58:53
阅读次数：
212
"1. DNN神经网络的前向传播（FeedForward）" "2. DNN神经网络的反向更新（BP）" "3. DNN神经网络的正则化" 1. 前言 和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。 2. DNN的L1和L2正则化 想到 ...
分类：
其他好文 时间：
2018-12-13 01:15:36
阅读次数：
209
权重的初始化： 1.如果激活函数是：Relu: W(n[L],n[L-1])=np.random.rand(n[L],n[L-1]) *np.sqrt(2/n[L-1]） 2.如果激活函数是：tanh: W(n[L],n[L-1])=np.random.rand(n[L],n[L-1]) *np.s ...
分类：
其他好文 时间：
2018-12-12 22:43:51
阅读次数：
178
正则化 L1范数 蓝色的是范数的解空间,红色的是损失函数的解空间.L2范数和损失函数的交点处一般在坐标轴上,会使$\beta=0$,当然并不一定保证交于坐标轴,但是通过实验发现大部分可以得到稀疏解. L2范数 蓝色的是范数的解空间;红色的是损失函数的解空间.当两个空间相交时得到目标函数的一个解. 增 ...
分类：
其他好文 时间：
2018-12-10 20:48:42
阅读次数：
1161
指数衰减率先用较大的学习率快速迭代，得到一个较优的解。然后，指数衰减法生效，随着迭代的继续逐步减少学习率，这样，可以得到更稳定的解。decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)decay_rate衰减系数decay_steps衰减速度当staircase为True，则global_step/deca
分类：
其他好文 时间：
2018-11-25 21:18:00
阅读次数：
189
