再次声明，总结内容基本非原创，只是一个勤劳的搬运工，由于来源比较杂，只好一起感谢网上提供这些知识的人类们。 一、关于线性回归 线性回归比较简单，这里主要是对线性回归的一种理解，包括部分正则化的内容。 1.模型的概率解释 2.最大似然估计 即： 上面是线性回归最原始的最小平方损失函数，如果为了防止过拟 ...
分类：
其他好文 时间：
2017-04-12 15:05:34
阅读次数：
487
官方文档： https://www.tensorflow.org/tutorials/layers； 1、概述 Tensorflow层模型提供了一个创建神经网络更加简单的高级API。提供了一些方法：这些方法促进了密度层（全连接层）和卷积层的创建，激活函数的添加，dropout正则化的应用。这篇教程中 ...
分类：
其他好文 时间：
2017-04-09 19:19:21
阅读次数：
1664
Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问 ...
分类：
其他好文 时间：
2017-04-07 13:25:44
阅读次数：
389
注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，对代价函数的理解也在不断的加深， ...
分类：
其他好文 时间：
2017-04-01 20:23:03
阅读次数：
396
一、正则化应用于基于梯度下降的线性回归 上一篇文章我们说过，通过正则化的思想，我们将代价函数附加了一个惩罚项，变成如下的公式： 那么我们将这一公式套用到线性回归的代价函数中去。我们说过，一般而言θ0我们不做处理，所以我们把梯度下降计算代价函数最优解的过程转化为如下两个公式。 我们通过j>0的式子，能... ...
分类：
其他好文 时间：
2017-03-17 00:12:37
阅读次数：
214
笔记︱范数正则化L0、L1、L2-岭回归&Lasso回归（稀疏与特征工程） 一、正则化背景 监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们 ...
分类：
其他好文 时间：
2017-02-19 18:21:35
阅读次数：
403
摘要： 1.正则化（Regularization） 1.1 正则化的目的 1.2 正则化的L1范数（lasso），L2范数（ridge），ElasticNet 2.归一化 （Normalization） 2.1归一化的目的 2.1归一化计算方... ...
分类：
其他好文 时间：
2017-01-19 02:42:43
阅读次数：
801
linux 命名： 1 不超过255个字符 2 严格区分大小写 3 除/外，其他的字符都是合法的 注意：1）避免文件名首字符使用+ - .（避免和隐藏文件混淆） 2）避免文件名使用空格，制表符以及@#$%[]()*等（防止在后续使用正则化命令时，引起误会和混淆） 4 尽量使用有意义的名称来命名 ls ...
分类：
系统相关 时间：
2017-01-13 15:59:28
阅读次数：
215
检测图像噪音程度： 计算平方误差： 计算信号噪声比： 峰度信号噪声比： 对方法进行检测的时候，噪音产生的方法主要有： 增加随机噪声或者增加多种随机噪声。 去噪的病态问题： 有多个解 无解 随着初始值变化的解 去噪：正则化，简单化 中值滤波 高斯滤波、双边滤波、nonlocal mean 滤波 中值滤 ...
分类：
其他好文 时间：
2017-01-10 09:46:48
阅读次数：
257
本文根据水库中蓄水标线(water level) 使用正则化的线性回归模型预 水流量(water flowing out of dam)，然后 debug 学习算法 以及 讨论偏差和方差对 该线性回归模型的影响。 ①可视化数据集 本作业的数据集分成三部分： ?训练集(training set)，样本 ...
分类：
其他好文 时间：
2016-12-01 02:42:42
阅读次数：
823
