刘建平Pinard博客系列 深度神经网络（DNN）模型与前向传播算法 深度神经网络（DNN）反向传播算法(BP) 深度神经网络（DNN）损失函数和激活函数的选择 深度神经网络（DNN）的正则化 卷积神经网络(CNN)模型结构 卷积神经网络(CNN)前向传播算法 卷积神经网络(CNN)反向传播算法 循 ...
分类：
其他好文 时间：
2018-05-07 11:03:53
阅读次数：
189
git：https://github.com/linyi0604/MachineLearning 通过比较 经过正则化的模型 泛化能力明显的更好啦 ...
分类：
编程语言 时间：
2018-05-06 20:37:29
阅读次数：
311
在深度学习章节里，已经介绍了批量归一化的概念，详情请点击这里：第九节，改善深层神经网络：超参数调试、正则化以优化(下) 由于在深层网络中，不同层的分布都不一样，会导致训练时出现饱和的问题。而批量归一化就是为了缓解这个问题提出的。而且在实际应用中，批量归一化的收敛非常快，并且具有很强的泛化能力，某种情 ...
分类：
其他好文 时间：
2018-05-06 01:37:08
阅读次数：
3572
线性回归的一般形式 过拟合问题及其解决方法 问题：以下面一张图片展示过拟合问题 解决方法：(1)：丢弃一些对我们最终预测结果影响不大的特征，具体哪些特征需要丢弃可以通过PCA算法来实现；(2)：使用正则化技术，保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，岭 ...
分类：
其他好文 时间：
2018-05-05 23:07:32
阅读次数：
224
主要是用作操作配置文件的 配置文件的模式就是 节点类1 属性：属性值 节点类2 属性2：属性值2 如果按照常规模式要进行读取文件，然后按照一定的格式进行正则化操做读取指定值 有了configparser模块的操作方法则不需要这样了 现有配置文件 *************************** ...
分类：
编程语言 时间：
2018-05-02 16:23:24
阅读次数：
172
原创博文，转载请注明出处！ 嵌入式特征选择法使用机器学习模型进行特征选择。特征选择过程与学习器相关，特征选择过程与学习器训练过程融合，在学习器训练过程中自动进行特征选择。 通过L1正则化来选择特征 sklearn在feature_selection模块中集成的模型SelectFromModel实现了... ...
分类：
其他好文 时间：
2018-05-02 02:24:40
阅读次数：
262
这个算法主要是解决了每一层中的正则化问题 其实我觉得这东西很鸡肋，因为我输入已经归一化了 然后初始的w,b也很小 每一层的输出肯定也很小 使用Batch Norm反而会加大训练时间，弱化神经网络中参数的作用 z(i)是这一层神经网络中第i个神经元，经过激活函数的输出 为了是下一层的输入比较相近，我们 ...
分类：
其他好文 时间：
2018-04-27 02:24:19
阅读次数：
152
随着科研人员在使用神经网络训练时不断的尝试，为我们留下了很多有用的技巧，合理的运用这些技巧可以使自己的模型得到更好的拟合效果。 一 利用异或数据集演示过拟合 全连接网络虽然在拟合问题上比较强大，但太强大的拟合效果也带来了其它的麻烦，这就是过拟合问题。 首先我们看一个例子，这次将原有的4个异或带护具扩 ...
分类：
其他好文 时间：
2018-04-26 23:16:19
阅读次数：
288
过拟合： 真实的应用中，并不是让模型尽量模拟训练数据的行为，而是希望训练数据对未知做出判断。 模型过于复杂后，模型会积极每一个噪声的部分，而不是学习数据中的通用 趋势。当一个模型的参数比训练数据还要多的时候，这个模型就可以记忆这个所以训练数据的结果，而使损失函数为0. 避免过拟合的常用方法：正则化。 ...
分类：
其他好文 时间：
2018-04-20 23:46:31
阅读次数：
254
