一、说明 非原创，来源：磐创AI公众号 （略有修改）。 二、内容 损失函数（loss function）又叫做代价函数（cost function），是用来评估模型的预测值与真实值不一致的程度，也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的 ...
分类：
其他好文 时间：
2018-05-08 20:59:46
阅读次数：
3040
作者：zzanswer链接：https://www.zhihu.com/question/52398145/answer/209358209来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 谢谢评论区 @阿萨姆 老师的建议，完善下答案： 首先给出结论：损失函数和代价函数 ...
分类：
其他好文 时间：
2018-05-08 14:44:01
阅读次数：
247
刘建平Pinard博客系列 深度神经网络（DNN）模型与前向传播算法 深度神经网络（DNN）反向传播算法(BP) 深度神经网络（DNN）损失函数和激活函数的选择 深度神经网络（DNN）的正则化 卷积神经网络(CNN)模型结构 卷积神经网络(CNN)前向传播算法 卷积神经网络(CNN)反向传播算法 循 ...
分类：
其他好文 时间：
2018-05-07 11:03:53
阅读次数：
189
线性回归的一般形式 过拟合问题及其解决方法 问题：以下面一张图片展示过拟合问题 解决方法：(1)：丢弃一些对我们最终预测结果影响不大的特征，具体哪些特征需要丢弃可以通过PCA算法来实现；(2)：使用正则化技术，保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，岭 ...
分类：
其他好文 时间：
2018-05-05 23:07:32
阅读次数：
224
损失函数（Loss Function）是一类广义的称呼，指利用数值化的方法表现机器学习算法中产生的模型对于训练集（Training Set）的满意程度。 通常函数值越小，表示该模型预测越精准。 损失函数是一个评判标准，模型的优化训练皆是基于此标准进行，训练模型的目的就是找到一个损失函数最小的模型。 ...
分类：
其他好文 时间：
2018-05-05 14:12:29
阅读次数：
168
当函数空间覆盖到目标函数时，如何通过优化调整神经网络的参数找到这个目标函数呢？ 深度学习中的损失函数是非凸的，非凸优化是个NP hard问题，如何通过梯度下降来解决这个问题呢？ 注意，不同于learning，这里只讨论基于训练集的optimization问题，不考虑在测试集上的表现。 0 为什么说深 ...
分类：
其他好文 时间：
2018-05-01 23:50:09
阅读次数：
229
概念： 通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。 refer:https://blog.csdn.n ...
分类：
其他好文 时间：
2018-04-28 10:53:04
阅读次数：
391
来学校已经快一个月了，看语音识别依然有些吃力，HMM,GMM,DNN似懂非懂，也许多一些实践和时间，会慢慢好一些。最近终于对一个很小的知识点有一些理解，赶紧写下来，也算是一个月以来有了一些小小的成果。难免有错，热烈欢迎喷我，会及时改正！ 语音识别的模型训练当中，损失函数是一个经常出现的概念，那么什么 ...
分类：
其他好文 时间：
2018-04-24 11:00:33
阅读次数：
238
过拟合： 真实的应用中，并不是让模型尽量模拟训练数据的行为，而是希望训练数据对未知做出判断。 模型过于复杂后，模型会积极每一个噪声的部分，而不是学习数据中的通用 趋势。当一个模型的参数比训练数据还要多的时候，这个模型就可以记忆这个所以训练数据的结果，而使损失函数为0. 避免过拟合的常用方法：正则化。 ...
分类：
其他好文 时间：
2018-04-20 23:46:31
阅读次数：
254
整理自Adrew Ng 的 machine learning课程week3 目录： 二分类问题 模型表示 decision boundary 损失函数 多分类问题 过拟合问题和正则化 什么是过拟合 如何解决过拟合 正则化方法 模型表示 decision boundary 什么是过拟合 如何解决过拟合 ...
分类：
系统相关 时间：
2018-04-09 17:13:59
阅读次数：
292
