主要介绍了SVM损失函数和softmax分类器的原理以及原型代码实现，比较了两者理解分类器输出矢量的不同角度。 ...
分类：
其他好文 时间：
2017-06-10 16:54:30
阅读次数：
196
本节内容 牛顿方法 指数分布族 广义线性模型 之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为其实梯度下降属于一种优化 ...
分类：
其他好文 时间：
2017-06-08 00:19:59
阅读次数：
299
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可 ...
分类：
其他好文 时间：
2017-06-06 22:12:29
阅读次数：
311
回归分析是研究变量之间定量关系的一种统计学方法，具有广泛的应用。 Logistic回归模型 线性回归 先从线性回归模型开始，线性回归是最基本的回归模型，它使用线性函数描述两个变量之间的关系，将连续或离散的自变量映射到连续的实数域。 模型数学形式： 引入损失函数（loss function，也称为错误 ...
分类：
编程语言 时间：
2017-06-05 23:50:07
阅读次数：
360
Probabilistic interpretation，概率解释 解释为何线性回归的损失函数会选择最小二乘 表示误差，表示unmodeled因素或随机噪声，真实的y和预测出来的值之间是会有误差的，因为我们不可能考虑到所有的影响结果的因素，比如前面的例子，我们根据面积和卧室的个数来预测房屋的价格，但 ...
分类：
其他好文 时间：
2017-06-03 14:09:20
阅读次数：
237
1.最小二乘法 注：这里假定你了解向量的求导公式，并且知道正态分布和中心极限定律（不知道的可以去数学知识索引翻翻） (线性)最小二乘回归解法： 损失函数：平方损失，这里的误差可能是多种独立因素加和造成的，所以我们假定其符合均值为0的高斯分布，继而可以推出平方损失。参考Andrew Ng机器学习公开课 ...
分类：
其他好文 时间：
2017-06-01 10:35:58
阅读次数：
255
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
神经网络(Neural Network) 激活函数（Activation Functions） 卷积函数（Convolution） 池化函数（Pooling） 数据标准化（Normalization） 损失函数（Losses） 分类函数（Classification） 符号嵌入（Embeddings ...
分类：
其他好文 时间：
2017-05-25 23:26:11
阅读次数：
1183
一：引言 因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题，过拟合指的是模型在训练数据上损失函数比较小，预测准确率较高（如果通过画图来表示的话，就是拟合曲线比较尖，不平滑，泛化能力不好），但是在测试数据上 ...
分类：
其他好文 时间：
2017-05-08 15:59:51
阅读次数：
332
Ok，目前我们已经有了一个比较复杂的网络，其中参数theta是我们想要求出来的值。 寻找最好的函数，就是为神经网络选取一组最好的系数theta使得损失函数最小。但，显然我们不能通过遍历的方式进行寻找系数。例如含有1000个neuron的两层神经网络结构中，第一层的输出为1000个值，对应第二层的每个 ...
分类：
其他好文 时间：
2017-05-01 17:06:41
阅读次数：
231
