参考资料 台湾大学 《机器学习基石》视频 Ng 《机器学习》视频 周志华《机器学习》 "线性回归原理小结" "Lasso回归算法： 坐标轴下降法与最小角回归法小结" [TOC] 写作提纲 1. 基础线性回归模型&损失函数 2. 优化方法（极小化损失函数） 1. 最小二乘法 OLS 代数法解法 矩阵法 ...
分类：
其他好文 时间：
2019-01-26 22:40:43
阅读次数：
270
假设原函数为 f(x) = 5x^2 + 3，为了估计出这个函数，定义参数未知的函数g(x, w) = w0 x^2 + w1 x + w2，现要找出适合的w使g(x, w) ≈ f(x)。将这个问题转化为求解参数w使得损失函数L(w) = ∑ (f(x) - g(x, w))^2最小，求解过程使用 ...
分类：
其他好文 时间：
2019-01-26 17:12:31
阅读次数：
199
一、从LR到决策树 0.思考一些一个分类问题：是否去相亲，LR解决的问题可能是这样的 在下面各个特征下给定w1，w2，w3，w4等参数值，将wx+b送到sigmoid函数中去，拿到一个概率p，我们在使用这个函数的时候会有一个损失函数loss function，对于这个代价函数通过GD梯度下降完成优化 ...
分类：
其他好文 时间：
2019-01-26 13:14:30
阅读次数：
199
1.用梯度下降算法来训练或者学习训练集上的参数w和b，如下所示，第一行是logistic回归算法，第二行是成本函数J，它被定义为1/m的损失函数之和，损失函数可以衡量你的算法的效果，每一个训练样例都输出y，把它和基本真值标签y进行比较 右边展示了完整的公式，成本函数衡量了参数w和b在训练集上的效果。 ...
分类：
其他好文 时间：
2019-01-21 22:49:14
阅读次数：
190
写作目的：旨在将所有深度学习相关的东西进行一个总结，把能想到的东西先写下来，完了之后再进行调序。 专题一：多层感知机（传统概念的神经网络） 专题二：什么是卷积神经网络(CNN), 循环神经网络(RNN) 专题三：如何优化参数（需要定义损失函数，有哪些损失函数？怎么优化？） 专题四：计算机视觉（low ...
分类：
其他好文 时间：
2019-01-21 22:09:31
阅读次数：
178
1.Logistic Regression是一个二元分类问题 (1)已知输入的特征向量x可能是一张图，你希望把它识别出来，这是不是猫图，你需要一个算法，可以给出预测值，更正式的y是一个概率，当输入特征x满足条件的时候y就是1。换句话说，如果x是图片，那就需要拿到一张猫图的概率。 (2)Sigmoid ...
分类：
其他好文 时间：
2019-01-21 21:42:47
阅读次数：
339
参考：【351】实数对向量求导公式 参考：【352】矩阵转置性质 线性回归的损失函数如下：$$E_b = {(X b - y)^T (X b - y)}$$ 将转置打开，像是开平方一样，运用到上面的性质：$$\begin{equation*}\begin{split}E_b &= (X b - y) ...
分类：
其他好文 时间：
2019-01-21 12:16:16
阅读次数：
260
损失函数，代价函数，目标函数区别 损失函数：定义在单个样本上，一个样本的误差。 代价函数：定义在整个训练集上，所有样本的误差，也就是损失函数的平均。 目标函数：最终优化的函数。等于经验风险+结构风险（Cost Function+正则化项）。 目标函数和代价函数的区别还有一种通俗的区别： 目标函数最大 ...
分类：
其他好文 时间：
2019-01-19 00:05:04
阅读次数：
193
theta是个未知的常量，X是随机变量， MLE最大似然估计 MAE最大后验概率 统计机器学习，优化问题 1）建立模型、概率 2）定义损失函数 3）梯度下降/牛顿法求解 概率图模型 求积分（用蒙特卡洛方法取样） ...
分类：
其他好文 时间：
2019-01-15 16:59:51
阅读次数：
314
1- 迭代方法 机器学习算法用于训练模型的迭代试错过程(迭代方法): 迭代策略在机器学习中的应用非常普遍，这主要是因为它们可以很好地扩展到大型数据集。 “模型”部分将一个或多个特征作为输入，然后返回一个预测作为输出。 “计算损失”部分是模型将要使用的损失函数，机器学习系统在“计算参数更新”部分检查损 ...
分类：
其他好文 时间：
2019-01-12 01:10:12
阅读次数：
264
