[TOC] Momentum Momentum的迭代公式为： $$ v_t = \gamma v_{t 1} + \eta \nabla_\theta J(\theta) \\ \theta=\theta v_t $$ 其中$J(\cdot)$一般为损失函数。我们知道，一般的梯度下降，是没有$\ga ...
分类：
其他好文 时间：
2019-05-19 11:52:22
阅读次数：
135
有监督学习--简单线性回归模型（最小二乘法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型拟合函数4.测试：运行最小二乘算法，计算 w 和 b5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型（最小二乘法代码实现） 0.引入依赖 import num ...
分类：
其他好文 时间：
2019-05-18 09:58:21
阅读次数：
134
有监督学习--简单线性回归模型（梯度下降法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试：运行梯度下降算法，计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型（梯度下降法代码实现） ...
分类：
其他好文 时间：
2019-05-18 09:35:15
阅读次数：
135
有监督学习--简单线性回归模型（调用 sklearn 库代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.导入机器学习库 sklearn4.测试：运行算法，从训练好的模型中提取出系数和截距5.画出拟合曲线6.附录-测试数据 有监督学习--简单线性回归模型（调用 sklearn ...
分类：
其他好文 时间：
2019-05-18 09:19:30
阅读次数：
152
损失函数的基本用法： 得到的loss结果已经对mini-batch数量取了平均值 1.BCELoss(二分类) 创建一个衡量目标和输出之间二进制交叉熵的criterion unreduced loss函数(即reduction参数设置为'none')为： N表示batch size，xn为输出，yn ...
分类：
其他好文 时间：
2019-05-14 19:23:36
阅读次数：
284
一般线性回归我们用均方误差作为损失函数。损失函数的代数法表示如下： J(θ0,θ1...,θn)=∑i=0m(hθ(x0,x1,...xn)?yi)2J(θ0,θ1...,θn)=∑i=0m(hθ(x0,x1,...xn)?yi)2 进一步用矩阵形式表达损失函数： J(θ)=12(Xθ?Y)T(Xθ ...
分类：
其他好文 时间：
2019-05-08 21:34:06
阅读次数：
152
from sklearn.metrics import zero_one_loss,log_loss def test_zero_one_loss(): y_true=[1,1,1,1,1,0,0,0,0,0] y_pred=[0,0,0,1,1,1,1,1,0,0] print("zero_one... ...
分类：
编程语言 时间：
2019-05-02 14:30:57
阅读次数：
327
第十九节逻辑回归之优化点(4) 上一节中我们讲解了逻辑回归导函数求解的问题，一步步推导出交叉熵损失函数的梯度。很是不容易，这节中我们一起看下逻辑回归的优化有哪些点？ 第一点关于逻辑回归优化：和多元性回归是一模一样。要不要设置w0？比如下图： ? 之前说多元性回归是做拟合，假如现在要分类的话，我们知道 ...
分类：
其他好文 时间：
2019-05-01 12:06:11
阅读次数：
150
第十八节逻辑回归之交叉熵损失函数梯度求解过程(3) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我 ...
分类：
其他好文 时间：
2019-04-30 19:51:12
阅读次数：
121
第十四节过拟合解决手段L1和L2正则 第十三节中，我们讲解了过拟合的情形，也就是过度的去拟合训练集上的结果了，反倒让你的模型太复杂。为了去解决这种现象，我们提出用L1，L2正则去解决这种问题。 怎么把正则应用进去？我们重新审视目标函数，以前我们可以理解目标函数和损失函数是一个东西。而有正则的含义之后 ...
分类：
其他好文 时间：
2019-04-27 21:27:14
阅读次数：
166
