一、线性回归 1、模型 2、损失函数 3、优化函数-梯度下降 #!/usr/bin/env python # coding: utf-8 import torch import time # init variable a, b as 1000 dimension vector n = 1000 a ...
分类：
其他好文 时间：
2020-02-12 10:53:33
阅读次数：
110
逻辑回归可以用于处理二元分类问题，将输出值控制在[0，1]区间内，为确保输出值时钟若在0到1之间，采用sigmoid函数，其具有该特性，将线性回归训练得到的模型输出数据作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保证了y在0~1之间 逻辑回归中用到sigmoid函数，若用均方 ...
分类：
其他好文 时间：
2020-02-10 18:28:05
阅读次数：
343
@[toc] 1.GradientBoostingClassifier loss :给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。 n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般 ...
分类：
其他好文 时间：
2020-02-08 23:17:16
阅读次数：
133
损失函数 为了学习神经网络中的参数，我们要为神经网络模型定义损失函数。回想一下，逻辑回归可以将数据分成正例和负例两类，因此它的损失函数为： $$ J(\theta) = \frac{1}{n}\sum_{i=1}^n \left[y^{(i)}\log(h_\theta(x^{(i)}) ) + ( ...
分类：
其他好文 时间：
2020-02-06 23:28:35
阅读次数：
87
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/02/04 20:08 # @Author : dangxusheng # @Email : dangxusheng163@163.com # @File : isLand_lo ...
分类：
其他好文 时间：
2020-02-05 23:09:40
阅读次数：
244
1. SGD的不足： ①呈“之”字型，迂回前进，损失函数值在一些维度的改变得快（更新速度快），在一些维度改变得慢（速度慢）- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点： 局部最小值： 鞍点： ③对于凸优化而言，SGD不会收敛，只会在最优点附近跳来跳去 - 可以通过使用不固定的learning ...
分类：
其他好文 时间：
2020-02-05 09:42:37
阅读次数：
90
原博客：https://blog.csdn.net/sinat_36458870/article/details/82824529（此处只做学习记录用） 回顾上次的内容，其实就会发现，虽然我们构造好了损失函数，可以简单使用导数的定义解决损失函数优化问题，但是并不高效。 1. 该课程，主要是： 反向传 ...
分类：
其他好文 时间：
2020-02-01 21:42:55
阅读次数：
57
layers介绍 Flatten和Dense介绍 优化器 损失函数 compile用法 第二个是onehot编码 模型训练 model.fit 两种创建模型的方法 from tensorflow.python.keras.preprocessing.image import load_img,img ...
1、梯度下降思想在数学中的梯度下降是：xk+1=xk+λkPkλk表示步长Pk表示方向，沿梯度方向下降最快沿着方向不断更新x，直到x达到最小为了得到最好的拟合线，我们的目标是让损失函数达到最小因此，引入梯度下降的思想：条件：有一个J(θ0，θ1)目标：让J(θ0，θ1)最小步骤：1、初始化θ0，θ12、持续改变θ0，θ1的值，让J(θ0，θ1)越来越小3、直到得到一个J(θ0，θ1)的最小值2、梯
分类：
编程语言 时间：
2020-02-01 00:35:31
阅读次数：
104
作为损失函数 L1范数损失函数 L1范数损失函数，也被称之为最小绝对值误差。总的来说，它把目标值$Y_i$与估计值$f(x_i)$的绝对差值的总和最小化。 $$S=\sum_{i=1}^n|Y_i-f(x_i)|$$ L2范数损失函数 L2范数损失函数，也被称为最小平方误差，总的来说，它把目标值$Y ...
分类：
其他好文 时间：
2020-01-29 16:15:42
阅读次数：
126
