虽然名字里带回归，但实际上是一种分类方法，主要用于两分类问题，即只有两种分类 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分类精度可能不高 原理 线性回归函数 $\small z = f(X) = XW$ 其中 X 是特征值 W 是回归系数 X 和 W 都是向量，可展开为 $\small ...
分类：
其他好文 时间：
2020-02-19 00:49:46
阅读次数：
89
一、线性回归 1、模型 2、损失函数 3、优化函数-梯度下降 #!/usr/bin/env python # coding: utf-8 import torch import time # init variable a, b as 1000 dimension vector n = 1000 a ...
分类：
其他好文 时间：
2020-02-12 10:53:33
阅读次数：
110
Reservoir Computing [toc] 背景： 1. 神经网络的一种弥补RNN缺点 2. 神经网 络方法在具体应用过程中也存在一些局限性 .比如前向 结构的神经网络一 般不适 合处理与 时序相 关的机 器学 习问题 , 而在实际应用中出 现的问 题往往 与时 间相关 , 比如预测 、系统 ...
分类：
其他好文 时间：
2020-02-10 18:31:55
阅读次数：
220
1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数： 代数形式： 矩阵形式： 更新： 代数形式伪代码： 矩阵形式伪代码： 算法2：随机梯度下降SGD 每次迭代使用一个样本来对参数进行更新。 一个样本的损失函数： 代数形式伪代码： 矩阵 ...
分类：
其他好文 时间：
2020-01-17 00:10:24
阅读次数：
92
在这一章，我们将建立一个垃圾邮件过滤分类模型。我们将使用一个包含垃圾邮件和非垃圾邮件的原始电子邮件数据集，并使用它来训练我们的ML模型。我们将开始遵循上一章讨论的开发ML模型的步骤。这将帮助我们理解工作流程。 在本章中，我们将讨论以下主题: l 定义问题 l 准备数据 l 数据分析 l 构建数据的特 ...
SGDSolver类简介 Solver类用于网络参数的更新，而SGDSolver类实现了优化方法中的随机梯度下降法（stochastic gradient descent），此外还具备缩放、正则化梯度等功能。caffe中其他的优化方法都是SGDSolver类的派生类，重载了基类的 函数，用于各自计算 ...
分类：
其他好文 时间：
2019-12-19 10:04:52
阅读次数：
96
梯度下降：实现梯度下降、线性回归中的梯度下降 随机梯度下降：相关代码即调用 本文参考：公众号《数据科学家联盟》文章 转自：https://www.cnblogs.com/huangyc/p/9801261.html#_label1_0 一、概念 梯度下降(Gradient Descent, GD)不 ...
分类：
其他好文 时间：
2019-12-08 12:49:36
阅读次数：
116
优化目标函数：$L(\theta) = \mathbb{E}_{(x,y) \sim p_{data}} L(f(x, \theta), y)$ 找到平均损失最小的模型参数，也就是求解优化问题：$\theta^{ } = \mathop{\arg \min} L(\theta)$ 经典梯度下降 采用 ...
分类：
其他好文 时间：
2019-11-24 15:54:13
阅读次数：
86
原理 聚类、高维可视化、数据压缩、特征提取 自组织映射神经网络本质上是一个两层的神经网络，包含输入层和输出层（竞争层）输出层中神经元的个数通常是聚类的个数 训练时采用“竞争学习”方式，每个输入在输出层中找到一个和它最匹配的节点，称为激活节点。紧接着用随机梯度下降法更新激活节点的参数，同时，激活节点临 ...
分类：
其他好文 时间：
2019-11-24 15:45:03
阅读次数：
87
<! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 ...
分类：
其他好文 时间：
2019-11-16 12:58:18
阅读次数：
68
