同步进行一波网上代码搬砖, 先来个入门的线性回归模型训练, 基于梯度下降法来, 优化用 MSE 来做. 理论部分就不讲了, 网上一大堆, 我自己也是理解好多年了, 什么 偏导数, 梯度(多远函数一阶偏导数组成的向量) , 方向导数, 反方向(梯度下降) 这些基本的高数知识, 假设大家是非常清楚原理的 ...
分类：
其他好文 时间：
2020-05-17 01:06:00
阅读次数：
75
之前证明了整个回归方程,或者说梯度下降法的表达式, 现在来看看计量经济学里的回归表达式 y=ax+b, 出于对关系的不确定, 在计量经济学里,式子多了一个u作为随机干扰项 干扰项 u 我们认为是不可观测的值 我自己的理解是这样_不是很严谨的粗糙理解: y=ax+b+u,我们改写成 y-u=ax+b, ...
分类：
其他好文 时间：
2020-05-07 09:20:29
阅读次数：
161
One-hot编码 整合成一个稀疏矩阵，那问题来了，稀疏矩阵（二维）和列表（一维）相比，有什么优势？ 很明显，计算简单嘛，稀疏矩阵做矩阵计算的时候，只需要把1对应位置的数相乘求和就行，也许你心算都能算出来；而一维列表，你能很快算出来？何况这个列表还是一行，如果是100行、1000行和或1000列呢？ ...
分类：
其他好文 时间：
2020-05-03 11:02:51
阅读次数：
61
深度学习中有众多有效的优化函数，比如应用最广泛的SGD，Adam等等，而它们有什么区别，各有什么特征呢？下面就来详细解读一下 一、先来看看有哪些优化函数 BGD 批量梯度下降 所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数，现在的目标是要求取最小的f(x) : m ...
分类：
其他好文 时间：
2020-05-03 10:58:21
阅读次数：
56
摘要 1. Logistic回归分类 2. 梯度下降法 3. 代码实现与解释 Logistic回归 逻辑斯特回归（logistic regression）是一种非常经典的分类方法。其用到的分类函数一般为Sigmoid函数，其函数形式为： 其图形表示如下： 从图中我们可以看到，当z=0时，函数值为0. ...
分类：
其他好文 时间：
2020-04-29 18:40:46
阅读次数：
77
import numpy as np import pandas as pd import matplotlib.pyplot as plt import os path = 'data'+os.sep+'LogiReg_data.txt' pdData = pd.read_csv(path,hea ...
分类：
编程语言 时间：
2020-04-26 18:38:31
阅读次数：
77
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 （1）思维导图 （2）回归算法 （3）梯度下降 （4）损失函数 2.思考线性回归算法可以用来做什么？ 可以处理回归问题：例如房价预测，温度预测等 也可以处理分类问题：例如天气预测等 3.自主编写线性回归算法 ，数据可以自己 ...
分类：
编程语言 时间：
2020-04-22 16:38:32
阅读次数：
70
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 回归和分类的区别最主要的一个是连续变量的预测，一个是离散变量的预测 损失函数 最小二乘法之梯度下降 梯度下降的动态图 课堂代码 2.思考线性回归算法可以用来做什么？（大家尽量不要写重复） 线性回归可以应用在流行病学里做一个 ...
分类：
编程语言 时间：
2020-04-22 13:25:49
阅读次数：
75
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 （1）有监督：训练数据集必须是有标记，然后通过给定的训练数据和特定的算法去构造一个模型。 无监督：训练数据集没有标记，去寻找训练数据中隐藏的模式或者是对数据进行分组。 （2）线性回归原理： 线性回归在假设特证满足线性关系， ...
分类：
编程语言 时间：
2020-04-22 13:14:16
阅读次数：
64
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 连续变量预测——回归 离散变量预测——分类 线性回归 我的理解是通过对一个事物的连续观察，得出它的某个属性的浮动范围，并预测出下次的浮动范围在哪 因为机器预测和真实值会有误差，所以会用到梯度下降的方法来减少误差 沿着梯度相 ...
分类：
编程语言 时间：
2020-04-22 12:59:04
阅读次数：
58
