 ```c++ #include #include using namespace cv; using namesp... ...
分类：
其他好文 时间：
2020-02-17 23:52:27
阅读次数：
104
网络结构 输入层、隐含层(多层)、输出层 单个神经元结构，g(z)为激励函数，线性组合，非线性处理 逻辑回归 正向传播预测结果，反向传播调整w和b 激励函数 作用：提供规模化的非线性化能力 常用： 损失函数 单次训练损失： 全部训练损失： 梯度下降 逻辑回归梯度下降 同步更新 网络向量化 网络梯度下 ...
分类：
其他好文 时间：
2020-02-17 20:11:10
阅读次数：
111
循环神经网络进阶 BPTT 反向传播过程中，训练模型通常需要模型参数的梯度。 $$ \frac{\partial L}{\partial \boldsymbol{W}_{qh}} = \sum_{t=1}^T \text{prod}\left(\frac{\partial L}{\partial \ ...
分类：
其他好文 时间：
2020-02-17 16:13:02
阅读次数：
85
线性回归形如y=w*x+b的形式，变量为连续型（离散为分类）。一般求解这样的式子可采用最小二乘法原理，即方差最小化， loss=min（y_pred-y_true）^2。若为一元回归，就可以求w与b的偏导，并令其为0，可求得w与b值；若为多元线性回归， 将用到梯度下降法求解，这里的梯度值w的偏导数， ...
分类：
其他好文 时间：
2020-02-16 14:37:25
阅读次数：
59
循环神经网络进阶 "1.GRU" "2.LSTM" "3.Deep RNN" "4.Bidirection NN" 1.GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ?控循环神经?络：捕捉时间序列中时间步距离较?的依赖关系 1.1数学表达式 $$ R_{t} = σ(X_tW_{x ...
分类：
其他好文 时间：
2020-02-15 13:26:38
阅读次数：
78
学习资料 "知乎 【其实贼简单】拉普拉斯算子和拉普拉斯矩阵" "CSDN 我见过最清晰的–理解梯度，散度，旋度" ...
分类：
其他好文 时间：
2020-02-15 13:04:31
阅读次数：
67
多层感知机（multi perceptron，MLP）。对于普通的含隐藏层的感知机，由于其全连接层只是对数据做了仿射变换，而多个仿射变换的叠加仍然是一个仿射变换，即使添加更多的隐藏层，这种设计也只能与仅含输出层的单层神经网络等价。解决问题的一个方法是引入非线性变换，对隐藏变量使用非线性变化，然后作为 ...
分类：
其他好文 时间：
2020-02-13 00:28:31
阅读次数：
113
梯度与反向传播 1.对于一个二元函数f(x, y)，有?$\nabla f = [\frac{\partial f}{\partial x} , \frac{\partial f}{\partial y}]$ 因此可知，梯度是一个向量而不是一个标量 2.利用链式法则解释何为反向传播： f(x,y,z ...
分类：
其他好文 时间：
2020-02-12 16:42:11
阅读次数：
99
本文始发于个人公众号： TechFlow，原创不易，求个关注 在之前的文章当中，我们一起推导了 线性回归 的公式，今天我们继续来学习上次没有结束的内容。 上次我们推导完了公式的时候，曾经说过由于有许多的问题，比如最主要的复杂度问题。随着样本和特征数量的增大，通过公式求解的时间会急剧增大，并且如果特征 ...
分类：
其他好文 时间：
2020-02-12 11:11:10
阅读次数：
84
一、线性回归 1、模型 2、损失函数 3、优化函数-梯度下降 #!/usr/bin/env python # coding: utf-8 import torch import time # init variable a, b as 1000 dimension vector n = 1000 a ...
分类：
其他好文 时间：
2020-02-12 10:53:33
阅读次数：
110
