在FNN（DNN）的前向传播，反向梯度推导以及代码验证中，我们不仅总结了FNN（DNN）这种神经网络结构的前向传播和反向梯度求导公式，还通过tensorflow的自动求微分工具验证了其准确性。在本篇章，我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推 ...
分类：
其他好文 时间：
2020-09-17 12:17:39
阅读次数：
25
1、什么叫回归算法: 常见的回归算法有: 线性回归、Logistic回归、Softmax回归...... ① 回归算法属于一种有监督学习 ② 回归算法是一种比较常用的机器学习算法，用来建立自变量(x)与因变量(y)之间的关系；从机器学习的角度来讲，用于构建一个算法模型(函数)来做属性(x)与标签(y ...
分类：
编程语言 时间：
2020-09-03 16:55:20
阅读次数：
39
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline from sklearn.linear_model import LinearRegression data = pd. ...
分类：
其他好文 时间：
2020-08-08 17:34:03
阅读次数：
74
CV： 1. 常见的模型加速方法 2. 目标检测里如何有效解决常见的前景少背景多的问题 3. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的，假设网络拟合能力无限强 4. ROIPool和ROIAlign的区别 5. 介绍常见的梯度下降优化方法 6. Detect ...
分类：
编程语言 时间：
2020-08-04 09:55:07
阅读次数：
91
昨天实现了一个计算机函数的提取过程，不过就函数提取的公式而言，因为用的是sklearn提供的多元线性回归分析函数，其中有最小二乘法和梯度下降的模拟。 但是无论是上述的哪种函数的模拟，一旦针对一些相对而言比较复杂的多元非线性问题，就很有可能不能发挥出函数提取的功能了。要做到一种精度比较高的模拟图像识别 ...
分类：
其他好文 时间：
2020-07-29 10:04:19
阅读次数：
67
在解决问题中，θ可能不是一个值，可能是一个向量，所以在求导的时候可以写成求梯度的形式，求函数在每个方向上的偏导数。 其实和上一节处理的问题也相似，只不过这个处理的不是一个数，是一个向量。 这是一个三元函数的曲线图。图中的红色圈圈就是函数曲线。假如起始点从左上角那个点出发，一直到数值最低的点，其实这个 ...
分类：
其他好文 时间：
2020-07-27 23:56:02
阅读次数：
90
一、偏差和方差 欠拟合的loss主要来自偏差 过拟合的loss主要来自方差 应对大的偏差的方法： 增加更多特征作为输入 使用更复杂的模型 应对大的方差的方法： 更多数据 正则化 k折交叉验证 二、梯度下降 Adagrad 二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近，因此学习率需要考虑 ...
分类：
其他好文 时间：
2020-07-22 20:53:23
阅读次数：
106
SVM现在主流的有两个方法。一个是传统的推导，计算支持向量求解的方法，一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数，所以最近也有人提出的深度SVM其实就是使用hinge loss的神经网络。 本文的目的是讲解传统的推导。 SVM的超平面 SVM模型的 ...
分类：
其他好文 时间：
2020-07-22 20:16:36
阅读次数：
68
梯度下降法主要分为三种， 梯度下降法 随机梯度下降 小批量梯度下降 下面分别来介绍一下，这样更加有助于理解它们之间的联系。 梯度下降法 梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降 下面就以均方误差讲解一下，假设损失函数如下： 其中 是预测值， 是真实值，那么要最小化上面损失 ...
分类：
其他好文 时间：
2020-07-20 22:40:33
阅读次数：
75
Nick-Atom AI炼金术士一枚， 主攻推荐/广告/NLP 一张图搞定人生系列： 1, 看趋势（图2） loss往上走甚至产生小山包（黄线） or 下降的特别急（绿线）， 后几个epoch没变化， lr过高， 调低。 绿线还可以考虑lr decay loss趋近于线性(蓝线)， lr过低， 调高 ...
分类：
其他好文 时间：
2020-07-17 11:23:42
阅读次数：
97
