在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
池化的概念是在 AlexNet 网络中提出的，之前叫做降采样； 池化到底在做什么，不多解释； 池化的作用 首先需要明确一下池化发生在哪里：卷积后经过激活函数形成了 feature map，即 Relu(wx + b) ，后面接池化层 1. 池化可以形象化的理解为降维 2. 池化避免了局部位移或者微小 ...
分类：
其他好文 时间：
2020-01-18 12:44:06
阅读次数：
108
本篇是一个练手项目，目的在于： 1. 熟悉 pytorch 2. 实现 SGD 与 动量梯度下降，并对比收敛性 手动实现线性回归模型，一个很简单的模型，不多介绍，直接上代码 import torch as t import matplotlib.pylab as plt ### 制造数据 def m ...
分类：
其他好文 时间：
2020-01-18 11:11:58
阅读次数：
130
1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数： 代数形式： 矩阵形式： 更新： 代数形式伪代码： 矩阵形式伪代码： 算法2：随机梯度下降SGD 每次迭代使用一个样本来对参数进行更新。 一个样本的损失函数： 代数形式伪代码： 矩阵 ...
分类：
其他好文 时间：
2020-01-17 00:10:24
阅读次数：
92
在这一章，我们将建立一个垃圾邮件过滤分类模型。我们将使用一个包含垃圾邮件和非垃圾邮件的原始电子邮件数据集，并使用它来训练我们的ML模型。我们将开始遵循上一章讨论的开发ML模型的步骤。这将帮助我们理解工作流程。 在本章中，我们将讨论以下主题: l 定义问题 l 准备数据 l 数据分析 l 构建数据的特 ...
1. Gradient Descent 1.1 Batch Gradient Descent 在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新，其中是学习率： $ \theta=\theta-\e ...
分类：
其他好文 时间：
2020-01-14 23:57:28
阅读次数：
153
初始化 w b，其实并没有特别统一的规定，只是有一些经验，而这些经验并没有被严格证明，所以不保证一定有效； 假设我们选择 sigmoid 为激活函数，我们需要把 sigmoid 的输入定格于 0 附近，因为这里梯度比较明显； 换句话说就是要把 wx+b 的值置于 0 左右，这样才不容易梯度消失； 核 ...
分类：
其他好文 时间：
2020-01-14 16:24:14
阅读次数：
89
1直方图 #直方图--增强对比度 def equalHist_demo(image): gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY) dst = cv.equalizeHist(gray) cv.imshow("equalHist_demo", dst) ...
分类：
其他好文 时间：
2020-01-12 15:24:26
阅读次数：
100
app，pc都一样，如果是app加上这个会更好一点 <meta name="viewport" content="initial-scale=1.0, user-scalable=no"> 首先百度高地地图，进入开放api部分，没有的话先注册账号。个人的，企业的都可以 然后点击控制台，应用管理部分创 ...
分类：
其他好文 时间：
2020-01-11 15:26:54
阅读次数：
102
