Visual Question Answering with Memory-Augmented Networks引用论文Hierarchical Question-Image Co-Attention for Visual Question Answering在一般的VQA问题中，我们使用梯度下降来... ...
分类：
其他好文 时间：
2019-10-21 00:17:42
阅读次数：
108
GBDT算法： 所谓的GBDT(Gradient Boost Desicison Tree)就是值在每一步迭代时我们难以真正求得一个新的模型使得其加上原有模型得到的损失最小，但是我们可以用所谓的梯度下降法使得损失减小。 输入：训练数据集$D+\lbrace(x_{1},y_{1}),...,(x_{ ...
分类：
其他好文 时间：
2019-10-17 14:03:33
阅读次数：
83
认识 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模), 我感觉, 其实就是 偏导数向量方向呗 , 沿着这个 向量方向可以找到局部的极值 . Python from random impor ...
分类：
编程语言 时间：
2019-10-13 20:58:01
阅读次数：
110
更新参数的时间和训练的方法有关，更确切的说，是我们为了设置什么时候更新参数，才使用哪种方法进行训练 1、如果一次性训练全部样本才更新参数，就将所有样本都丢进去（相当于只有一个batch），Gradient Descent梯度下降法进行计算 2、如果每计算一个样本，就更新一次参数，我们使用 Stoch ...
分类：
其他好文 时间：
2019-10-10 15:51:11
阅读次数：
242
感知机(Perceptron)是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型，感知机学习旨在求出将训练数据进行线性划分的分离超平面，基于五分类的损失函数，利用梯度下降法对损失函数进行极小化，求得... ...
分类：
其他好文 时间：
2019-10-09 14:05:35
阅读次数：
137
全连接神经网络：也叫多层感知器模型 BP不是神经网络，是训练神经网络的一种方法。 人脑大约800亿个神经元组成，这些神经元由突触与其他神经元相互连接，交换电信号和化学信号，大脑通过神经元之间的协作完成各种功能。神经元之间的连接关系是通过进化、生长发育和后天刺激形成的。 人工神经网络： 受动物神经系统 ...
分类：
其他好文 时间：
2019-10-05 18:44:57
阅读次数：
101
迭代更新数学公式推导过程 1、牛顿法 首先对于有n个变量的函数的一阶导数为： 其次对于其二阶导数为： 之后关于目标函数的包含二阶导数的泰勒展开式为： 这时将看成的函数，则根据函数的最小值性质，当偏导数等于0时出取得，从而得到，所以，根据等式的特点得到，只有两者都取0时才能使等式等于0，所以得： （最 ...
分类：
其他好文 时间：
2019-10-05 16:44:37
阅读次数：
88
【Python】机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值 本题目来自吴恩达机器学习视频。 题目： 你是一个餐厅的老板，你想在其他城市开分店，所以你得到了一些数据（数据在本文最下方），数据中包括不同的城市人口数和该城市带来的利润。第一列是城市的人口数，第二列是在这个城市开店所带来的利 ...
分类：
编程语言 时间：
2019-10-04 19:21:51
阅读次数：
97
遵循统一的机器学习框架理解SVM 一、前言 1. 我的博客不是科普性质的博客，仅记录我的观点和思考过程。欢迎大家指出我思考的盲点，更希望大家能有自己的理解。 2. 本文参考了李宏毅教授讲解SVM的课程和李航大大的统计学习方法。 二、理解 统一的机器学习框架(MLA)： 1.模型(Model) 2.策 ...
分类：
其他好文 时间：
2019-10-03 16:04:44
阅读次数：
107
1、批量梯度下降 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下： 对应的目标函数（代价函数）即为： （1）对目标函数求偏导： （2）每次迭代对参数进行更新： 优点： （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 （2）由全 ...
分类：
其他好文 时间：
2019-10-03 10:22:44
阅读次数：
46
