现代深度学习系统中（比如MXNet， TensorFlow等）都用到了一种技术——自动微分。在此之前，机器学习社区中很少发挥这个利器，一般都是用Backpropagation进行梯度求解，然后进行SGD等进行优化更新。手动实现过backprop算法的同学应该可以体会到其中的复杂性和易错性，一个好的框 ...
分类：
其他好文 时间：
2019-10-26 13:30:24
阅读次数：
65
协同过滤是一类基于用户行为数据的推荐方法，主要是利用已有用户群体过去的行为或意见来预测当前用户的偏好，进而为其产生推荐。能用于协同过滤的算法很多，大致可分为：基于最近邻推荐和基于模型的推荐。其中基于最近邻推荐主要是通过计算用户或物品之间的相似度来进行推荐，而基于模型的推荐则通常要用到一些机器学习算法 ...
分类：
其他好文 时间：
2019-10-25 20:35:18
阅读次数：
101
讲授卷积神经网络核心思想、卷积层、池化层、全连接层、网络的训练、反向传播算法、随机梯度下降法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法、迁移学习和fine tune等。 大纲： 卷积神经网络简介 视觉神经网络的核心思想 卷积神经网络的核心思想 卷积运算 卷积层的原理 ...
分类：
其他好文 时间：
2019-10-25 13:37:25
阅读次数：
104
1. 数据归一化的好处 （1）提升训练的速度 （2）提升模型的精度 （3）深度模型中能够防止梯度爆炸 2 归一化方法 min-max 归一化 x = (x - x_min)/(x_max - x_min) 将x 映射到[0,1]之间的一个数 z-score 标准化 均值为0 ，标准差为1 3 min ...
分类：
其他好文 时间：
2019-10-22 01:09:44
阅读次数：
131
Visual Question Answering with Memory-Augmented Networks引用论文Hierarchical Question-Image Co-Attention for Visual Question Answering在一般的VQA问题中，我们使用梯度下降来... ...
分类：
其他好文 时间：
2019-10-21 00:17:42
阅读次数：
108
为了避免传统的segmented-EPI（多次激励的EPI）序列，相位方向上分多次采集时，导致多个shot之间存在相位偏差。Readout-segmented EPI通过在readout方向分多次采集，可以有效避免这类问题。k空间填充方式如下图所示： 假设Readout-segmented EPI共 ...
分类：
其他好文 时间：
2019-10-18 15:59:58
阅读次数：
114
比方说当前点刚好在悬崖边上, 这个时候计算这个点的斜率就会变得非常大, 我们跟新的时候是按 斜率 × 学习率 来的, 那么这时候参数的跟新就会非常非常大, loss也会非常大 应对办法就是 当斜率超过某个值比如15时, 设定斜率为15. ...
分类：
其他好文 时间：
2019-10-18 15:38:14
阅读次数：
103
在一元函数中，导数就是函数的变化率。对于二元函数研究它的“变化率”，由于自变量多了一个，情况就要复杂的多，因此就需要研究 f(x,y) 在 (x0,y0) 点处沿不同方向的变化率 偏导数的表示符号为:?。偏导反映的是函数沿坐标轴正方向的变化率 设有二元函数 z=f(x,y) ，点(x0,y0)是其定 ...
分类：
其他好文 时间：
2019-10-18 12:49:24
阅读次数：
108
GBDT算法： 所谓的GBDT(Gradient Boost Desicison Tree)就是值在每一步迭代时我们难以真正求得一个新的模型使得其加上原有模型得到的损失最小，但是我们可以用所谓的梯度下降法使得损失减小。 输入：训练数据集$D+\lbrace(x_{1},y_{1}),...,(x_{ ...
分类：
其他好文 时间：
2019-10-17 14:03:33
阅读次数：
83
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 梯度提升算法代码(鸢尾花分类)+交叉验证调参# 一、导入模块```pythonimport numpy as n... ...
分类：
编程语言 时间：
2019-10-16 18:12:29
阅读次数：
81
