体验一下 TensorFlow 导包套路, 获取数据 - 特征工程, 构建网络, 模型训练, 计算梯度, 梯度更新 .. Epoch ..这些流程操作. ...
分类：
其他好文 时间：
2020-05-23 18:35:46
阅读次数：
54
昨天写的因为没有及时发布，又丢失了，现在重写一遍重点。 1. activation functions 1） 总结：一般都用ReLu，因为在x>0时，不会出现梯度消失 可以尝试Leakly ReLu ELU Maxout(参数加倍) tanh（0-centered） 不要用Sigmoid 2）Sig ...
分类：
其他好文 时间：
2020-05-23 16:40:34
阅读次数：
52
前几天把阿开送到他外婆家后，就开始弄自己文章的事情，其实这都是1年多前的内容了。稍微整理了一下，整理之中又仔细看了看别人的文章，然后有看了看非参极小曲面的边界估计，发现Giusti的结果确实可以有一些改进的余地，关键是要做边界梯度估计，我开始想着是不是可以照着一致椭圆的路子走一遍，想了半天，发现这个 ...
分类：
其他好文 时间：
2020-05-23 09:28:01
阅读次数：
67
Baseline的理解： 1、取jason文件中的label train_label = [train_json[x]['label'] for x in train_json] 2、不计算梯度，常用在测试 with torch.no_grad(): 3、取模型结果 model_conv = nn. ...
分类：
其他好文 时间：
2020-05-20 14:02:41
阅读次数：
159
本文主要介绍深度学习项目实践过程中可能遇到的一些组件及使用技巧！一、Optimizor优化器选择 二、激活函数选择 三、防止过拟合 四、防止梯度消失/爆炸 五、权值初始化 六、数据预处理 七、学习率 learning rate 八、批次大小 batch_size 九、损失函数 Loss 十、其他 ...
分类：
其他好文 时间：
2020-05-18 18:42:12
阅读次数：
72
FFT与游戏开发（六） 先上成果，简单的漫反射光照，不过已经可以体现出法线了。 法线 有了高度场，还需要法线信息，法线可以通过对高度场求梯度得到，这里默认z轴朝上。 1. 高度场(Height) $$ P(x,y,t) = (x,y,H(x,y,t)) $$ 2. 副切线(BiTangent) $$ ...
分类：
其他好文 时间：
2020-05-18 01:02:24
阅读次数：
70
主要内容： 线性回归 定义与问题引入 损失函数 梯度下降 过拟合与正则化 逻辑回归 定义与问题引入 损失函数 梯度下降与正则化 线性回归 有监督学习= 学习样本为D={(x~i~,y~i~)}^N^~i=1~ 多变量情形： 损失函数 loss function： 梯度下降： 其中α为步长，很大 震荡 ...
分类：
其他好文 时间：
2020-05-17 17:27:48
阅读次数：
73
同步进行一波网上代码搬砖, 先来个入门的线性回归模型训练, 基于梯度下降法来, 优化用 MSE 来做. 理论部分就不讲了, 网上一大堆, 我自己也是理解好多年了, 什么 偏导数, 梯度(多远函数一阶偏导数组成的向量) , 方向导数, 反方向(梯度下降) 这些基本的高数知识, 假设大家是非常清楚原理的 ...
分类：
其他好文 时间：
2020-05-17 01:06:00
阅读次数：
75
1. LSTM原理 由我们所了解的RNN可知，RNN结构之所以出现梯度爆炸或者梯度消失，最本质的原因是因为梯度在传递过程中存在极大数量的连乘，为此有人提出了LSTM模型，它可以对有价值的信息进行记忆，放弃冗余记忆，从而减小学习难度。 与RNN相比，LSTM的神经元还是基于输入X和上一级的隐藏层输出h ...
分类：
其他好文 时间：
2020-05-15 11:54:47
阅读次数：
163
梯度提升树GBDT GBDT是Boosting家庭中，除AdaBoost外另一个重要的算法。算法思想同样是让本轮迭代找到的决策树的损失比上轮更小。 GBDT负梯度拟合 用损失函数负梯度来拟合本轮损失近似值，进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为： $$ r_{ti}= ...
分类：
其他好文 时间：
2020-05-13 16:50:25
阅读次数：
58
