pytorch的并行分为模型并行、数据并行 左侧模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 右侧数据并行：多个显卡同时采用数据训练网络的副本。 一、模型并行 二、数据并行 数据并行的操作要求我们将数据划5分成多份，然后发送给多个 GPU 进行并行的计算。 注意：多卡训练要考 ...
分类：
其他好文 时间：
2020-05-14 15:20:43
阅读次数：
95
1. 选用卷积之前填充（强烈建议） 小生非常推荐大家不再使用卷积所带的填充方式，虽然那种方式简单，但缺陷太多。① 不能根据自己的需要来决定上与下填充不等的边界，左右填充不等的边界；② 边界填充零容易出现伪影的情况，对实验效果影响比较大。将卷积中的Padding方式换为卷积前Padding效果会更佳， ...
分类：
其他好文 时间：
2020-05-11 01:13:55
阅读次数：
293
1.AFM模型pytorch实现。 $\hat{y}_{AFM}=w_{0} + \sum_{i=1}^{n}w_{i}x_{i}+p^{T}\sum_{i=1}^{n-1}\sum_{j=i+1}^{n}a_{ij}(v_{i}v_{j})x_{i}x_{j}$ $a_{ij}^{'}=h^{T} ...
分类：
其他好文 时间：
2020-05-10 15:05:57
阅读次数：
65
这一篇主要讲解Pytorch搭建一个卷积神经网络识别自己的数字数据集基本流程。 注：一开始接触很多教程都是直接加载datasets已有的MNIST等，如果想要训练自己的数据就可以采用这个方法。 基本步骤：获取并读取数据-->定义网络模型和损失函数-->使用优化算法训练模型-->利用验证数据集求取网络 ...
分类：
其他好文 时间：
2020-05-08 16:26:34
阅读次数：
83
1. BN层不能少于1张图片 问题分析 ： 模型中用了batchnomolization，训练中用batch训练的时候，应该是有单数，比如dataset的总样本数为17,batch_size为8,就会报这样的错误。 解决方案 ： 1. 将dataloader的一个丢弃参数设置为true 2. 手动舍 ...
分类：
其他好文 时间：
2020-05-07 13:41:19
阅读次数：
83
1.torch.sum z = torch.arange(40.).reshape(2, 4, 5) print(z) print(torch.sum( z,0)) print(torch.sum( z,1)) print(torch.sum( z,2)) tensor([[[ 0., 1., 2. ...
分类：
其他好文 时间：
2020-05-06 19:59:03
阅读次数：
66
环境anaconda （1）配置镜像（直接在官网下载较慢） conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --add channels htt ...
分类：
其他好文 时间：
2020-05-06 17:53:41
阅读次数：
119
lstm网络进行股票预测 pytorch 1. generate_dataset.py 2. neural_network_modeling.py 3. train.py 4. predict.py 参考文献 "[1] pytorch上手模板" "[2] pytorch中LSTM的细节分析理解" " ...
分类：
其他好文 时间：
2020-05-05 19:46:24
阅读次数：
53
前言：主要记录，在推荐系统利用FFM模型，进行CTR预估的时候，离散化特征需要嵌入，field之间的特征交叉是怎么计算的？记录了数据流动的每一个过程。 FMM是在FM的基础上改进的，理论部分未作过多解释。（内容有不足之处，请大家指正批评） 参考：github：pytorch-fm 一、公式： FFM ...
分类：
其他好文 时间：
2020-05-04 15:13:08
阅读次数：
94
1.张量数据类型 比如数字2在pytorch中就是intTensor类型，该维度为0即dim=0 ，pytorch内部没有自带的string 类型表示方法，要用的话只能通过以下两种编码方法表示： one-hot ： 如猫类别用【0 1】表示，狗类别用【1 0】表示 embedding:如果是汉字或者 ...
分类：
其他好文 时间：
2020-05-04 13:30:08
阅读次数：
52
