0.前言 这篇文章是最近学习pytorch的一点经验总结，整体来说是备忘录性质的随笔。 1.GPU利用率过低（2020年7月20日） 问题描述： 跑数据时发现GPU利用率几乎为0，CPU占用倒是很高，一度怀疑是CUDA没配置好。然而做了profile之后发现大多数时间都用在了读取数据上。 读取数据是 ...
分类：
其他好文 时间：
2020-07-22 21:04:03
阅读次数：
97
训练完train_datasets之后，model要来测试样本了。在model(test_datasets)之前，需要加上model.eval(). 否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有batch normalization层所带来的的性质。在做one classi ...
分类：
其他好文 时间：
2020-07-22 20:10:13
阅读次数：
73
原文来自知乎，现摘录与此 https://zhuanlan.zhihu.com/p/67964081 首先这是一段mnist数据集的基本代码。 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.con ...
分类：
其他好文 时间：
2020-07-22 16:23:29
阅读次数：
105
代码出处：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/04_transformer_tutorial_2nd_part/BERT_tutorial/models/bert_model.py # coding=u ...
分类：
其他好文 时间：
2020-07-21 14:20:11
阅读次数：
68
比如，你遇到的一个任务，目前只有小几百的数据，然而目前流行的最先进的神经网络都是成千上万的图片数据，可以通过数据增强来实现。 常用的数据增强手段： Flip（翻转） Rotation（旋转） Scale（缩放） Random Move&Crop（移位&裁剪） Gaussian Noise（高斯噪声） ...
分类：
其他好文 时间：
2020-07-19 23:06:54
阅读次数：
79
最近尝试facenet做识别，没有从头复现，刚好在GitHub找到一个可以已经封装好的repo，使用起来也特别方便。项目地址 https://github.com/timesler/facenet-pytorch 。安装使用它只需直接pip install facenet-pytorch即可。 fa ...
分类：
Web程序 时间：
2020-07-19 00:34:09
阅读次数：
168
作为目前越来越受欢迎的深度学习框架，pytorch 基本上成了新人进入深度学习领域最常用的框架。相比于 TensorFlow，pytorch 更易学，更快上手，也可以更容易的实现自己想要的 demo。今天的文章就从 pytorch 的基础开始，帮助大家实现成功入门。 首先，本篇文章需要大家对深度学习 ...
分类：
其他好文 时间：
2020-07-18 22:41:15
阅读次数：
67
从RNN到BERT 一年前的这个时候，我逃课了一个星期，从澳洲飞去上海观看电竞比赛，也顺便在上海的一个公司联系了面试。当时，面试官问我对RNN的了解程度，我回答“没有了解”。但我把这个问题带回了学校，从此接触了RNN，以及它的加强版-LSTM。 时隔一年，LSTM好像已经可以退出历史舞台。BERT站 ...
分类：
其他好文 时间：
2020-07-18 15:30:10
阅读次数：
449
虽然我已经安装了GPU版的pytorch，但是只能使用CPU的。 安装的pytorch版本pytorch1.5.1-py36-cu102-cudn70 执行： >>> import torch >>> import torchvision >>> torch.cuda.is_available() ...
分类：
其他好文 时间：
2020-07-18 13:33:18
阅读次数：
406
本节介绍 Pytorch中hook函数，以及CAM算法生成类激活图。 ...
分类：
其他好文 时间：
2020-07-17 22:02:03
阅读次数：
124
