我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
本周主要是修养声息。 昨天一直在搞tensorflow的安装，折腾到半夜，也没有整好，一直在报 DLL一直加载失败 之类的错误，在网上查找有的说是没有vs15的环境，有的说python版本太高没有匹配的（本人用的3.8版本），有的说要装anaconda后会比较好搞定，有的说是我CUDA和CUDNN啥 ...
分类：
其他好文 时间：
2020-03-27 21:25:10
阅读次数：
119
本文主要探索如何使用深度学习框架 MXNet 或 TensorFlow 实现线性回归模型？并且以 Kaggle 上数据集 USA_Housing 做线性回归任务来预测房价。 回归任务，scikit-learn 亦可以实现，具体操作可以查看 线性回归模型的原理与 scikit-learn 实现。 载入 ...
分类：
Web程序 时间：
2020-03-27 01:11:27
阅读次数：
249
如果你的Tensorflow程序很简单，比如这样： 那么出现AttributeError: module 'tensorflow' has no attribute 'constant'的原因是： 该文件命名错误，不要用tensorflow这个名字，换个别的就好了 module ‘tensorflo ...
分类：
其他好文 时间：
2020-03-26 12:26:35
阅读次数：
101
tf.strided_slice，tf.fill，tf.concat使用实例 其中，我们需要对tensor data进行切片，tf.strided_slice使用方法请参考 import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LE ...
分类：
其他好文 时间：
2020-03-25 23:22:29
阅读次数：
76
最近开始做深度学习实验，在老师的推荐下准备采用tensorflow框架构建神经网络结构，在此记录下今天安装tensorflow2.0的过程和踩过的坑，方便以后复习，以及给后来者一个参考。 1.安装过程 1）需要安装的东西： i.anaconda（或者miniconda，可以理解为精简版的anacon ...
首先需要下载 mask_rcnn 的源码 但是从GitHub上下载源码的速度非常慢，所以我们从码云上下载，这是GitHub的中国镜像。 链接如下：https://gitee.com/mirrors/Mask_RCNN?_from=gitee_search 下载pycocotools 什么需要安装py ...
分类：
其他好文 时间：
2020-03-25 18:57:54
阅读次数：
145
最近为了实现HR-net在学习pytorch，然后突然发现这个框架简直比tensorflow要方便太多太多啊，我本来其实不太喜欢python，但是这个框架使用的流畅性真的让我非常的喜欢，下面我就开始介绍从0开始编写一个Lenet并用它来训练cifar10。 1.首先需要先找到Lenet的结构图再考虑 ...
分类：
Web程序 时间：
2020-03-25 10:33:16
阅读次数：
154
数据集描述：其包含120条训练集和30条测试集 对鸢尾花的属性和标签之间的可视化操作： 1 import tensorflow as tf 2 import pandas as pd 3 import numpy as np 4 import matplotlib.pyplot as plt 5 6 ...
分类：
其他好文 时间：
2020-03-24 18:34:23
阅读次数：
218
和C/C++编写main函数中的argv一样，tf框架下也封装了tf.app.flags.DEFINE_XXXX()函数用于定义参数，便于命令行形式传递参数。常见的函数形式如下： flags.DEFINE_float(参数1，参数2，参数3) flags.DEFINE_integer(参数1，参数2 ...
分类：
移动开发 时间：
2020-03-24 12:42:12
阅读次数：
82
