Spark RDD（Resilient Distributed Datasets）论文 概要 1: 介绍 2: Resilient Distributed Datasets（RDDs） 2.1 RDD 抽象 2.2 Spark 编程接口 2.2.1 例子 – 监控日志数据挖掘 2.3 RDD 模型的 ...
分类：
Web程序 时间：
2017-09-21 17:51:51
阅读次数：
334
图片数据一般有两种情况： 1、所有图片放在一个文件夹内，另外有一个txt文件显示标签。 2、不同类别的图片放在不同的文件夹内，文件夹就是图片的类别。 针对这两种不同的情况，数据集的准备也不相同，第一种情况可以自定义一个Dataset，第二种情况直接调用torchvision.datasets.Ima ...
分类：
其他好文 时间：
2017-09-12 23:04:58
阅读次数：
271
RDD（Resilient Distributed Datasets）弹性分布式数据集。RDD可以看成是一个简单的"数组"，对其进行操作也只需要调用有限的"数组"中的方法即可,但它与一般数组的区别在于:RDD是分布式存储，可以跟好的利用现有的云数据平台，并在内存中进行。此处的弹性指的是数据的存储方式 ...
分类：
其他好文 时间：
2017-09-09 13:48:30
阅读次数：
152
Introduction Dataset scikit-learn提供了一些标准数据集（datasets），比如用于分类学习的iris和digits数据集，还有用于归约的boston house prices 数据集。 其使用方式非常简单如下所示： $ python >>> from sklearn... ...
分类：
其他好文 时间：
2017-08-25 19:25:46
阅读次数：
201
前言：一些逻辑用spark core 来写，会比较麻烦，如果用sql 来表达，那简直太方便了 一、Spark SQL 是什么 是专门处理结构化数据的 Spark 组件 Spark SQL 提供了两种操作数据的方法： sql 查询 DataFrames/Datasets API Spark SQL = ...
分类：
数据库 时间：
2017-08-16 17:16:47
阅读次数：
237
无聊的时候试了试在Python下求2的1999次方是多少，然后惊喜的发现python支持大数操作。 同样的发现了Python支持任意长度的链式比较运算，比如我们可以来通过a>b>c这个表达式来测试a、b、c是否满足从小到大的顺序，这是其他语言所不具备的一个能力，这点上不得不给python点个赞！当然 ...
分类：
编程语言 时间：
2017-08-11 22:04:12
阅读次数：
138
作用：控制数据集。Datasets 过程运行结果不输出，结果只有在日志里才能看到。 基本语法： 用法： 1. 更改数据集 ...
分类：
其他好文 时间：
2017-08-10 17:07:21
阅读次数：
338
手写数字数据集（下载地址：http://www.cs.nyu.edu/~roweis/data.html） 手写数字数据集包括1797个0-9的手写数字数据，每个数字由8*8大小的矩阵构成，矩阵中值的范围是0-16，代表颜色的深度。 使用sklearn.datasets.load_digits即可加 ...
分类：
其他好文 时间：
2017-08-09 15:40:10
阅读次数：
506
參考文献： Zhang J, Kan M, Shan S, et al. Leveraging Datasets With Varying Annotations for Face Alignment via Deep Regression Network[C]//Proceedings of th ...
分类：
Web程序 时间：
2017-08-09 12:55:39
阅读次数：
317
Experiments on the NYC datasets, here is the dataset link: https://sites.google.com/site/yangdingqi/home/foursquare-dataset Forgive me being lazy and ...
分类：
其他好文 时间：
2017-08-03 21:50:07
阅读次数：
185
