使用random模块的shuffle方法打乱列表 注意：shuffle是对列表本身进行操作 ...
分类：
其他好文 时间：
2019-05-02 00:26:05
阅读次数：
103
MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程： 首先，map 输出的<key,value > 会放在内存中，内存有一定的大小，超过之后，会将内存里的东西溢写（spill） 到磁盘（disk)中 。在从内存溢 ...
分类：
其他好文 时间：
2019-04-26 13:17:05
阅读次数：
109
本章内容我们学习一下 MapReduce 中的 Shuffle 过程，Shuffle 发生在 map 输出到 reduce 输入的过程，它的中文解释是 “洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：1. map 任务输出的数据分组、排序，写入本地磁盘 2. reduce 任务拉取排序。 ...
分类：
其他好文 时间：
2019-04-16 14:39:28
阅读次数：
156
翻译自 "Build a Convolutional Neural Network using Estimators" 的`layer API dropout regularization layer MNIST`数据集中的手写数字。 数据集由 训练样例和 测试样例组成，全部都是0 9的手写数字，每 ...
分类：
Web程序 时间：
2019-04-13 00:39:37
阅读次数：
249
不仅 Python 函数是真正的对象，任何 Python 对象都可以表现得像函数。为此，只需实现实例方法 __call__。 ? __init__ 接受任何可迭代对象；在本地构建一个副本，防止列表参数的意外副作用。 ? shuffle 定能完成工作，因为 self._items 是列表。 ? 起主要 ...
分类：
其他好文 时间：
2019-04-08 18:36:14
阅读次数：
111
石杉老师讲要从以下几个方面去优化Spark的性能，其中Shuffle调优是重点。 下面是与调优相关的几篇不错的博客，以供参考 官网的调优 https://spark.apache.org/docs/latest/tuning.html 序列化 https://stackoverflow.com/qu ...
分类：
其他好文 时间：
2019-04-07 22:11:46
阅读次数：
185
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、RDDRDD（Resilient Distributed Dataset）叫做弹性分布 ...
分类：
其他好文 时间：
2019-04-01 17:13:05
阅读次数：
182
图片读取有多种方式，这里先记录几种，以后慢慢更新 tf.read_file 直接读取图片内容，需要解码；输出为Tensor，需要转换数据格式 示例代码 输出 附带图片处理 示例代码 1. 重置图片大小 2. 图片裁剪或者填充为指定大小 3. 图片数据标准化 resize_images 输出 resi ...
分类：
其他好文 时间：
2019-03-31 11:07:14
阅读次数：
187
import random#定义54张牌huase = ['\u2665','\u2660','\u2666','\u2663']num = ['A','2','3','4','5','6','7','8','9','10','J','Q','K']kings = ['大王','小王']#一副牌 ...
分类：
其他好文 时间：
2019-03-30 13:31:26
阅读次数：
618
一、shuffle机制概述 shuffle机制就是发生在MR程序中，Mapper之后，Reducer之前的一系列分区排序的操作。shuffle的作用是为了保证Reducer收到的数据都是按键排序的。 二、shuffle机制的流程 还是按照上个随笔MR整体流程的需求来做参考： 1.Mapper中con ...
分类：
其他好文 时间：
2019-03-29 09:15:54
阅读次数：
178
