1 2 3 4 5 6 7 8 Document 9 10 11 12 13 14 54 55 56 ...
分类：
编程语言 时间：
2017-10-30 17:00:30
阅读次数：
164
刚刚大学毕业,接触大数据有一年的时间了,把自己的一些学习笔记分享给大家,希望同热爱大数据的伙伴们一起学习,成长! 资料准备: Hadoop-2.7.1下载:http://pan.baidu.com/s/1o7LKaSU 密码:64du Jdk下载(文中使用1.7,这里给得1.8,不影响使用):htt ...
分类：
其他好文 时间：
2017-10-13 12:32:49
阅读次数：
194
1. MapReduce的流程图（摘自马士兵老师视频），我们开发的就是其中的这两个（红框）过程。简述一下这个图，input就是我们需要处理的文件（datanode上文件的一个分块）；Split就是将这个文件进行拆分，默认的就是按照行来拆分，拆分的结果是一个key-value对，key是这一行起始的位 ...
分类：
编程语言 时间：
2017-09-30 11:29:03
阅读次数：
195
一、random模块简介 Python标准库中的random函数，可以生成随机浮点数、整数、字符串，甚至帮助你随机选择列表序列中的一个元素，打乱一组数据等。 二、random模块重要函数 1 )、random() 返回0<=n<1之间的随机实数n；2 )、choice(seq) 从序列seq中返回随 ...
分类：
编程语言 时间：
2017-09-26 17:48:16
阅读次数：
234
1、java.util.Collection 是一个集合接口。它提供了对集合对象进行基本操作的通用接口方法。Collection接口在Java 类库中有很多具体的实现。 Collection接口的意义是为各种具体的集合提供了最大化的统一操作方式。 Collection List、LinkedList ...
分类：
其他好文 时间：
2017-09-24 22:15:27
阅读次数：
202
版权声明：本文为博主原创文章，未经博主允许不得转载 首先，先引出两点来展开下面的话题。 (1)map阶段的排序是在hash之后，写入磁盘之前进行。排序的两个关键字是partition（分区编号）和key。 (2)map结束后，并不是马上写到磁盘的，而是有个环形缓冲区，数据写到缓冲区中，默认溢出率是8 ...
分类：
编程语言 时间：
2017-09-24 11:34:10
阅读次数：
303
主要相关函数： tf.train.string_input_producer：这个函数需要传入一个文件名list，系统会自动将它转为一个文件名队列 tf.train.string_input_producer：两个重要的参数（1）num_epochs，上文中提到的epoch数（2）shuffle，s ...
分类：
其他好文 时间：
2017-09-17 13:41:59
阅读次数：
173
初涉模块time时间形式的转换随机数模块random<!--more-->应用实例：生成五位验证码hashlib计算一个字符串的md5值os模块os.systemsys 初涉模块 在python中，能开辟自己作用域的只有函数、类以及模块 for循环if-else循环均不能实现开辟自己的作用域。 >> ...
分类：
其他好文 时间：
2017-09-03 12:19:40
阅读次数：
313
1、random.random 随机生成一个0到1的随机浮点数: 0 <= n < 1.0 2、random.uniform 随机生成指定范围内的随机浮点数 3、random.randint 随机生成指定范围内的整数 random.randint(a, b)，用于生成一个指定范围内的整数。其中参数a ...
分类：
编程语言 时间：
2017-08-31 19:09:19
阅读次数：
289
python的标准安装中包含标准库 一、导入模块： 1.导入既有（标准库）模块 import math (从默认的路径中寻找math模块) python解释器从哪里查找模块呢？即搜索路径，目录列表可以在sys模块的paht变量中找到 ，sys.path，打印出来 import sys,pprint ...
分类：
编程语言 时间：
2017-08-31 16:05:28
阅读次数：
169
