输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身，而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用:
验证作业的输入是否规范...
分类：
其他好文 时间：
2015-06-15 00:19:57
阅读次数：
213
简述无论我们以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类；
系统默认的RecordReader是LineRecordReader，TextInputFormat；
LineRecordReader是用每行的偏移量作为map的key，每行的内容作为map的value；
而SequenceFileInputFormat的RecordReader是Sequenc...
分类：
其他好文 时间：
2015-06-14 22:54:12
阅读次数：
211
http://spark.apache.org/docs/1.2.1/streaming-programming-guide.html在SparkStreaming中如何对数据进行分片Level of Parallelism in Data ProcessingCluster resources c...
分类：
其他好文 时间：
2015-06-14 22:43:24
阅读次数：
211
Linux服务器运行久时，系统时间就会存在一定的误差，一般情况下可以使用date命令进行时间设置，但在做数据库集群分片等操作时对多台机器的时间差是有要求的，此时就需要使用ntpdate进行时间同步。date命令：date :查看当前时间，结果如下：Tue Mar 4 01:36:45 CST 201...
分类：
其他好文 时间：
2015-06-12 14:48:42
阅读次数：
5437
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身，而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分，有三个作用:
验证作业的输入是否规范...
分类：
其他好文 时间：
2015-06-10 22:34:49
阅读次数：
207
http://www.cnblogs.com/yuechaotian/archive/2012/10/31/2747951.html mongo-副本集分片测试 1. 启动一对副本集（增加分片参数） ?D:\mongodb>mongod --dbpath=d:\mongodb\db --port 2222 --replSet neu/127.0....
分类：
其他好文 时间：
2015-06-09 17:56:38
阅读次数：
156
Cluster简介 ????????Redis 3.0引入的cluster。cluster是具有有自动数据分片、容错、针对读取速度有了显著的提升、改进了AOF重写等的redis分布式实现。 ????Redis 集群是一个分布式（distributed）、...
分类：
其他好文 时间：
2015-06-08 13:34:35
阅读次数：
210
转自：http://blog.csdn.net/fengyily/article/details/42557841本人一直用的是CRtmpServer服务，在CRtmpServer服务中根据自已的想法也加入了许多功能，如通过http接口来加载配置等，苦于不支持HLS，自已添加ts分片水平又有限，思来...
分类：
其他好文 时间：
2015-06-02 10:55:23
阅读次数：
316
MongoDB3.0.1文档版本发布，目前国内还没有一个完整的文章阐述如何进行集群部署。...
分类：
数据库 时间：
2015-06-01 22:50:21
阅读次数：
293
Python中引用复制、分片复制、完整复制首先直接看例子：>>> l1=[1,2,3]
>>> l11 = l1
>>> l2=[4,5,l1]
>>> l2
[4, 5, [1, 2, 3]]
>>> l3 = l2[:]
>>> l3
[4, 5, [1, 2, 3]]
>>> import copy
>>> l4 = copy.deepcopy(l2)
>>> l4
[4, 5, [1, 2,...
分类：
编程语言 时间：
2015-06-01 18:49:26
阅读次数：
169
