1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
遇到的问题：当点击上面的logs时，会出现下面问题：这个解决方案为：By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类：
其他好文 时间：
2014-05-19 10:33:13
阅读次数：
369
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
UCloud云服务以大家所称道的高性能和高稳定性，走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的？如何使得SATA跑过SSD？持久化分布式内存存储机制是怎样的？如何实现云计算模式下的Hadoop多租户隔离？分布式虚拟交换机又.....
分类：
其他好文 时间：
2014-05-19 08:28:47
阅读次数：
338
He is worth no weal that can bide no
woe.禁不起吃苦的人不配得到幸福有句谚语叫No weal without woe 福兮祸所伏 ; 祸兮福所倚weal和woe是一对反义词 很像no pain
no gain1.be worth sth..=deserve s...
分类：
其他好文 时间：
2014-05-19 07:11:33
阅读次数：
353
链接：http://www.uml.org.cn/sjjm/201308264.asp高并发数据库可以同时处理海量信息，应用范围很广。今天我们将讨论的是大数据量高并发的数据库优化，希望对大家有所帮助。一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难...
分类：
数据库 时间：
2014-05-18 20:30:59
阅读次数：
519
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
单一职责原则：就一个类而言，应该仅有一个引起它变化的原因。如果一个类承担的职责过多，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力。如果你能够想到多于一个的动机去改变一个类，那...
分类：
其他好文 时间：
2014-05-17 21:29:31
阅读次数：
279
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
