1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
遇到的问题：当点击上面的logs时，会出现下面问题：这个解决方案为：By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类：
其他好文 时间：
2014-05-19 10:33:13
阅读次数：
369
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
简单的创建表create table table_name ( id int,
dtDontQuery string, name string)创建有分区的表create table table_name ( id ...
分类：
其他好文 时间：
2014-05-19 08:30:57
阅读次数：
493
UCloud云服务以大家所称道的高性能和高稳定性，走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的？如何使得SATA跑过SSD？持久化分布式内存存储机制是怎样的？如何实现云计算模式下的Hadoop多租户隔离？分布式虚拟交换机又.....
分类：
其他好文 时间：
2014-05-19 08:28:47
阅读次数：
338
链接：http://www.uml.org.cn/sjjm/201308264.asp高并发数据库可以同时处理海量信息，应用范围很广。今天我们将讨论的是大数据量高并发的数据库优化，希望对大家有所帮助。一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难...
分类：
数据库 时间：
2014-05-18 20:30:59
阅读次数：
519
本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认（嵌入式Derby模式）安装配置过程。1、下载安装包到官方网站下载最新的安装包，这里以Hive-0.12.0为例：$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里，HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类：
其他好文 时间：
2014-05-16 02:36:44
阅读次数：
369
