1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
遇到的问题：当点击上面的logs时，会出现下面问题：这个解决方案为：By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类：
其他好文 时间：
2014-05-19 10:33:13
阅读次数：
369
UCloud云服务以大家所称道的高性能和高稳定性，走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的？如何使得SATA跑过SSD？持久化分布式内存存储机制是怎样的？如何实现云计算模式下的Hadoop多租户隔离？分布式虚拟交换机又.....
分类：
其他好文 时间：
2014-05-19 08:28:47
阅读次数：
338
链接：http://www.uml.org.cn/sjjm/201308264.asp高并发数据库可以同时处理海量信息，应用范围很广。今天我们将讨论的是大数据量高并发的数据库优化，希望对大家有所帮助。一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难...
分类：
数据库 时间：
2014-05-18 20:30:59
阅读次数：
519
Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本，运行环境依赖JobTracker和TaskTracker，运行资源通过作业表示模型MapTask和ReduceTask来组成；运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本，在开发模型上类似1，都...
分类：
其他好文 时间：
2014-05-18 19:24:17
阅读次数：
291
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
0x00 前言
从几年前第一次听说云计算来，到现在云计算、云服务已经充斥着我们的网络生活，比如百度的网盘、阿里巴巴的云主机，各大公司都将这个炒得很热的概念拿来吸引用户的眼球。今天花点时间对云计算做一个初步的了解，对自己做一个扫盲处理。 0x01
什么是云计算 NIST信息技术实验室2009年...
分类：
其他好文 时间：
2014-05-17 21:38:07
阅读次数：
271
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
0x01 前言
对云计算服务的采用正在迅猛增长的原因之一是云计算架构强化了在孤立产品上实现服务共享的优势，使用共享服务有助于组织聚焦于它的主要业务驱动力上，使得IT部门能缩小可用的计算性能与系统所需性能之间的差距。
本文的内容分布为：0x01 云计算交付模型 0x02 云计算部署模型 0x0...
分类：
其他好文 时间：
2014-05-17 18:18:20
阅读次数：
318
