UCloud云服务以大家所称道的高性能和高稳定性,走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的?如何使得SATA跑过SSD?持久化分布式内存存储机制是怎样的?如何实现云计算模式下的Hadoop多租户隔离?分布式虚拟交换机又.....
                            
                            
                                分类:
其他好文   时间:
2014-05-19 08:28:47   
                                阅读次数:
338
                             
                    
                        
                            
                            
                                Hadoop有两个大版本0.20.x,1.x通常为hadoop 
1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 
2版本,在开发模型上类似1,都...
                            
                            
                                分类:
其他好文   时间:
2014-05-18 19:24:17   
                                阅读次数:
291
                             
                    
                        
                            
                            
                                hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
                            
                            
                                分类:
其他好文   时间:
2014-05-18 15:12:21   
                                阅读次数:
380
                             
                    
                        
                            
                            
                                本篇介绍为了保证Hadoop集群平稳地运行,需要深入掌握的知识,以及一些管理监控的手段,日常维护的工作。...
                            
                            
                                分类:
其他好文   时间:
2014-05-18 05:32:10   
                                阅读次数:
546
                             
                    
                        
                            
                            
                                概览
这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。
This guide describes the native hadoop library and includes a small discussion about native shared libraries.
注意: 根据你的环境,词组 "native l...
                            
                            
                                分类:
其他好文   时间:
2014-05-18 03:21:01   
                                阅读次数:
458
                             
                    
                        
                            
                            
                                PrerequisiteHadoop 2.2 has been installed (and 
the below installation steps should be applied on each of Hadoop node)Step 1. 
Install R (by yum)[hadoop...
                            
                            
                                分类:
系统相关   时间:
2014-05-17 21:51:24   
                                阅读次数:
671
                             
                    
                        
                            
                            
                                NameNode有这么几个配置:PropertyDescriptionSuggested 
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s 
metadata/home/hadoop/dfs/namedf...
                            
                            
                                分类:
其他好文   时间:
2014-05-17 18:56:09   
                                阅读次数:
367
                             
                    
                        
                            
                            
                                1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 
上传的文件存放在DataNode的block中,通过linux 
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
                            
                            
                                分类:
编程语言   时间:
2014-05-17 18:38:16   
                                阅读次数:
364