这篇文章不提原理,讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?
官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
                            
                            
                                分类:
其他好文   时间:
2014-05-22 10:34:39   
                                阅读次数:
288
                             
                    
                        
                            
                            
                                1.更新,事务,索引,不支持,是全表扫描2.创建表的字段类型和java类型是对应的。不支持日期类型,提供转换为字符串类型的函数。3.查询语句中,不支持having,可写嵌套的select来解决;group 
by后只能是表的定义列名,不能像mysql那样可以为查询语句为逻辑处理结果声明的别名,但可为逻...
                            
                            
                                分类:
其他好文   时间:
2014-05-19 19:04:30   
                                阅读次数:
331
                             
                    
                        
                            
                            
                                前言1. 
创建表:(由master完成)首先需要获取master地址(master启动时会将地址告诉zookeeper)因而客户端首先会访问zookeeper获取master的地址client和master通信,然后有master来创建表(包括表的列簇,是否cache,设置存储的最大版本数,是否压缩...
                            
                            
                                分类:
编程语言   时间:
2014-05-19 14:23:43   
                                阅读次数:
392
                             
                    
                        
                            
                            
                                hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的...
                            
                            
                                分类:
其他好文   时间:
2014-05-19 08:33:35   
                                阅读次数:
349
                             
                    
                        
                            
                            
                                简单的创建表create table table_name ( id int, 
dtDontQuery string, name string)创建有分区的表create table table_name ( id ...
                            
                            
                                分类:
其他好文   时间:
2014-05-19 08:30:57   
                                阅读次数:
493
                             
                    
                        
                            
                            
                                1      
HIVE入门操作
1.1      
连接环境
登陆成功显示如下:
输入 quit;
可退出hive环境
 
1.2      
查看数据库
show databases;
 
1.3      
创建数据库
create database mng;
 
1.4      
链接数据库
use mng;
成功显示如下:...
                            
                            
                                分类:
其他好文   时间:
2014-05-18 18:44:37   
                                阅读次数:
311
                             
                    
                        
                            
                            
                                在讲完之后HFile和HLog之后,今天我想分享是Put在Region 
Server经历些了什么?相信前面看了《HTable探秘》的朋友都会有印象,没看过的建议回去先看看,Put是通过MultiServerCallable来提交的多个Put,好,我们就先去这个类吧,在call方法里面,我们找到了这句...
                            
                            
                                分类:
其他好文   时间:
2014-05-17 22:54:25   
                                阅读次数:
397
                             
                    
                        
                            
                            
                                Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。1、下载安装包到官方网站下载最新的安装包,这里以Hive-0.12.0为例:$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里,HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
                            
                            
                                分类:
其他好文   时间:
2014-05-16 02:36:44   
                                阅读次数:
369