Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为meta....
                            
                            
                                分类:
其他好文   时间:
2014-05-23 05:54:55   
                                阅读次数:
1771
                             
                    
                        
                            
                            
                                hadoop 
中对java的基本类型进行了writeable的封装,并且所有这些writeable都是继承自WritableComparable的,都是可比较的;并且,它们都有对应的get() 
和 set()方法,其中对整型(int 和 long)进行编码的时候,有固定长度格式(intWritabl...
                            
                            
                                分类:
其他好文   时间:
2014-05-23 03:10:15   
                                阅读次数:
207
                             
                    
                        
                            
                            
                                Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop 
Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考:http://bl...
                            
                            
                                分类:
系统相关   时间:
2014-05-23 02:44:30   
                                阅读次数:
354
                             
                    
                        
                            
                            
                                Hadoop 运行环境准备运行环境部署结构介绍Linux 
CentOS6.5安装(Hadoop环境配置)Linux 
常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse 
Plugin配置安装及验证H...
                            
                            
                                分类:
其他好文   时间:
2014-05-23 02:41:15   
                                阅读次数:
211
                             
                    
                        
                            
                            
                                在Mahout中出现错误:MAHOUT_LOCAL is not set;adding HADOOP_CONF_DIR to classpath
MAHOUT_LOCAL与HADOOP_CONF_DIR
以上的两个参数是控制Mahout是在本地运行还是在Hadoop上运行的关键。
$MAHOUT_HOME/bin/mahout文件指出,只要设置MAHOUT_LOCAL的值为一个非空(...
                            
                            
                                分类:
其他好文   时间:
2014-05-23 00:40:35   
                                阅读次数:
365
                             
                    
                        
                            
                            
                                如今Bigtable型(列族)数据库应用越来越广,功能也很强大。但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。
传统关系型数据库(mysql,oracle)数据存储方式主要如下:
图一
上图是个很典型的数据储存方式,我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引,达到二级索引...
                            
                            
                                分类:
数据库   时间:
2014-05-23 00:19:11   
                                阅读次数:
301
                             
                    
                        
                            
                            
                                简介
此文档描述了如何配置Hadoop HTTP web控制台,去要求用户认证。
默认地,Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不需要任何认证就允许访问。
与Hadoop RPC相似, Hadoop HTTP web控制台可以被配置为需要使用HTTP SPNEGO协议认证(由FireFo...
                            
                            
                                分类:
Web程序   时间:
2014-05-22 23:40:12   
                                阅读次数:
347
                             
                    
                        
                            
                            
                                通过MapReduce程序分析气象数据集,更好的了解计算过程。环境:Hadoop 1.2.1 
& Centos 6.5 
x641、气象数据集准备下载链接:ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大,可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS...
                            
                            
                                分类:
其他好文   时间:
2014-05-22 15:39:14   
                                阅读次数:
361
                             
                    
                        
                            
                            
                                Hadoop Studio 是一个 map-reduce 
结构的集成开发环境,基于NetBeans。你可以利用它来方便快速的创建基于Hadoop的 map-reduce 
应用。该工具提供了一个实时的map-reduce任务的工作流视图,可以显示任务之间独立的输入输出和交互,而且该视图在代码修改时会实...
                            
                            
                                分类:
其他好文   时间:
2014-05-22 15:06:10   
                                阅读次数:
302
                             
                    
                        
                            
                            
                                基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
 课程讲师:迪伦
 课程分类:Java
 适合人群:高级
 课时数量:96课时
 用到技术:MapReduce、HDFS、Map-Reduce、Hive、Sqoop
 涉及项目:Greenplum Hadoop大数据分析平台
 更新程度:完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
                            
                            
                                分类:
其他好文   时间:
2014-05-21 13:23:22   
                                阅读次数:
363