Hive的数据类型 Hive的数据类型前面说过,Hive是一个数据仓库,相当于一个数据库。既然是数据库,那么就必须能创建表,既然有表,那么当中就有列,列中就有对应的类型总的来讲,hive的数据类型可以分为三类:基本...
分类:
其他好文 时间:
2015-12-08 14:37:37
阅读次数:
177
Hive的管理(一) Hive的管理(一)Hive的启动方式CLI(命令行)方式Web界面方式远程服务启动方式CLI方式1. 进入命令行方式直接输入/bin/hive的执行程序或者输入hive --service ...
分类:
其他好文 时间:
2015-12-08 14:34:37
阅读次数:
225
Hive的管理(三) Hive的管理(三)Hive的远程服务远程服务启动方式端口号10000启动方式:hive --service hiveserver(注意:以JDBC或ODBC的程序登录到hive中操作数据时,...
分类:
其他好文 时间:
2015-12-08 14:20:45
阅读次数:
189
Hive入门(二) Hive入门(二)Hive的体系结构○ Hive的元数据Hive将元数据存储在数据库中(metastore),支持mysql、derby、oracle等数据库,Hive默认是derby数据库Hi...
分类:
其他好文 时间:
2015-12-07 15:57:47
阅读次数:
168
MapReduce的应用案例(利用MapReduce进行排序) MapReduce的应用案例(利用MapReduce进行排序)思路: Reduce之后直接进行结果合并具体样例:程序名:Sort.javaimport...
分类:
编程语言 时间:
2015-12-06 20:42:38
阅读次数:
218
MapReduce的运行流程 MapReduce的运行流程基本概念:Job&Task:要完成一个作业(Job),就要分成很多个Task,Task又分为MapTask和ReduceTaskJobTrackerTask...
分类:
其他好文 时间:
2015-12-06 14:34:40
阅读次数:
309
MapReduce原理 MapReduce原理简单来说就是,一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。例子: 100GB的网站访问日志文件,找出访问次数最多的IP地址
分类:
其他好文 时间:
2015-12-06 14:28:17
阅读次数:
120
1.HDFS设计基础与目标 1.HDFS设计基础与目标(1)硬件错误是常态,因此需要冗余。 (2)流式数据访问。即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理。 (3)大规模数据集 (4)...
分类:
其他好文 时间:
2015-11-13 22:13:28
阅读次数:
309
一、hadop的项目Common:一系列组件和接品口,用于分布式文件系统和通用I/O(序列化,JavaRPC和持久化数据结构)Avro:一种序列化系统,用于支技高效,跨语言的RPC和持久化的数据存储MapRedue:分布式数据处理模型和执行环境,运行于大型商用机集群HDFS:分布式文件系统,运行..
分类:
其他好文 时间:
2015-11-07 19:08:48
阅读次数:
220