1.sqoop的安装 1.1 与hadoop和hive的集成，修改/opt/cdh/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh 文件 1.2 验证安装是否成功 bin/sqoop version 查看sqoop版本 2.sqoop 基本操作 2.1 查看sqoop可 ...
分类：
其他好文 时间：
2016-09-10 13:02:24
阅读次数：
254
用于 hive thrift 访问 2. os.system("The command you want"). 这个调用相当直接，且是同步进行的，程序需要阻塞并等待返回。返回值是依赖于系统的，直接返回系统的调用返回值，所以windows和linux是不一样的 2. os.system("The co ...
分类：
其他好文 时间：
2016-09-09 12:08:28
阅读次数：
1286
1.hive中的四种排序 1.1 order by :对全局进行排序，只能有一个reduce select * from hive.employee order by id; 1.2 sort by :对每一个reduce内部数据进行排序，全局结果集没有排序 set mapreduce.job.re ...
分类：
其他好文 时间：
2016-09-08 21:36:08
阅读次数：
239
Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DAT ...
分类：
其他好文 时间：
2016-09-08 18:04:12
阅读次数：
114
Apache Ambari 2.4 发布了，Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控（腾云科技ty300.com）。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zooke ...
分类：
Web程序 时间：
2016-09-08 09:49:47
阅读次数：
220
一个用Java写的计算程序通过JDBC的方式连接Hive数据库，执行SQL查询语句查询数据。结果对应的MapReduce任务执行到Map 18% Reduce xx%之后，所有的进度输出都变为了Map 0% Reduce 0%，Job状态从Running跳到Accepted，并且阻塞无法正常执行 ...
分类：
其他好文 时间：
2016-09-07 18:55:41
阅读次数：
992
1.安装mysql数据库 1.1 查看本机是否安装了mysql数据库（rpm -qa | grep mysql） 1.2 删除系统自带的mysql数据库(rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64) 1.3 解压mysql.zip文件，并添加执行 ...
分类：
其他好文 时间：
2016-09-05 20:51:57
阅读次数：
122
排序存储数据至BUCKETS，这样可以顺序进行join ...
分类：
其他好文 时间：
2016-09-05 19:23:25
阅读次数：
172
1Hive简介1.1Hive定义Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。1.2为什么使用Hive1、面临的问题人员学习成本太高项目周期要求太短我只是需要一个简单的环境MapReduce如何搞定复..
分类：
其他好文 时间：
2016-09-02 23:47:25
阅读次数：
538
5Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：truehive.input.form..
分类：
其他好文 时间：
2016-09-02 23:46:17
阅读次数：
827
