经过前年的初次接触，现在已大约能理解整个体系啦。MAPREDUCE都改成YARN啦。不过，还得继续往前走，再能实用。。。HIVE,HBASE,ZOOKEEPER，，思路如下：安装系统，配置网络及计算机名配置SSH登陆安装及JAVA及配置JAVE_HOME，配置HADOOP基础，在WEB下查看端口及测...
分类：
其他好文 时间：
2015-01-22 19:42:28
阅读次数：
214
第一步:在hive元数据中的sds表找到字段增加后新分配的字段组ID(CD_ID，表的所有字段对应一个CD_ID字段值)，如:SELECT * FROM sds WHERE location LIKE '%table_name%'第二步:在SDS表中可以看到新分配的字段组值(CD_ID)、已有分区所...
分类：
其他好文 时间：
2015-01-22 17:28:09
阅读次数：
363
问题排查方式一般的错误，查看错误输出，按照关键字google异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志hadoop错误1.datanode无法正常启动添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下..
分类：
其他好文 时间：
2015-01-21 10:21:31
阅读次数：
451
参照：http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-0-0/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html#cmig_topic_5...
分类：
其他好文 时间：
2015-01-20 20:07:54
阅读次数：
250
Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。Hive中有3种UDF：UDF：操作单个数据行，产生单个数据行；UDAF：操作多个数据行，产生一个数据行。UDTF：操作一个数据行，产生多个数据行一个表作为输出。用户构建的UDF使用过程如下：第一步：继承UDF或者UDAF或者UDTF，实...
分类：
其他好文 时间：
2015-01-20 17:09:32
阅读次数：
192
问题导读：
1、使用Sqoop哪个工具实现多表导入？
2、满足多表导入的三个条件是？
3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？
一、介绍
有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。...
分类：
数据库 时间：
2015-01-20 15:52:47
阅读次数：
302
一、简介及部分重要参数介绍
Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中，还能够导入到HBase表中。
--hbase-table：通过指定--hbase-table参数值，指明将数据导入到HBase表中，而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。
--hbase-row-...
分类：
数据库 时间：
2015-01-20 12:08:54
阅读次数：
295
错误截图: 解决方法： 用root进入mysql终端，执行以下命令： alter database hive character set latin1;
分类：
数据库 时间：
2015-01-19 14:14:06
阅读次数：
689
6.1 SELECT ... FROM 语句hive> SELECT name,salary FROM employees; --普通查询hive>SELECT e.name, e.salary FROM employees e;--也支持别名查询当用户选择的列是集合数据类型时，Hive会使用 J....
分类：
其他好文 时间：
2015-01-18 22:39:51
阅读次数：
977
在hive的交互模式下，输入退格、方向键等，出现乱码，可以通过如下方法解决：1、修改bashrc文件：vi ~/.bashrc在文件最后添加一行：stty erase ^H。2、使修改生效：source ~/.bashrc这样，就不会乱码了。
分类：
其他好文 时间：
2015-01-18 22:37:42
阅读次数：
350
