最近发生了一次因为hdfs的坏块导致的hive计算问题，因此写了个监控脚本用来监控hdfs的坏块，脚本如下：#!/usr/bin/python
#-*-coding:utf8-*-
#editbyericni
#20140724
#monitorhdfscorrupt
importsys
importproperty
importsendmail
importre,os
reload(sys)
sys.setdefaulten..
分类：
其他好文 时间：
2014-07-31 03:11:06
阅读次数：
350
order by,distribute by,sort by,cluster by ?查询使用说明 // 根据年份和气温对气象数据进行排序，以确保所有具有相同年份的行最终都在一个reducer分区中
// 一个reduce(海量数据,速度很慢)
select year, te...
分类：
其他好文 时间：
2014-07-30 21:00:44
阅读次数：
198
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类：
其他好文 时间：
2014-07-30 09:59:03
阅读次数：
358
一、问题 hive如何将 a?????? b?????? 1 a?????? b?????? 2 a?????? b?????? 3 c?????? d?????? 4 c?????? d?????? 5 c?????? d??????...
分类：
其他好文 时间：
2014-07-29 22:13:52
阅读次数：
542
1.unix时间戳转时间函数
语法: from_unixtime(bigint unixtime[, string format])
返回值: string
说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
举例：
hive> select from_unixtime(1323308943,‘yyyyMMdd’) from...
分类：
其他好文 时间：
2014-07-29 17:56:42
阅读次数：
434
前言hive是构建在Hadoop上的数据仓库平台，其设计目标是:使Hadoop上的数据操作与传统的SQL结合，让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分，Facebook在2008年将其共献给Apache，现在Hive是Hadoop家族...
分类：
其他好文 时间：
2014-07-29 17:22:12
阅读次数：
282
本文部分来源：http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration创建 表：hbase_hive_1REATE TABLE....
分类：
其他好文 时间：
2014-07-29 16:51:32
阅读次数：
285
Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。...
分类：
数据库 时间：
2014-07-29 13:10:36
阅读次数：
328
直接代码吧：记得要开启hive jdbc服务hive --service hiveserverpackage hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import ...
分类：
数据库 时间：
2014-07-28 15:08:33
阅读次数：
283
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解...
分类：
其他好文 时间：
2014-07-28 15:06:33
阅读次数：
210
