Hbase的基本体系结构的理解首先hbase是hadoop的一个组件.而hadoop内部有很多的组件，这些组件几乎都依赖于hadoop最核心的两个东西建立起来的,一个是hdfs文件系统，另一个是mapreduce。当然hbase也不例外。hbase其实就是一个非关系型的数据库系统，可以将他和关系型数据库mysql..
分类：
其他好文 时间：
2015-02-11 11:04:18
阅读次数：
203
这里就简单贴个配置吧，有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类：
Web程序 时间：
2015-02-11 10:58:51
阅读次数：
212
This is the default mode. Standalone mode is what is described in thequickstartsection. In standalone mode, HBase does not use HDFS?—?it uses the loca...
分类：
其他好文 时间：
2015-02-11 00:27:05
阅读次数：
147
HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛，但是很实用。...
分类：
Web程序 时间：
2015-02-10 13:30:15
阅读次数：
262
安装与使用Cloudera ImpalaCloudera Impala提供快速的、交互式的SQL查询方式，直接基于Apache Hadoop存储在HDFS或HBase中的数据进行查询。除了使用与Apache Hive相同的统一存储平台外，Impala也使用了与Hive相同的元数据、SQL语法（Hiv...
分类：
其他好文 时间：
2015-02-10 13:06:32
阅读次数：
192
本教程介绍Pig的安装和使用。hdfs虽说是一个文件空间，但是我们每次要查看hdfs上的文件的时候都要输入一大串命令，比如一个简单的ls都需要输入 ： hdfs dfs -ls / ，而且还不能cd到某个目录，这样就造成了每次ls都要带上全路径的麻烦，能不能有一个工具可以模拟linux下的shell呢？Pig就实现了这样的需求，可以直接ls，可以cd到某个目录。并且Pig还创造了 Pig Latin语言，可以通过Pig写一个类似存储过程的MapReduce的Job，pig会自动帮你把这个job翻译成MapR...
分类：
其他好文 时间：
2015-02-09 20:21:09
阅读次数：
172
本教程介绍Impala的安装，使用和JDBC调用。为什么用 Impala？ 因为Hive 太慢了！Impala 也可以执行SQL，但是比Hive的速度快很多。为什么Impala可以比Hive快呢？因为Hive采用的是把你的sql转化成hadoop 的 MapReduce任务的代码，然后编译，打包成jar包，并分发到各个server上执行，这是一个相当慢的过程。而Impala根本就不用Hadoop的MapReduce机制，直接调用HDFS的API获取文件，在自己的内存中进行计算。...
分类：
其他好文 时间：
2015-02-09 20:20:39
阅读次数：
395
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题...
分类：
其他好文 时间：
2015-02-09 18:08:59
阅读次数：
123
order_created.txt 订单编号 订单创建时间10703007267488 2014-05-01 06:01:12.334+0110101043505096 2014-05-01 07:28:12.342+0110103043509747 2014-05-01 07:50:12....
分类：
数据库 时间：
2015-02-09 15:55:23
阅读次数：
225
线上job报错：Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:java.io.FileNotFoundException:/home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/S..
分类：
其他好文 时间：
2015-02-07 19:07:34
阅读次数：
234
