首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后,解压,首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类:
Web程序 时间:
2015-01-20 18:05:28
阅读次数:
210
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类:
其他好文 时间:
2015-01-20 17:01:44
阅读次数:
170
一、简介及部分重要参数介绍
Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中,还能够导入到HBase表中。
--hbase-table:通过指定--hbase-table参数值,指明将数据导入到HBase表中,而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。
--hbase-row-...
分类:
数据库 时间:
2015-01-20 12:08:54
阅读次数:
295
集群如下:HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1...
分类:
其他好文 时间:
2015-01-20 00:54:29
阅读次数:
250
1.编辑conf/hbase-env.sh来告知HBasejava的安装路径.在这个文件里你还可以设置HBase的运行环境,诸如 heapsize和其他JVM有关的选项, 还有Log文件地址,等等. 设置JAVA_HOME指向java安装的路径.2.运 行HBase需要设置hbase.rootdir...
分类:
其他好文 时间:
2015-01-19 20:38:47
阅读次数:
196
1书面作业1:数据即日志... 31.1 书面作业1内容... 31.2 回答... 32书面作业2:HBase合并过程... 32.1 书面作业2内容... 32.2 回答... 43书面作业3:HBase一致性... 43.1 书面作业3内容... 43.2 回答... 41书面作业1:数据即日...
分类:
其他好文 时间:
2015-01-19 10:38:09
阅读次数:
153
本文引自:http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-analyze-twitter-sentiment/
分类:
其他好文 时间:
2015-01-19 09:05:33
阅读次数:
321
看了之前的教程,会发现多处出现zookeeper,比如hadoop的 auto failover 得用 zookeeper ,Hbase 的 RegionServer 也得用zookeeper。其实不止hadoop,包括现在小有名气的 Storm 用的也是zookeeper。那么zookeeper 究竟是做什么用的?...
分类:
其他好文 时间:
2015-01-18 19:46:27
阅读次数:
259