因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionSer...
分类:
其他好文 时间:
2014-08-23 15:14:51
阅读次数:
191
重启HBase后,进入hbase shell 进行 scan 、get 、create等操作均报错:ERROR: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionEx...
分类:
其他好文 时间:
2014-08-23 15:10:00
阅读次数:
249
1、如果你装了带有zookeeper的Hbase版本,先把hbase-env.sh export HBASE_MANAGES_ZK=false 设置为false 见下图
2、下载安装zookeeper(地址:http://www.apache.org/dyn/closer.cgi/zookeeper/)
3、解压包到指定的目录(例如:/usr/zookeeper)tar X...
分类:
其他好文 时间:
2014-08-22 16:20:59
阅读次数:
250
在一个项目里用到HBase做底层存储,使用maven来管理相关Jar包依赖,用maven来管理依赖包,特别不爽的就是他会将你引入Jar包自己的依赖都搞进来,经常会出现一些类和方法冲突找不到等状况。这次,也被这个搞了一阵子。我依赖了HBase jar之后,tomcat启动后,访问Web页面(使用JSP...
分类:
其他好文 时间:
2014-08-22 12:21:16
阅读次数:
204
HBase和Solr可以通过协处理器Coprocessor的方式向Solr发出请求,Solr对于接收到的数据可以做相关的同步:增、删、改索引的操作,这样就可以同时使用HBase存储量大和Solr检索性能高的优点了,更何况HBase和Solr都可以集群。这对海量数据存储、检索提供了一种方式,将存储与索...
分类:
其他好文 时间:
2014-08-21 21:05:04
阅读次数:
295
Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉,转换成本低,类似作用的Pig就...
分类:
其他好文 时间:
2014-08-21 19:27:44
阅读次数:
148
HBase分布式集群环境搭建成功后,连续4、5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境: 1,集群的环境配置请见这篇博文。 2,...
分类:
其他好文 时间:
2014-08-21 16:26:54
阅读次数:
366
本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得,绝不是详细的安装过程,因本人不过一初学者,很多方面不甚了了,如果能让不幸读到的人有所得则不胜欣喜,否则大家一笑置之即可。通过tarball形式安装HBASE Cluster(CDH5......
分类:
其他好文 时间:
2014-08-21 09:41:03
阅读次数:
187
最近在写一个关于用HTTP控制storm的的UI功能,已经实现完成,采用在nginx里面加入对应的模块调用来实现,模块中调用一个动态加载的SO,这个SO用THRIFT和zookeeper client实现对storm的控制和信息的存储固化。开始我使用了std::string来做字符串处理。后来发现string实在太多未知的对象构建和内存分配,加上我想把so改用纯C的实现。std::string自然...
分类:
其他好文 时间:
2014-08-18 14:32:03
阅读次数:
209
目录: 一、什么是Thrift? 1) Thrift内部框架一瞥 2) 支持的数据传输格式、数据传输方式和服务模型 3) Thrift IDL 二、Thrift的官方网站在哪里? 三、在哪里下载?需要哪些组件的支持? 四、如何安装? 五、Golang、Java、Pytho...
分类:
编程语言 时间:
2014-08-17 22:44:13
阅读次数:
407