How many ZooKeepers should I run?You can run a ZooKeeper ensemble that comprises 1 node only but in production it is recommended that you run a ZooKeeper ensemble of 3, 5 or 7 machines; the more member...
分类:
其他好文 时间:
2015-05-18 09:03:03
阅读次数:
126
?Hbase? 一种高可靠,面向列,可伸缩,事实读写的分布式数据库。利用HDFS作为其文件存储系统。MapReduce处理数据。Zookeeper分布式协同服务。数据结构Row Key:行健。(唯一标识)唯一检索条件Time Stamp :时间撮。(版本标识)Column:列族。 (建表时确定)Ro...
分类:
其他好文 时间:
2015-05-17 13:36:16
阅读次数:
265
一)、什么情况下使用Hbase1)传统数据库无法承载高速插入、大量读取。2)Hbase适合海量,但同时也是简单的操作。3)成熟的数据分析主题,查询模式确立不轻易改变。二)、现实场景1、电商浏览历史问题:传统数据库数据量很大,事情会变得复杂。Orderby消耗很多性能。大量发生又无法分布式处理,顾客需...
分类:
其他好文 时间:
2015-05-17 13:27:14
阅读次数:
321
启动Hbase:./start-hbase.sh进入Hbase shell控制台:./hbase shell查看所有表 list查看数据库状态:status查看数据库版本:version建表 create 'tablename ' , 'cf1' , 'cf2' , 'cf3'查看表结构: desc...
分类:
其他好文 时间:
2015-05-17 10:35:47
阅读次数:
258
ods平台的一个很简单的数据共享需求:运营商的某个部门每天定时送gz格式的HLR文本数据到FTP服务器的固定目录下。然后ods每天定时去取然后录入到RDBMS的表中 看,开放给其他系统查询调用,这种称作数据库表接口。...
分类:
其他好文 时间:
2015-05-16 21:54:30
阅读次数:
275
1,Kettle跨平台使用。 例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下: 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行tra...
分类:
Web程序 时间:
2015-05-16 18:10:54
阅读次数:
204
实现远程访问HBase,可以通过Eclipse开发工具方便进行代码调试。为了方便jar包各种版本的管理,才用maven进行代码构建首先,下载并安装maven以及M2Eclipse插件其次,配置maven的pom.xml文件,加入如下依赖 org.apache.hbase hbase-cl...
分类:
系统相关 时间:
2015-05-16 11:44:37
阅读次数:
257
http://www.infoq.com/cn/articles/hbase-second-index-engine原理“二级多列索引”是针对目标记录的某个或某些列建立的“键-值”数据,以列的值为键,以记录的RowKey为值,当以这些列为条件进行查询时,引擎可以通过检索相应的“键-值”数据快速找到目...
分类:
其他好文 时间:
2015-05-15 17:17:51
阅读次数:
188
测试时发现理解这些参数都代表什么意义非常的重要,而且通过参数调优可以提高性能,希望仔细阅读一下每个属性代表的意义!感谢原作者的整理,转来仅做学习笔记使用hbase.rootdirfile:///tmp/hbase-${user.name}/hbaseThedirectorysharedbyregio...
分类:
其他好文 时间:
2015-05-15 10:33:21
阅读次数:
202