通过HBase client访问HBase时，配置如下：Configuration conf = HBaseConfiguration.create();// Zookeeper地址 conf.set(HConstants.ZOOKEEPER_QUORUM, "master.hadoop");//....
分类：
其他好文 时间：
2014-07-07 00:38:13
阅读次数：
250
所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据，并且这些数据与时间具有相关性，多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中，这类数据很多，例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时，有以下两种常用的方案：多行单列表...
分类：
其他好文 时间：
2014-07-06 21:25:23
阅读次数：
175
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,IT...
分类：
其他好文 时间：
2014-07-06 21:18:54
阅读次数：
176
根据java商城开发工作人员的介绍，Cassandra与HBase都是NoSQL数据库。而在jsp商城开发以及java商城产品开发的总体上看，这意味着用户无法使用SQL数据库。不过，Cassandra使用的是CQL（Cassandra 查询语言），其语法有明显模仿SQL的痕迹。
分类：
其他好文 时间：
2014-07-05 20:35:18
阅读次数：
187
自己编译hadoop：x64 1.安装依赖包 sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev openssh-server maven openssh-client 2...
分类：
其他好文 时间：
2014-07-05 17:11:43
阅读次数：
229
Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值之间使用空格隔开。有的命令没有选项，会有参数。选项是命令内置的功能，参数是用户提供的符合命令格式的内容。1.1.1. 命令提示符在桌面上点击鼠标右键，在弹出菜单中选择“Open in Terminal”...
分类：
系统相关 时间：
2014-07-05 11:18:23
阅读次数：
293
背景是设计一个实时数据接入的模块，负责接收客户端的实时数据写入（如日志流，点击流），数据支持直接下沉到HBase上（后续提供HBase上的查询），或先持久化到Kafka里，方便后续进行一些计算和处理，再下沉到文件系统或做别的输出。
在设计中，对于客户端和服务端有这么些目标。
客户端需要支持多语言（Java，C++），做得尽量轻量级，只要连上服务端的ip:port，以RPC的形式调用简单的write就可以把数据写出去。客户端不承担任何逻辑的处理，服务端的负载均衡对客户端是透明的。
服务端想要做的是一个去中心...
分类：
其他好文 时间：
2014-07-04 08:59:19
阅读次数：
552
在现在的“大数据”、“云平台”这些前沿技术的背景下，衍生了很多平台型技术点，Nosql、Hadoop、Storm等层出不穷。这些华丽的技术后面其实处处都离不开“分布式”这个虽然提出了很久，但是大数据、云计算带火了的技术。以致于开个玩笑说，如果不懂一些“分布式"下的技术和原理的，会有点不好意思说自己是后端开发 -- (玩笑而已!! ^_^)。...
分类：
其他好文 时间：
2014-07-04 08:44:53
阅读次数：
216
HBase Shell
HBase shell使用起来最方便，进入HBase shell控制台即可使用。
$ $HBASE_HOME/bin/hbase shell
常见操作有create(创建表)/put(插入或更新数据)/get(根据rowkey查询)/scan(范围查询)/delete(删除列)/deleteAll(根据rowkey删除整行数据)/disable&drop(禁用表之后再...
分类：
编程语言 时间：
2014-07-04 08:12:54
阅读次数：
383
之前一直用phpHiveAdmin，也一直在关注hue，最近打算调研一下hue，hue在最近两年发展很快,页面效果和功能上都有很大程度的提升，所支持的服务也越来越多，除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer，在本地使用SQLLite作..
分类：
其他好文 时间：
2014-07-04 06:16:59
阅读次数：
469
