对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程...
分类：
其他好文 时间：
2014-07-22 22:45:54
阅读次数：
257
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
Hbase特征：
最近在学习Hbase，Hbase基于行健是建立了索引的，查询速度会非常快，完全实时。
但是Hbase要基于行健之外的字段进行查询，那么就只能是全盘扫描，基本上不可接受。
所以Hbase一般来说会针对具体的应用场景来设计行健，利用基于行健的查询的实时性来达到Hbase数据的实时查询。
关系型数据库基于索引字段的实时查询：
然后联想到关系型SQL数据库，他们针对主键是...
分类：
数据库 时间：
2014-07-22 00:07:33
阅读次数：
282
HBase是面向列的分布式的数据库，和传统的关系型数据库有很大的不同：物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念： 表：HBase将数据组织到自己的HTable表中，这个表是根据列族(colomn family)在物理上保存数据的，每个列族都有自己...
分类：
其他好文 时间：
2014-07-21 14:22:20
阅读次数：
1257
把CDH搭建起来了，跑其中的例子程序word-count。在控制台界面一直显示map 0% ?reduce 0% ， 通过web页面查看job的状态一直是run,但是map没有执行。感觉是是资源的分配有问题。接着查看了任务的日志。 2014-07-04...
分类：
其他好文 时间：
2014-07-21 10:27:54
阅读次数：
822
配置建议： 1. ????In MR1, the mapred.tasktracker.map.tasks.maximum and mapred.tasktracker.reduce.tasks.maximum properties dictated how many map and reduce slots each TaskTracker had. ????T...
分类：
其他好文 时间：
2014-07-21 10:14:00
阅读次数：
279
关于轮播动画一种比较简单的实现机制就是 图片首先float:left排列 祖父容器定宽 父容器无限宽 然后父容器left的值一直变化就可以实现动画效果了举例如下 ...
分类：
Web程序 时间：
2014-07-21 08:14:07
阅读次数：
251
2014年2月20日，Hadoop 2.3.0版本发布，这是apache 在2014年发布的第一个Hadoop版本，揭开了Hadoop 2014发展的序幕。该版本引入了很多大家期待已久的特性，包括HDFS 的异构层次化存储架构、DataNode Cache，YARN的单点故障解决方案，以及MapRe...
分类：
其他好文 时间：
2014-07-19 18:04:01
阅读次数：
239
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
最近在用WPF数据绑定重写一下播放器项目时遇到的关于Slider的问题，在窗体透明度调节和播放进度调节上用了Slider控件。调节窗体透明度我是 这么想的：将窗体的Opacity属性的值与Slider的值绑定不就可以了，Opacity="{Binding ElementName=Slider,Pat...
分类：
其他好文 时间：
2014-07-18 10:17:29
阅读次数：
333
