本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。
随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级...
分类：
其他好文 时间：
2014-07-29 14:47:08
阅读次数：
301
Hadoop在分布式计算方面很强大，而Python在文本处理也是相当方便，那么有这两者的结合吗？有，答案就是Hadoop-Streaming。Hadoop-Streaming可以将Hadoop与主流语言结合起来，使用方便，效果很好。个人觉得Pig在处理数据集时很不方便，特别是在计算百分比等运算时，而Hadoop-Streaming是可以替代Pig的。
1.Streaming固定的代码，该代码可以...
分类：
其他好文 时间：
2014-07-29 14:39:08
阅读次数：
340
“War of the Hadoop SQL engines. And the winner is …?” 这是个很好的问题。不过，无论答案如何，我们都值得花一点时间了解一下 Spark SQL 这个 Spark 家族里面的成员。...
分类：
数据库 时间：
2014-07-29 14:35:08
阅读次数：
308
随着企业云技术的发展，云计算已经成为了大多数企业员工茶余饭后的谈资。 何为云计算？对云计算的定义有多种说法。对于到底什么是云计算，至少可以找到100种解释。 目前广为接受的是美国国家标准与技术研究院(NIST)定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，...
分类：
其他好文 时间：
2014-07-29 13:56:08
阅读次数：
193
摘要 : 百度将用互联网的方式来做开放的大数据引擎。它不可能采取与软件方案公司一样的“一竿子买卖”方式进行合作。而是将大数据引擎做成一个开放平台，形成标准的接口，让每个行业不同企业可以根据自身需求各取所需。而它的首要目的是获取数据，然后是考虑变现。百度在大数据领域迈出一大步。在昨天的百度技术开放日上...
分类：
其他好文 时间：
2014-07-29 13:55:48
阅读次数：
402
摘要 : 为什么Zara毛利率比LV高？当百度“大数据引擎”等互联网巨头向社会开放大数据基础设施,敢用、会用，就能创造更多商业奇迹和民生福利。大数据，是不是“大忽悠”？当Zara这家零售企业将大数据运用于创新经营时，它创造了比奢侈品巨头LV税前毛利率更高的奇迹！要知道，Zara平均服饰价格只有LV的...
分类：
其他好文 时间：
2014-07-29 13:51:58
阅读次数：
251
摘要 : 随着信息革命的深入，大数据时代的预测更加容易，人类的生活正在被大数据预测深刻改变。附言：广告行业应归于人体行为。世 界杯期间各家科技巨头利用大数据预测比赛结果，再现“章鱼保罗”雄风。世界杯结束了但大数据预测还会继续。从夜观天象到气象预报，从童话里的水晶球到今日 的科技预言家，从地震云的传说...
分类：
其他好文 时间：
2014-07-29 13:45:38
阅读次数：
270
首先要推荐一下：http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程，强烈推荐先读一下。不过，上文没有写明一些实现的细节，比如：spill的过程，mapper生成文件的 partiti...
分类：
其他好文 时间：
2014-07-29 13:43:18
阅读次数：
298
1.使用pipeline进行批量导入数据
class Redis_Handler(Handler):
def connect(self):
#print self.host,self.port,self.table
self.conn = Connection(self.host,self.port,self.table)
def execute(self, acti...
分类：
编程语言 时间：
2014-07-29 13:06:56
阅读次数：
394
本章内容提要
● 理解企业级应用的安全顾虑
● 理解Hadoop尚未为企业级应用提供的安全机制
● 考察用于构建企业级安全解决方案的方法
第10章讨论了Hadoop安全性以及Hadoop中用于提供安全控制的机制。当构建企业级安全解决方案(它可能会围绕着与Hadoop数据集交互的许多应用程序和企业级服务)时，保证Hadoop自身的安全仅仅是安全解决方案的...
分类：
其他好文 时间：
2014-07-29 13:04:37
阅读次数：
488
