如果感觉在虚拟机中打开火狐查看Hadoop状态有点拖拖拉拉，宿主机浏览器不失为一个好选择，但这时问题来了，因为方便的缘故，虚拟网络配置几乎全用的DHCP，要在宿主机访问虚拟机，就要在VirtualBox下配置静态IP，很...
分类：
其他好文 时间：
2014-07-29 16:16:39
阅读次数：
236
LZ4算法又称为RealtimeCompressionAlgorithm，在操作系统(linux/freeBSD)、文件系统(OpenZFS)、大数据(Hadoop)、搜索引擎(Lucene/solr)、数据库(Hbase)……都可以看到它的身影，可以说是一个非常通用的算法。LZ4最突出的地方在于它的压缩/解压速度。基础知识理解Lucene中LZ4算..
分类：
其他好文 时间：
2014-07-29 15:24:30
阅读次数：
483
所需环境：Hadoop相关jar包（下载官网发行版即可）；下载junit包（最新为好）；下载mockito包；下载mrunit包；下载powermock-mockito包；相关包截图如下：应用场景：在进行Hadoop的一般MR编程时，需要验证我们的业务逻辑，或者说是验证数据流的时候可以使用此环境，这个环境不要求真实的云平台，只是针对算法或者代码逻辑进行验证，方便调试代码。实例：Mapper：pac...
分类：
其他好文 时间：
2014-07-29 15:15:00
阅读次数：
373
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。
随着HBase在重要的商业系统中应用的大量增加，许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复（backup and disaster recovery, BDR）机制来保证它们的企业（数据）资产。HBase和Apache Hadoop系统提供了许多内置的机制，可以快速而轻松的完成PB级...
分类：
其他好文 时间：
2014-07-29 14:47:08
阅读次数：
301
Hadoop在分布式计算方面很强大，而Python在文本处理也是相当方便，那么有这两者的结合吗？有，答案就是Hadoop-Streaming。Hadoop-Streaming可以将Hadoop与主流语言结合起来，使用方便，效果很好。个人觉得Pig在处理数据集时很不方便，特别是在计算百分比等运算时，而Hadoop-Streaming是可以替代Pig的。
1.Streaming固定的代码，该代码可以...
分类：
其他好文 时间：
2014-07-29 14:39:08
阅读次数：
340
“War of the Hadoop SQL engines. And the winner is …?” 这是个很好的问题。不过，无论答案如何，我们都值得花一点时间了解一下 Spark SQL 这个 Spark 家族里面的成员。...
分类：
数据库 时间：
2014-07-29 14:35:08
阅读次数：
308
磁盘和分区 硬盘分区有主分区、扩展分区和逻辑分区之分。一块硬盘最多可以有4个主分区，其中一个主分区的位置可以用一个扩展分区来替换，且一个硬盘只能有一个扩展分区，在这个扩展分区内可以划分多个逻辑分区。磁盘设备名称如下：—系统的第一块IDE接口的硬盘称为/dev/hda以此类推。分区则使用数字编号表示....
分类：
系统相关 时间：
2014-07-29 13:54:28
阅读次数：
354
首先要推荐一下：http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程，强烈推荐先读一下。不过，上文没有写明一些实现的细节，比如：spill的过程，mapper生成文件的 partiti...
分类：
其他好文 时间：
2014-07-29 13:43:18
阅读次数：
298
cocos2d-x 3.0正式版最终公布了~ 等了好久~废话不多说,直接写方法.1.下载安装vc2012 ,我用的是旗舰版,传送门:点击打开链接2.下载cocos2d-x 3.0正式版,传送门:点击打开链接3.下载安装python,传送门:点击打开链接4.设置环境变量好后,打开cocos2d-x安装...
分类：
其他好文 时间：
2014-07-29 13:30:38
阅读次数：
253
Android环境搭建
befreedoma
20140729版
学习《Android软件安全与逆向分析》首先就是搭建Android开发环境，该书是2013年1月出版，到如今很多工具都已有了更新版本，安装上也有了区别，在此总结最新版本的安装流程并汇总下载地址，以便于快速搭建最新开发环境，供同事参考。
系统：Windows 7 x64...
分类：
移动开发 时间：
2014-07-29 13:12:57
阅读次数：
436
