Spark已正式申请加入Apache孵化器,从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名,展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻:Spark 0.6核心代码有2万行,Hadoop 1.0为9万行,...
分类:
其他好文 时间:
2014-06-23 07:25:53
阅读次数:
418
鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦,也可以用这种办法从一个节点通过ssh进入另一个节点。。。设要使master进入slave是免密码的,则可以在master(ip为192.168.169.9)中如下操作:命令:ssh-keygen -t rsa 然后一路回车(该命令...
分类:
其他好文 时间:
2014-06-22 23:31:51
阅读次数:
332
最近在学Hadoop,的确是个好东西,内部原理的确很难理解,不过用起来还是比较方便的因为刚接触,一些指令还是写记下hadoop fs -rmr 每次运行前都要删除输出目录hadoop jar target/Test-1.0-SNAPSHOT.jar javaPath运行hadoop程序hadoop ...
分类:
其他好文 时间:
2014-06-22 23:10:26
阅读次数:
237
android 最新 NDK r8 在window下开发环境搭建 安装配置与使用 详细图文讲解,完整实际配置过程记录(原创)
一直想搞NDK开发却一直给其他事情耽搁了,参考了些网上的资料今天终于把环境搭建起来了,把过程记录下来分享给大家。
内容目录:
1.默认基础环境
2.NDK下载与配置
3.安装Cygwin
4.用NDK编译
5.安装CDT插件...
分类:
移动开发 时间:
2014-06-22 20:43:28
阅读次数:
431
extjs_01_开发环境搭建,hello word...
分类:
Web程序 时间:
2014-06-22 20:15:53
阅读次数:
231
摘要:MapReduce程序进行单词计数。
关键词:MapReduce程序 单词计数...
分类:
其他好文 时间:
2014-06-22 19:59:49
阅读次数:
177
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类:
其他好文 时间:
2014-06-22 14:07:49
阅读次数:
256
cocos2d-x-3.1环境搭建和创建工程,完全菜鸟教程,有图有真相。...
分类:
其他好文 时间:
2014-06-21 23:01:22
阅读次数:
249
摘要:MapReduce程序进行数据去重。
关键词:MapReduce 数据去重...
分类:
其他好文 时间:
2014-06-21 22:35:28
阅读次数:
237
Windows系统,请确保你的Windows系统包含源码编译工具。Node.js的源码主要由C++代码和JavaScript代码构成,但是却用gyp工具来做源码的项目管理,该工具采用Python语言写成的。在Windows平台上,Node.js采用gyp来生成Visual Studio Solution文件,最终通过VC++的编译器将其编译为二进制文件。所以,在安装之前请确保你的Windows系统满足以下两个条件:...
分类:
其他好文 时间:
2014-06-21 21:17:45
阅读次数:
297