下面介绍如何在Windows8.1上搭建hadoop2.7.2的本地模式开发环境，为后期做mapreduce的开发做准备。在搭建开发环境之前，首先选择开发工具，就是大家都很熟悉的Eclipse（本人这次使用的是eclipse4.4.2版本），Eclipse提供了hadoop的插件，我们通过这个插件，就可以在eclipse中编..
rsync+inotify配置下载rsync源码：http://rsync.samba.org安装rsync#tarzxvfrsync-3.1.2.tar.gz
#cdrsync-3.1.2
#./configure
#make&&makeinstallrsync有四种应用模式shell模式(本地模式)远程shell模式（利用ssh）查询模式（列表模式）服务器模式#rsyncSRCDST例：本地..
分类：
其他好文 时间：
2016-09-13 22:45:46
阅读次数：
209
Rsync的三种工作模式：1.本地模式Local:rsync[OPTION...]SRC...[DEST]2.远程shell访问模式Accessviaremoteshell:Pull:rsync[OPTION...][USER@]HOST:SRC...[DEST]Push:rsync[OPTION...]SRC...[USER@]HOST:DEST3.守护进程daemon模式/端口：873Accessviarsyncdaemon:Pull:rsync[OP..
分类：
其他好文 时间：
2016-07-15 17:28:24
阅读次数：
184
利用rsync+inotify实现数据同步一.rsync概念：rsync是Linux系统下文件同步可数据传输的工具，采用rsync算法使客户机与服务器，主服务器与备份服务器数据同步。rsync也能实现中断后恢复传输。rsync支持增量备份。二.rsync的模式：1.本地模式。2.远程shell模式3.查询模式4.C/S模..
分类：
其他好文 时间：
2016-07-08 21:57:13
阅读次数：
183
本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。
（一）Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系.
Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义
伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪...
分类：
编程语言 时间：
2016-06-16 14:41:00
阅读次数：
370
今天突然来了兴致，准备玩玩nodeJS，安装nodeJS的时候没有任何问题，一路next就完成了。 node -v 没问题 可以检测到版本号，node环境ok~ 本地模式安装express框架：npm install express 检测express是否安装成功：express -V 窗口打印出： ...
分类：
其他好文 时间：
2016-06-12 13:50:24
阅读次数：
132
spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。
Wordcount
UserMining
TweetMining
HashtagMining
InvertedIndex
代码以及测试数据下载
数据以及测试代码的获取请点击 —— [ 这里 ]
WordCount代码块import java.io.Serializable;import java.util.Arrays...
分类：
其他好文 时间：
2016-05-13 03:26:25
阅读次数：
323
Storm集群安装详解 Storm集群安装详解 storm有两种操作模式: 本地模式和远程模式。 本地模式：你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 远端模式：你提交的topology会在一个集群的机器上执行。 本文以Twitter Storm官方Wik ...
分类：
其他好文 时间：
2016-04-30 12:59:10
阅读次数：
311
0.前言hadoop总共有三种运行方式。本地模式（Local (Standalone) Mode），伪分布式（Pseudo-Distributed Mode），分布式（Fully-Distributed Mode）。后面足一讲解搭建本地以及伪分布式，分布式读者自行搭建。
参考资料（官网为主，网络资料为铺）：
http://hadoop.apache.org/docs/r2.6.4/hadoop-...
分类：
其他好文 时间：
2016-04-17 22:44:17
阅读次数：
138
spark编程练习 申明：以下代码仅作学习参考使用，勿使用在商业用途。 Wordcount UserMining TweetMining HashtagMining InvertedIndex Test Test代码 两个Utils方法 1.解析json的代码 2.实体类 reduced-tweet ...
分类：
其他好文 时间：
2016-04-16 21:28:01
阅读次数：
227
