测试storm-starter里的TridentWordCount，测试storm-kafka模块，单独建立工程， 注意log4j-slf4j-impl-2.1引起的依赖冲突，之前运行报错都是因为在storm安装包的lib库里已经有这个jar包了， 编译topology的时候又有其他依赖于这个jar ...
分类：
其他好文 时间：
2017-04-12 23:38:20
阅读次数：
221
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。 HDFS是Google File System（GFS）的开源实现。 MapReduce是Google MapReduce的开源实现。 HDFS和MapRe ...
分类：
其他好文 时间：
2017-04-09 22:37:32
阅读次数：
320
清明刚过，该来学习点新的知识点了。 上次说到关于MapReduce对于文本中词频的统计使用WordCount。如果还有同学不熟悉的可以参考博文大数据系列之分布式计算批处理引擎MapReduce实践。 博文发表后很多同学私下反映对于MapReduce的处理原理没有了解到。在这篇博文中楼主与大家交流下M ...
分类：
编程语言 时间：
2017-04-07 17:29:39
阅读次数：
344
1.通过realy机器登录relay-shell 2.登录了跳板机之后，连接可以用的机器 3.在本地的idea生成好程序的jar包（word-count_2.11-1.0.jar）之后，把jar包和需要put到远程机器的hdfs文件系统中的文件通过scp命令从开发机传到远程的机器中 4.通过put命 ...
分类：
其他好文 时间：
2017-04-05 22:29:00
阅读次数：
242
1.去清华的镜像站点下载文件spark-2.1.0-bin-hadoop2.7.tgz，因为hadoop安装的是2.7.2的版本 2.把文件解压到/usr/local目录下，解压之后的效果，Hadoop和Spark都在Hadoop用户下 添加Hadoop用户和用户组 然后修改文件夹的用户，用户组以及 ...
分类：
其他好文 时间：
2017-04-03 16:07:58
阅读次数：
211
使用Hadoop版本0.x实现单词统计 查看结果： ...
MapReduce 应用举例:单词计数 WorldCount可以说是MapReduce中的helloworld了，下面来看看hadoop中的例子worldcount对其进行的处理过程，也能对mapreduce的执行过程有一个清晰的认识，特别是对于每一个阶段的函数执行所产生的键值对 单词 计数主要完成 ...
分类：
其他好文 时间：
2017-03-27 19:16:08
阅读次数：
310
1.在IDEA下新建工程,选择from Mevan GroupId:WordCount ArtifactId:com.hadoop.1st Project name:WordCount 2.pom.xml文件 3.main/java目录下新建WordCount.java文件 4.在src同级目录下新 ...
分类：
其他好文 时间：
2017-03-26 19:36:24
阅读次数：
161
4.0.0 wordcount wordcount 1.0 org.apache.hadoop hadoop-core 0.20.2 org.apache.hadoop ... ...
分类：
其他好文 时间：
2017-03-22 16:23:20
阅读次数：
189
关于MR的工作原理不做过多叙述，本文将对MapReduce的实例WordCount(单词计数程序)做实践，从而理解MapReduce的工作机制。 WordCount: 1.应用场景，在大量文件中存储了单词，单词之间用空格分隔 2.类似场景：搜索引擎中，统计最流行的N个搜索词，统计搜索词频率，帮助优化 ...
分类：
其他好文 时间：
2017-03-19 14:17:04
阅读次数：
328
