安装hadoop的步骤比较繁琐，但是并不难。 在CentOS上安装Hadoop2.7 1. 安装 CentOS，注：图形界面并无必要 2. 在CentOS里设置静态IP，手工编辑如下4个文件 /etc/hosts /etc/sysconfig/netwok /etc/hostname /etc/sy ...
分类：
其他好文 时间：
2017-07-07 00:47:14
阅读次数：
211
wc（wordcount）命令的功能为统计指定文件中的字节数、字数、行数,并将统计结果显示输出顯示！！用法：wc[OPTION]...[FILE]...-c统计字节数。-l统计行数。-w统计字数-m統計字符數-L选项，统计文件中最长的行的长度。例：[root@localhost~]#wc/etc/fstab1578779/etc/fstab[root@..
分类：
系统相关 时间：
2017-07-06 19:03:20
阅读次数：
240
wcLinux系统中的wc(WordCount)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc[选项]文件...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名..
分类：
其他好文 时间：
2017-07-06 18:53:48
阅读次数：
143
建立一个maven项目，在pom.xml中进行如下配置： 项目目录为： MySpout.java: MySplitBolt.java: MyCountBolt.java: WordCountTopoloyMain.java: ...
分类：
其他好文 时间：
2017-07-06 14:26:19
阅读次数：
153
本文将展示 1、如何使用spark-streaming接入TCP数据并进行过滤； 2、如何使用spark-streaming接入TCP数据并进行wordcount； 内容如下： 1、使用maven，先解决pom依赖 1、接收TCP数据并过滤，打印含有error的行 执行方法 2、接收Kafka数据并 ...
分类：
编程语言 时间：
2017-07-04 14:55:17
阅读次数：
658
统计文件信息： $ /opt/cdh-5.3.6/hadoop-2.5.0/bin/hdfs dfs -text /user/hadoop/wordcount/input/wc.input hadoop spark spark hadoop oracle mysql postgresql postg ...
分类：
其他好文 时间：
2017-07-04 14:48:57
阅读次数：
256
搭建完成Hadoop后，第一个demon,wordcount。此处参考：http://blog.csdn.net/wangjia55/article/details/53160679 wordcount是hadoop的入门经典. 1.在某个目录下新建若干文件，我在各个文件里都添加了一些英文文章段落： ...
分类：
其他好文 时间：
2017-07-03 13:51:24
阅读次数：
159
map-reduce入门 近期在改写mahout源代码，感觉自己map-reduce功力不够深厚，因此打算系统学习一下。 map-reduce事实上是一种编程范式，从统计词频（wordCount）程序来解说map-reduce的思想最easy理解。 给定一个文件，里面的内容例如以下，要求统计每一个单 ...
分类：
其他好文 时间：
2017-06-24 21:56:15
阅读次数：
128
import java.io.File; import java.io.IOException; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.util.Map; i ...
分类：
其他好文 时间：
2017-06-20 17:49:22
阅读次数：
187
Storm API文档网址如下： http://storm.apache.org/releases/current/javadocs/index.html 一、关联代码 使用maven，代码如下。 pom.xml 和Storm入门（三）HelloWorld示例相同 RandomSentenceSpo ...
分类：
其他好文 时间：
2017-06-15 23:43:14
阅读次数：
424
