cdh的mr样例算法的jar包在 查看该目录下的文件 可以用hadoop-examples.jar里面的wordcount做测试 可以看到里面都有些上面可以使用的类 这里我直接取wordcount类来做测试，首先上传文件到hdfs准备好计算 开始计算 检查结果 ...
分类：
其他好文 时间：
2018-06-21 11:26:54
阅读次数：
753
Hadoop伪分布模式配置部署 一、实验介绍 Hadoop伪分布模式配置部署 一、实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程，验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的格式化 测试WordCount程序 1.3 实验环境 ...
分类：
其他好文 时间：
2018-06-20 00:09:35
阅读次数：
244
Hadoop单机模式安装 一、实验介绍 Hadoop单机模式安装 一、实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试WordCount程序 1.3 实验环境 hadoop2.7.6 ...
分类：
其他好文 时间：
2018-06-19 23:26:20
阅读次数：
420
1. MapReduce使用 MapReduce是Hadoop中的分布式运算编程框架，只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现 一个强大的海量数据并发处理程序 2. 运行Hadoop自带的MapReduce程序（word count单词统计功能） 1.在HDFS中创建层级目录，并且上 ...
分类：
其他好文 时间：
2018-06-16 11:56:36
阅读次数：
154
spark 例子wordcount topk 例子描述： 【单词计算wordcount 】 【词频排序topk】 单词计算在代码方便很简单，基本大体就三个步骤 拆分字符串 以需要进行记数的单位为K，自己拼个数字1为V，组成一个映射或者元组 分组（groupByKey） 词频排序 将分组后的数据进行排 ...
分类：
其他好文 时间：
2018-06-14 11:26:14
阅读次数：
193
一：简介 最近学习hadoop本地运行模式，在运行期间遇到一些问题，记录下来备用；以运行hadoop下wordcount为例子。 hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置，第一个参数用来设置mr程序要在yarn集群中执行，第二个参数设置yarn集群的主节点地址。 hadoo ...
分类：
其他好文 时间：
2018-06-10 11:53:25
阅读次数：
206
在hadoop上用Python实现WordCount 一、简单说明 本例中我们用Python写一个简单的运行在Hadoop上的MapReduce程序，即WordCount（读取文本文件并统计单词的词频）。这里我们将要输入的单词文本input.txt和Python脚本放到/home/data/pyth ...
分类：
编程语言 时间：
2018-06-09 14:36:55
阅读次数：
493
GitHub：https://github.com/bit1120161907/WordCount 我们选择的是wordcount这一题。实现起来也不是太难。 首先输入，这个比较简单。 然后是打开文件，按照输入分为打开单个文件和多个。 打开文件后逐行输入语句知道最后一行。 对于每一行，逐字判断，如果 ...
分类：
其他好文 时间：
2018-06-05 11:35:32
阅读次数：
103
上篇了解了一些基本的Structured Streaming的概念，知道了Structured Streaming其实是一个无下界的无限递增的DataFrame。基于这个DataFrame，我们可以做一些基本的select、map、filter操作，也可以做一些复杂的join和统计。本篇就着重介绍下 ...
分类：
其他好文 时间：
2018-06-04 21:38:16
阅读次数：
342
不多说，直接上干货！ 这里，怎么创建，见 Spark编程环境搭建（基于Intellij IDEA的Ultimate版本）（包含Java和Scala版的WordCount）（博主强烈推荐) 这里， 我重点说下spark项目，因为，对于hadoop这样的，我已经写了大量博客了。 比如，我目前用得较多的s ...
分类：
其他好文 时间：
2018-05-31 13:45:44
阅读次数：
193
