1、数据准备： Mike,35 Steven,40 Ken,28 Cindy,32 2、预期结果 Max 40 Min 28 Avg 33 3、MapReduce代码如下 4、注意事项 因为输出的结果和Key没有关系，所以在map阶段要固定一个Key即可。 ...
分类：
其他好文 时间：
2017-05-08 00:23:54
阅读次数：
267
环境介绍： 主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip：192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1 ...
分类：
其他好文 时间：
2017-05-08 00:22:32
阅读次数：
288
本节内容 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark on Yarn运行流程 2.5 WordCount执行原理 3.Spark计算引擎原理 3.1 Spark内部原理 3. ...
分类：
其他好文 时间：
2017-05-07 23:09:24
阅读次数：
240
本节内容 1.RDD的工作流程 2.WordCount解说 · shell版本WordCount · java版本WordCount 一、RDD工作流程 1. RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家 ...
分类：
其他好文 时间：
2017-05-06 00:54:23
阅读次数：
208
用Client模式跑一下： 执行一个WordCount: ...
分类：
其他好文 时间：
2017-05-04 21:49:40
阅读次数：
176
在eclipse下运行wordcount,使用cascading封装 准备：centos系统，jdk,hadoop,eclipse,cascading的lib包，官网可下载，自带cascading封装的wordcount源码，以及爬虫数据data目录，这些均可以在官网下载 我是在cascading官 ...
分类：
其他好文 时间：
2017-05-04 20:04:23
阅读次数：
283
在配置Hadoop集群成功后，利用官方自带的例子简单测试了一下MapReduce程序WordCount，这个例子也就相当于编程入门的HelloWorld程序了，结构清晰容易理解，并且方便说明MapReduce的工作过程。这篇随笔主要想记录下在Eclipse中编写简单的MapReduce程序的上手过程 ...
分类：
其他好文 时间：
2017-05-03 17:14:08
阅读次数：
218
#!/usr/bin/env python def wordCount(s): chars = len(s) words = len(s.split()) lines = s.count('\n') print lines, words, chars s = open('/etc/passwd').... ...
分类：
编程语言 时间：
2017-04-29 10:56:02
阅读次数：
310
在之前建立的HDFS基础上，自己编写MapReduce程序，打包，并运行。 重新打包WordCount并执行 新建一个Maven项目，将示例程序中WordCount.java的复制到新项目中，使用mvn clean package打包为jar文件并复制到服务器。 WordCount.java内容如下 ...
分类：
其他好文 时间：
2017-04-28 22:08:13
阅读次数：
145
HQL学习 1.hive的数据类型 2.hive_DDL 2.1创建、删除、修改、使用数据库 2.hive_DDL 2.1创建、删除、修改、使用数据库 Default数据库，默认的，优先级相对于其他数据库是最高的 2.2重点：创建表_内部表_外部表 hive通过sql来分析hdfs上结构化的数据，将 ...
分类：
其他好文 时间：
2017-04-13 08:45:41
阅读次数：
265
