事实上这篇博客写的有些晚了。之前做过一些总结后来学校的事给忘了，这几天想又一次拿来玩玩发现有的东西记不住了。翻博客发现居然没有。好吧，所以赶紧写一份留着自己用吧。这东西网上有非常多，只是也不是全然适用。所以还是自己留一份吧，废话完成。 由于之前留的资料室写在记事本上的。所以没有图片= = Full ...
分类：
系统相关 时间：
2017-05-21 10:01:07
阅读次数：
274
Storm启动流程分析 1、客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写了一个方法，每个方法都可以生成一条相应的Java命令。 命令格式：java -server xxx.ClassName -args nimbus >Running:/expor ...
分类：
其他好文 时间：
2017-05-20 11:19:19
阅读次数：
176
计算出文件中每个单词的频数。要求输出结果按照单词的字母顺序进行排序。每个单词和其频数占一行，单词和频数之间有间隔。 比如，输入两个文件，其一内容如下...... ...
分类：
系统相关 时间：
2017-05-20 09:57:07
阅读次数：
319
原文地址：http://blog.csdn.net/whzhaochao/article/details/72416956写在前面学习Scala和Spark基本语法比较枯燥无味，搞搞简单的实际运用可以...
分类：
其他好文 时间：
2017-05-18 09:45:51
阅读次数：
251
讲准备好的文本文件放到hdfs中 执行 hadoop 安装包中的例子 查看执行结果： ...
分类：
其他好文 时间：
2017-05-14 12:30:43
阅读次数：
260
Spark 基础入门，集群搭建以及Spark Shell 主要借助Spark基础的PPT，再加上实际的动手操作来加强概念的理解和实践。 Spark 安装部署 理论已经了解的差不多了，接下来是实际动手实验： 练习1 利用Spark Shell（本机模式） 完成WordCount spark-shell ...
分类：
系统相关 时间：
2017-05-13 18:59:17
阅读次数：
438
目录(?)[-] 一软件环境 二创建maven工程 三添加maven依赖 四配置log4j 五启动Hadoop 六运行WordCount从本地读取文件 七运行WordCount从HDFS读取文件 八代码下载 目录(?)[-] 介绍如何在Intellij Idea中通过创建maven工程配置MapRe ...
分类：
其他好文 时间：
2017-05-10 00:16:27
阅读次数：
312
今天是2017年5月9日，记录下今天 关于大数据，关于hadoop，大概学习了两个月左右，今天也在我的课上把ppt给讲了，个人觉得讲的不是很清晰，但别人夸我讲的好，可能是因为我把实验做出来了的原因，也就是在eclipse中运行wordcount以及cascading-wordcount,但是，我觉得 ...
分类：
其他好文 时间：
2017-05-09 21:39:06
阅读次数：
125
关于hadoop的HA配置以及wordcount测试 一，简单环境配置 1，查看centos版本位数： $>getconf LONG_BIT, 2，桌面模式和文本模式之间进行切换： 1），在终端命令行进行设置时只能暂时改变模式， $>init 3 表示切换到文本模式 $>init 5 表示切换到桌面 ...
分类：
其他好文 时间：
2017-05-08 10:09:20
阅读次数：
286
