Hadoop Java API 热身 WordCount 新建Maven项目 根据zookeeper和hadoop版本配置pom.xml，可用使用 echo stat|nc localhost 2181 查看zookeeper版本 <?xml version="1.0" encoding="UTF- ...
分类：
其他好文 时间：
2020-03-11 01:02:12
阅读次数：
68
前 言 拖了蛮久了，一直说要接着上一部分写设计思路以及代码，因为自己技术底子薄弱，加上人又懒，所以一直没能继续，今天补上设计思路及部分代码，后面有时间我会再补充一些应用性的功能，的确有些忙，希望对大家有用；欢迎大家提意见或者拍砖； 之前，我说了，网上蛮多例子都是基于WordCount或者基于展示内存 ...
分类：
其他好文 时间：
2020-03-09 23:53:34
阅读次数：
88
Spark官方自带了WordCount的样例，我们也可以自己实现，加深对Spark的理解。 import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit ...
分类：
其他好文 时间：
2020-03-08 13:44:44
阅读次数：
65
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
1、在hadoop-2.9.2目录下新建一个wcinput：mkdir wcinput 2、在wcinput下新建一个文件：touch wc.input 3、vim wc.input，在wc.input中输入： hadoop yarn hadoop mapreduce gong gong 4、回到h ...
分类：
其他好文 时间：
2020-03-01 12:48:53
阅读次数：
60
问题 一个wordcount运行总是报错 java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.hadoop.mapreducedemo1.mapreducedemo.mapper.MyMapperTask 网 ...
分类：
编程语言 时间：
2020-02-14 22:53:25
阅读次数：
96
Java小项目之：旅游网站旅游网站应用到的技术：1．Hibernate2．TomcatServlet3．Jsp，javaScript，jquery,Ajax,EL表达式前台功能：1用户的注册和登录，2旅游线路的报名（一人只能报一条线路）；3用户对每条旅游线路的评论。4查询一个城市的所有线路5查询单一的一条线路后台管理功能：1旅游线路的增删改查2对用户评论的删除或回复3删除查询用户部分代码展示：pa
分类：
编程语言 时间：
2020-02-12 20:36:58
阅读次数：
95
Spark on K8S环境部署细节sparkk8stime: 2020-1-3Spark on K8S环境部署细节Spark operator安装准备kubectl客户端和Helm客户端安装spark operatorSpark wordcount 读写OSS准备oss依赖的jar包准备core-... ...
分类：
其他好文 时间：
2020-02-06 10:58:31
阅读次数：
136
package cn.itcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache. ...
分类：
其他好文 时间：
2020-02-02 23:19:55
阅读次数：
98
本篇我们将使用Java语言来实现Flink的单词统计。代码开发环境准备导入Flink 1.9 pom依赖 org.apache.flink flink-java 1.9.0 org.apache.flink flink-streaming-j... ...
分类：
编程语言 时间：
2020-01-31 13:58:49
阅读次数：
154
