1. 2.将其权限作出相应修改 3.本机上测试运行代码 4.放到HDFS上运行 a.将之前爬取的文本文件上传到hdfs上 b.用Hadoop Streaming命令提交任务 E.查看运行结果 ...
分类：
其他好文 时间：
2018-05-10 13:23:54
阅读次数：
148
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 ...
分类：
其他好文 时间：
2018-05-10 13:23:03
阅读次数：
141
用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况 ...
分类：
其他好文 时间：
2018-05-09 22:39:23
阅读次数：
141
用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 ...
分类：
其他好文 时间：
2018-05-09 22:38:12
阅读次数：
145
本文由 网易云 发布。 本文内容接上一篇Apache 流框架 Flink，Spark Streaming，Storm对比分析（一） 2.Spark Streaming架构及特性分析 2.1 基本架构 基于是spark core的spark streaming架构。 Spark Streaming是将 ...
分类：
Web程序 时间：
2018-05-08 22:23:49
阅读次数：
318
1. A.编写map函数，reduce函数 B.将其权限作出相应修改 C.本机上测试运行代码 D.放到HDFS上运行 a.将之前爬取的文本文件上传到hdfs上 b.用Hadoop Streaming命令提交任务 ...
分类：
其他好文 时间：
2018-05-07 22:54:32
阅读次数：
256
jmeter 性能测试视频 后端开发: 1、2017龙果微服务架构的分布式事务解决方案 2、2017年龙果spring boot 入门实战视频教程-首套中文教程 3、51CTO Spring Boot实战与原理分析视频课程 4、ElasticSearch5视频教程 5、Elasticsearch顶尖 ...
分类：
其他好文 时间：
2018-05-06 14:58:05
阅读次数：
321
Spark Streaming 1、课程目标 1、掌握sparkStreaming底层原理和架构 2、掌握DStream的原理 3、掌握sparkStreaming与flume整合 4、掌握sparkStreaming与kafka整合 1、掌握sparkStreaming底层原理和架构 2、掌握DS ...
分类：
其他好文 时间：
2018-04-29 01:14:55
阅读次数：
267
JackSon学习笔记 Jackson框架是基于Java平台的一套数据处理工具，被称为“最好的Java Json解析器”。 Jackson框架包含了3个核心库：streaming,databind,annotations.Jackson还包含了其它数据处理类库，此外不作说明。Jackson版本： 1 ...
分类：
其他好文 时间：
2018-04-27 19:49:22
阅读次数：
156
https://cloud.tencent.com/developer/article/1004820 Spark 踩坑记：数据库（Hbase+Mysql） 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。 最近一个实时 ...
分类：
数据库 时间：
2018-04-26 12:06:49
阅读次数：
186
