1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网： https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub： https://github.com/apach ...
分类：
其他好文 时间：
2020-02-02 23:57:50
阅读次数：
161
一、大数据spark 跟着csdn的scala教程搭建了spark所用语言scala的环境 https://edu.csdn.net/course/play/20364/292538 跟着b站的尚硅谷大数据学习了8个知识点，视频号：av62992342 初步了解了spark的各方面知识，并且使用其做 ...
分类：
其他好文 时间：
2020-02-02 23:55:34
阅读次数：
122
Spark提供的数据集操作类型有很多种，大致分为：转换操作和行动操作两大类，即对RDD的操作，RDD相关操作较多，这里不做表述。此外各个处理节点之间的通信模型不再像Hadoop只有Shuffle一种模式，用户可以命名、物化，控制中间结果的存储、分区等。下载完Spark后，启动spark shell ...
分类：
其他好文 时间：
2020-02-02 23:31:13
阅读次数：
247
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
基础代码： 1 //创建一个List 2 val lst0 = List(1,7,9,8,0,3,5,4,6,2) 3 //将lst0中每个元素乘以10后生成一个新的集合 4 val lst1 = lst0.map(_*10) 5 println(lst1) 6 7 //将lst0中的偶数取出来生成 ...
分类：
其他好文 时间：
2020-02-02 21:16:13
阅读次数：
68
下载spark 1、网址：http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd /u ...
分类：
其他好文 时间：
2020-02-02 17:29:16
阅读次数：
73
今天写的实验三 1.i京安装完成spark和hadoop （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop （2） 在 Linux 系统的本地文 ...
分类：
其他好文 时间：
2020-02-02 13:48:18
阅读次数：
96
使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件： 简单的RDD操作： //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行， ...
分类：
其他好文 时间：
2020-02-02 13:35:21
阅读次数：
101
今天的学习主要是了解spark生态体系以及观看了子雨大数据之Spark入门教程（Scala版）的介绍，现将对spark的初步了解以及日后可能会用到的一些知识总结如下： 一、spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People L ...
分类：
其他好文 时间：
2020-02-02 01:33:35
阅读次数：
93
