Scala解释器的使用： 由于在前面的安装过程中，已经自动设置了path变量，所以不需要给出scala命令的路径全称，在命令提示符终端中输入“scala”命令便会进入scala命令行提示符状态（即“scala>”），可以在后面输入命令。 运行Scala解释器以后，就可以测试了。输入一条语句，解释器会 ...
分类：
其他好文 时间：
2020-02-02 23:32:45
阅读次数：
64
Spark提供的数据集操作类型有很多种，大致分为：转换操作和行动操作两大类，即对RDD的操作，RDD相关操作较多，这里不做表述。此外各个处理节点之间的通信模型不再像Hadoop只有Shuffle一种模式，用户可以命名、物化，控制中间结果的存储、分区等。下载完Spark后，启动spark shell ...
分类：
其他好文 时间：
2020-02-02 23:31:13
阅读次数：
247
打印每一个命令行参数： args.foreach(arg => println(arg)) 函数文本由带一个参数的一句话组成： args.foreach(println) Scala里只有一个指令式for的函数式近似： for (arg <- args) println(arg) 其中<- 的左边是 ...
分类：
其他好文 时间：
2020-02-02 22:09:06
阅读次数：
113
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
基础代码： 1 //创建一个List 2 val lst0 = List(1,7,9,8,0,3,5,4,6,2) 3 //将lst0中每个元素乘以10后生成一个新的集合 4 val lst1 = lst0.map(_*10) 5 println(lst1) 6 7 //将lst0中的偶数取出来生成 ...
分类：
其他好文 时间：
2020-02-02 21:16:13
阅读次数：
68
题目： 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点， 其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为 Sha ...
分类：
其他好文 时间：
2020-02-02 19:33:23
阅读次数：
242
https://www.cnblogs.com/wangjianwei/articles/9722234.html https://blog.csdn.net/hongzhen91/article/details/81507140 ...
分类：
其他好文 时间：
2020-02-02 19:28:03
阅读次数：
78
任务要求： 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点， 其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为Sh ...
分类：
其他好文 时间：
2020-02-02 17:42:38
阅读次数：
82
下载spark 1、网址：http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd /u ...
分类：
其他好文 时间：
2020-02-02 17:29:16
阅读次数：
73
