Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。 试着用 Sc ...
分类：
其他好文 时间：
2020-02-02 14:06:16
阅读次数：
74
今天写的实验三 1.i京安装完成spark和hadoop （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop （2） 在 Linux 系统的本地文 ...
分类：
其他好文 时间：
2020-02-02 13:48:18
阅读次数：
96
使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件： 简单的RDD操作： //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行， ...
分类：
其他好文 时间：
2020-02-02 13:35:21
阅读次数：
101
今天通过菜鸟教程中Scala教程https://www.runoob.com/scala/scala-intro.html来初步学习Scala语言，并且安装了scala Scala 是 Scalable Language 的简写，是一门多范式的编程语言。Scala也是一种函数式语言，其函数也能当成值 ...
分类：
其他好文 时间：
2020-02-02 01:45:47
阅读次数：
91
今天的学习主要是了解spark生态体系以及观看了子雨大数据之Spark入门教程（Scala版）的介绍，现将对spark的初步了解以及日后可能会用到的一些知识总结如下： 一、spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People L ...
分类：
其他好文 时间：
2020-02-02 01:33:35
阅读次数：
93
今天编写了对一个网页中的内容进行爬取的Java程序，学习到了一些关于htmlunit爬取有ajax响应的网页中的内容。 同时，对于linux中的spark的环境和scala环境进行了简单的搭建。 具体的搭建博客网址在：https://www.cnblogs.com/halone/p/12238524 ...
分类：
其他好文 时间：
2020-02-02 00:56:09
阅读次数：
93
Spark SQL可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。这种模式，用户或者应用程序可以直接与Spark SQL交互，以运行SQL查询，无需编写任何代码。Spark SQL提供两种方式来运行SQL：通过运行Thrift Server直接执行Spark SQL命令行运行Thrift ... ...
分类：
数据库 时间：
2020-02-01 23:43:35
阅读次数：
126
Linux环境，安装Spark： 根据spark的下载地址进行下载 链接如下：http://spark.apache.org/downloads.html 安装总体按照林子雨老师的教程来，下面给出参考链接 http://dblab.xmu.edu.cn/blog/1307-2/ 解压安装完成后修改配 ...
分类：
其他好文 时间：
2020-02-01 23:41:23
阅读次数：
117
家里给报了个考研的直播课，上了六个小时的课，上的真的是七荤八素的。所以今天的进度不多。可能近几日的进度都不会很快，待我适应了直播课的摧残后再加快进度吧。今天主要就是spark的第一个实验，还好比较简单，今天脑子里全是英语。。。。linux的命令也是英语。。。 （1）切换到目录 /usr/bin； （ ...
分类：
其他好文 时间：
2020-02-01 23:35:02
阅读次数：
106
学习于林子雨《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南 一. 安装spark 第一步，spark下载（http://spark.apache.org/downloads.html） 第二步，spark压缩包解压 sudo tar -zxf ~/下载/spark-1.6.2-bin- ...
分类：
其他好文 时间：
2020-02-01 23:24:39
阅读次数：
75
