scala与java的区别 （1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala ...
分类：
编程语言 时间：
2020-01-30 21:27:06
阅读次数：
64
一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和 预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 数据集：下载 Adult 数 ...
分类：
其他好文 时间：
2020-01-29 23:28:10
阅读次数：
134
今日把之前用sbt打包Scala程序剩下的东西学习完了，在学习使用maven打包java程序中遇到了初次打包下载依赖包下载不了，目标网址404的问题，留在明天解决。 安装了scala进行了相关的实验。 明日计划学习使用Eclipse编写Spark应用程序（Scala+Maven）和（Scala+SB ...
分类：
其他好文 时间：
2020-01-29 23:12:50
阅读次数：
89
spark 1. Spark的四大特性 1. 速度快 spark比mapreduce快的两个原因 1. 基于内存 2. 进程与线程 2. 易用性 1. 可以用java、scala、python、R等不同的语言来快速编写spark程序 3. 通用性 4. 兼容性 1. spark程序有多种运行模式 s ...
分类：
其他好文 时间：
2020-01-29 10:40:55
阅读次数：
58
今天把Scala的Java独立应用编程解决了，安装了maven，并且测试了一下Java应用程序代码，以及用maven打包 Java程序，并通过spark-submit 运行程序，过程比较顺利，但是在安装sbt时验 sbt 是否可用，需要下载依赖包，但是我的一直 卡在这里 重新弄会出错，所以先弄了一下 ...
分类：
其他好文 时间：
2020-01-29 00:58:27
阅读次数：
80
（一）进入spark-shell命令界面（默认使用scala的命令界面） 1,如果进入了spark安装目录则使用、 1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻 ...
分类：
其他好文 时间：
2020-01-29 00:48:18
阅读次数：
82
今天打算开始学习spark，年前重装了电脑系统，安装完系统，安装了软件工程的必备软件及数据库等 打开虚拟机时发现旧版本的wmware已经无法在新的win10系统上运行，Wmware pro15在win 10 1903上不能用 网上搜索教程发现在1903版本就已经出现这个问题，而我现在的版本是1909 ...
分类：
其他好文 时间：
2020-01-28 22:53:03
阅读次数：
62
MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 ...
分类：
其他好文 时间：
2020-01-28 20:53:14
阅读次数：
68
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：centos6.4； Scala版本：2.10.6.； Hadoop 版本 ...
分类：
其他好文 时间：
2020-01-28 19:11:15
阅读次数：
94
