spark-submit提交任务的参数很多： Usage: spark-submit [options] <app jar | python file> [app arguments] Usage: spark-submit --kill [submission ID] --master [spar ...
分类：
其他好文 时间：
2020-01-16 00:40:04
阅读次数：
169
1.切换目录到/data/目录下，创建名为edu1的目录 cd /data/ mkdir /data/edu1 2.切换目录到/data/edu1目录下，使用wget命令，下载webmagic爬虫项目所依赖的lib包 cd /data/edu1 wget http://192.168.1.100:6 ...
分类：
其他好文 时间：
2020-01-15 18:00:10
阅读次数：
88
Spark SQL：数据库 Spark Streaming：流计算框架 GraphX:图计算框架 使用语言开发： SCALA语言学习(与Java完全兼容) 编程范式： 1，命令式语言：C，C++，Java...基于冯.诺依曼体系结构 2，函数式语言：充分利用多核CPU多线程并发能力 基于λ演算，并发 ...
分类：
其他好文 时间：
2020-01-14 23:47:05
阅读次数：
92
Spark集群环境配置 我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。 conf/spark defaults.conf ...
分类：
Web程序 时间：
2020-01-14 23:29:31
阅读次数：
300
最近在学习研究pyspark机器学习算法，执行代码出现以下异常： 19/06/29 10:08:26 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Cou ...
分类：
编程语言 时间：
2020-01-14 13:18:30
阅读次数：
110
实验三spark和hadoop的安装 hadoop的安装在之前的随笔中已经介绍过，此处传送门：https://www.cnblogs.com/heiyang/p/11293969.html 接着介绍，spark的安装，不是很难，唯一需要注意的是不同的hadoop版本都有对应的spark版本，下载的时 ...
分类：
其他好文 时间：
2020-01-13 23:38:59
阅读次数：
149
[TOC] 1 目的 记录Spark集群框架搭建及实验自学心得。 2 准备工作 1. "VMware 15 Pro" 2. "Centos7" 3. "JDK 1.8" 4. "Hadoop 2.7.2" 5. "SecureCRT version 8.5" 6. "Scala 2.12.7" 7. ...
分类：
其他好文 时间：
2020-01-13 20:16:53
阅读次数：
106
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
其他好文 时间：
2020-01-13 19:42:03
阅读次数：
78
大数据相关资料 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包，一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。2、之所以选用Virtual Box是因为它比 ...
分类：
系统相关 时间：
2020-01-13 18:05:58
阅读次数：
106
1. HBase连接的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H ...
分类：
其他好文 时间：
2020-01-13 12:28:18
阅读次数：
99
