一、安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类:
其他好文 时间:
2020-06-25 21:47:14
阅读次数:
74
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了Hive和Impala,本节先介绍一下SparkSQL,然后从功能、架构、使用场景几个角度比较这三款产品的异同,最后附上分别由cloudera公司和SAS公司出示的关 ...
分类:
数据库 时间:
2020-06-25 21:29:31
阅读次数:
581
服务器 阿里云服务器 Apache tomcat 只能在官网下载tar.gz文件 详见:https://blog.csdn.net/jenyzhang/article/details/70159769 注意事项:openJDK的安装目录:/usr/lib/jvm/java-8-openjdk-amd ...
分类:
移动开发 时间:
2020-06-25 19:42:45
阅读次数:
74
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
Web程序 时间:
2020-06-25 17:58:43
阅读次数:
54
package com.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import jav ...
分类:
其他好文 时间:
2020-06-25 17:46:58
阅读次数:
39
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc ...
分类:
其他好文 时间:
2020-06-25 17:32:46
阅读次数:
65
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:29:21
阅读次数:
73
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:23:59
阅读次数:
69
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:19:12
阅读次数:
66
首先,在阿里云服务器上配置docker环境,配置时候一定要注意镜像地址的配置: 登录镜像仓库就可以下拉镜像 1、查找jenkins docker search jenkins docker push jenkinsci/blueocen 运行 docker run -d --name=jenkins ...
分类:
其他好文 时间:
2020-06-25 09:31:41
阅读次数:
48