承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
1. 镜像操作 查看所有镜像 docker images docker images # docker images -a 删除镜像 docker image rm [imageName] 运行镜像 docker run [OPTIONS] IMAGE [COMMAND] [ARG...]OPTIO ...
分类：
其他好文 时间：
2020-05-18 18:15:50
阅读次数：
48
1. 4种运行模式概述图 1）本地(local)模式，用于开发测试 2）Standalone是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署spark环境，只要修改一台机器配置，就要同步到所有的机器上去，比较麻烦，生产环境中不采取。 3） Yarn生成环境下 ...
分类：
其他好文 时间：
2020-05-18 18:12:35
阅读次数：
67
本地敲代码，重剑无锋，考验电脑性能，云端敲代码，轻巧灵便，考验网速。本地安装了Python、R、Jupyter Notebook等，想体验云端敲代码，就用上了Rstudio Cloud Beta、Azure Notebooks Preview。 Rstudio Cloud Beta，新建文件R、Rm ...
分类：
其他好文 时间：
2020-05-18 12:30:36
阅读次数：
115
yarn设置临时镜像 yarn设置永久镜像 npm设置临时镜像 npm设置永久镜像 配置文件错误 lastUpdateCheck 1584361306390删掉就行了 ...
分类：
其他好文 时间：
2020-05-18 09:28:36
阅读次数：
123
模块一、Linux与Shell环境准备1.2.3. 模块二、Linux常用命令 (文件/网络/性能) 1.文件的操作 .ls:列出目录 .cd:切换目录 .pwd:显示当前的目录 .mkdir:创建一个新的目录 .rmdir:删除一个空的目录 .cp:复制文件或目录 .rm:移除文件或目录 .mv: ...
分类：
系统相关 时间：
2020-05-18 00:53:48
阅读次数：
81
安装vscode下载vscode https://code.visualstudio.com/ 安装vscode依赖yum install libXScrnSaver -y 安装vscodecd ~wget https://vscode.cdn.azure.cn/stable/ff915844119 ...
分类：
移动开发 时间：
2020-05-17 23:10:56
阅读次数：
125
单点符（.）表示当前目录 双点符（..）表示当前目录的父目录 ls--显示当前目录下的文件和目录 ls -F--带-F参数的ls命令轻松区分文件和目录，目录后面加了正斜线（/） ls -a--把隐藏文件和普通文件及目录一起显示出来，这时，所有以点开头的文件都会显示出来 ls -F -R（或ls -F ...
分类：
系统相关 时间：
2020-05-17 01:10:27
阅读次数：
74
一、前言 我们提交一个事务，里面有多条sql，mysql是如何管理事务的呢？是如何做到其中一条sql执行失败，全部回滚的呢？ 二、XA事务 XA协议是基于二阶段提交的一个具体实现，也是分为Prepare和Commit两个阶段。 Prepare阶段：TM(事务协调者)向所有RM(资源管理者)发送pre ...
分类：
数据库 时间：
2020-05-16 19:02:59
阅读次数：
114
今天在用yarn安装vue-cli时出现了错误../vue-hackernews-2.0> yarnyarn install v1.12.3[1/5] Validating package.json...[2/5] Resolving packages...[3/5] Fetching packag ...
分类：
其他好文 时间：
2020-05-16 16:23:35
阅读次数：
452
