1、hadoop下载 https://archive.apache.org/dist/hadoop/common/ 这里我下载的是: hadoop-2.7.4.tar.gz 1-1首先做ssh免密码登录设置 ssh-keygen -t rsa，三次回车后，在/root/.ssh/会生成id_rsa， ...
分类：
其他好文 时间：
2019-03-07 22:05:02
阅读次数：
213
1. 从 github 下载 vuejs/vue-devtools https://github.com/vuejs/vue-devtools/archive/dev.zip 2.安装yarn 及 编译 vue-devtools 附图： 3. 修改shells>chrome文件夹下的mainifes ...
分类：
其他好文 时间：
2019-03-04 17:41:54
阅读次数：
673
前言 因近期要做 hadoop 有关的项目，需配置 hadoop 环境，简单起见就准备进行单机部署，方便开发调试。顺便记录下采坑步骤，方便碰到同样问题的朋友们。 安装步骤 一、下载 hadoop-XXX.tar.gz 下载地址：http://archive.apache.org/dist/hadoo ...
分类：
Windows程序 时间：
2019-03-01 23:31:33
阅读次数：
1296
vue cli3的版本是3.4.1 出现的情况是网页显示正常，但是终端一直提示找不到模块： 如果去掉路由懒加载的方式，就没有报错了： 暂时还不知道怎么解决，使用yarn重装了没用，也不是相对路径的问题…… 这里先留个坑，等以后解决了在来填OJZ。 ...
分类：
其他好文 时间：
2019-02-28 18:48:09
阅读次数：
271
当spark跑在yarn上时 单个executor执行时，数据量过大时会导致executor的memory不足而使得rdd 最后lost，最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 ...
分类：
其他好文 时间：
2019-02-28 15:01:13
阅读次数：
656
注释： mr job执行流程 mr on yarn架构 yarn架构设计 这三种叫法是同一个问题 1.用户向yarn提交应用程序(job)，其中包括applicationMaster程序、启动applicationMaster命令等 2.RM为该job分配第一个容器，并与对应的NM通信，要求它在这个 ...
分类：
其他好文 时间：
2019-02-28 10:33:49
阅读次数：
177
转自： https://blog.csdn.net/tototuzuoquan/article/details/80671128 转： https://blog.csdn.net/dehu_zhou/article/details/52808752 https://blog.csdn.net/dxl ...
分类：
其他好文 时间：
2019-02-27 16:22:01
阅读次数：
181
（1）配置集群 （a）配置hadoop-2.7.2/etc/hadoop/yarn-env.sh 配置一下JAVA_HOME export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161 （b）配置yarn-site.xml <!-- redu ...
分类：
其他好文 时间：
2019-02-26 23:50:03
阅读次数：
256
1.得到原本的镜像地址 npm get registry > https://registry.npmjs.org/ 设成淘宝的 npm config set registry http://registry.npm.taobao.org/ yarn config set registry http ...
分类：
其他好文 时间：
2019-02-24 13:34:07
阅读次数：
169
