No such file or directory 在命令行中执行 之前使用还好好地，由于自己研究 "umi" 下载 这个包之后，就开始各种弄个不灵了 解决之道 一直各种检索，都没有很好地办法 类似的问题 + "Yarn global packages are installed unproperl ...
分类：
其他好文 时间：
2019-06-17 20:29:26
阅读次数：
155
hadoop-env.sh：脚本中所用到的环境变量，以运行Hadoop mapred-env.sh：脚本中所用到的环境变量，以运行mapreduce yarn-env.sh：脚本中所用到的环境变量，以运行YARN core-site.xml：hadoop core 的配置选项，如HDFS，MapRe ...
分类：
其他好文 时间：
2019-06-17 10:52:44
阅读次数：
97
安装git，nodejs和yarn 安装Python27，3.x版本的不行，确保它在你的环境变量里； 安装gulp 安装windows build tools： 安装node-gyp 下载vscode的源码； 用管理员的方式打开powershell，不是管理员身份不行 在源码根目录下执行：yarn， ...
分类：
其他好文 时间：
2019-06-17 00:49:58
阅读次数：
207
1、安装gitbash\jdk\python\nodejs\yarn;2、安装windows下用于npm构建工具"npm×××tall--global--productionwindows-build-tools";3、屏蔽ffmpeg的构建"exportTHEIA_ELECTRON_SKIP_REPLACE_FFMPEG=1";4、在theia代码目录下执
第五天课程大纲：1、社交粉丝的数据分析：求共同好友2、倒排索引的建立3、自定义inputFormat合并小文件 4、自定义outputformat5、分组求topN6、MapReduce的其他补充 了解7、mapreduce的参数优化 理解8、yarn的资源调度管理 例子1：社交粉丝数据分析 逻辑分 ...
分类：
其他好文 时间：
2019-06-16 00:21:34
阅读次数：
112
环境 win10 + webstrom 2019 + webpack4.x + yarn tree shaking 作用 生产环境自动启用 开发模式需要配置（过滤不适用的模块），打包后的 js 会有一些注释如： 文件结构 package.json /src/js 中代码 /src/template/ ...
分类：
其他好文 时间：
2019-06-15 11:32:46
阅读次数：
117
大数据正在爆炸式增长，每天都有来自世界各地的公司涌现出新的项目。好消息是，所有技术都是开源的，可供您今天开始采用。Hadoop稳固，企业实力和其他一切的基础。您需要YARN和HDFS以及Hadoop的基础架构作为主要数据存储并运行关键的大数据服务器和应用程序Spark易于使用，支持所有重要的大数据语言（Scala，Python，Java，R），一个庞大的生态系统，快速增长，易于微缩/批处理/SQL
分类：
其他好文 时间：
2019-06-14 19:55:58
阅读次数：
109
HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary ...
分类：
Web程序 时间：
2019-06-14 18:22:47
阅读次数：
298
修改hosts 创建用户 sudo授权 切换用户 下载解压 创建工作目录 添加环境变量 hadoop/ 修改配置文件 格式化hdfs 启动hdfs/ Yarn 查看启动状态 浏览器查看 [http://mo.don.com:9870]: [http://mo.don.com:8088]: ...
分类：
其他好文 时间：
2019-06-14 12:41:55
阅读次数：
88
讨论QQ：1586558083 目录 一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1 本地模式 3.2 YARN模式 四、分区器 正文 回到顶部 一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式 ...
分类：
其他好文 时间：
2019-06-11 13:21:29
阅读次数：
119
