flow 是一个javascript 静态检查的工具，由facebook 开发， 使用起来简单，方便。 安装 项目初始化 yarn init -y 编译器安装 yarn add --dev babel-cli babel-preset-flow 配置babel .babelrc { "presets ...
分类：
其他好文 时间：
2018-07-28 12:11:06
阅读次数：
187
1.八爪鱼，抓取数据 2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an 3.给定mysql的表an自增id 4.开启hadoop，yarn， 5.利用sqoop导入mysql的表an sqoop import --connect jdbc:mysql://192.168.218 ...
分类：
其他好文 时间：
2018-07-28 00:18:50
阅读次数：
167
hadoop：是java写的一个框架，可以理解成java写的一个应用，他主要是用来分布式存储和分布式计算。 1 为什么需要分布式存储，因为单台设备不够存储，实现办法的hadoop分布式是文件系统hdfs 2 分布式计算：因为数据量很大、一台机器硬件资料有限，实现办法是yarn和MapReduce、y ...
分类：
其他好文 时间：
2018-07-27 21:04:34
阅读次数：
126
1.官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2.配置安装 1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.安装Spark：解压Spark ...
分类：
其他好文 时间：
2018-07-26 15:02:11
阅读次数：
211
yarn eject yarn add less less-loader config/ webpack.config.dev.js config/ webpack.config.prod.js 文件下 两个文件一样 ...
分类：
移动开发 时间：
2018-07-25 20:03:59
阅读次数：
173
理解Hadoop2.7.4集群搭建组件： HDFS 海量数据的分布式存储 Map-Reduce 海量数据的分布式计算框架 Yarn 海量数据的资源管理 两个集群 逻辑上分离，物理上常在一起 1、Hdfs 集群 三个角色：Namenode，Datanod，Secondnode 2、Yarn集群 两个 ...
分类：
其他好文 时间：
2018-07-24 17:35:29
阅读次数：
174
Mapreduce过程中理解 简单的来说map是大数据，reduce是计算<运行时如果数据量不大，但是却要分工做这就比较花时间了> 首先想要使用mapreduce，需要一些配置： 1.在notepad++里修改yarn-site.xml文件，新添加 <property> <name>yarn.res ...
分类：
其他好文 时间：
2018-07-24 15:57:29
阅读次数：
177
终于开始hadoop 上来就手欠了一下，cp 了 * 现在我有一个问题：cp可不可以有进度反馈。。。 好了反正手欠也手欠了，还是在copy，好在我虚拟机配置的硬件参数够硬，沏杯茶的功夫也就完了，tar 解压hadoop 编辑hadoop-env.sh，把jdk路径写进去（我现在是偷懒，放在了根目录， ...
分类：
其他好文 时间：
2018-07-23 23:34:01
阅读次数：
194
最新vue-cli 3上线了 ，我一时手贱成更新最新版本了，然后又手贱选了yarn来安装，结果死命的装不上，总是在读取的时候卡住。本想换个源来重新安装， vue-cli 3却新增保存安装包源。 然后百度了挺久的都没有类似的问题以及解决方法。只好自己动手找了。结果确是出乎意料的简单，但是我还是打算分享 ...
分类：
其他好文 时间：
2018-07-21 00:12:09
阅读次数：
2266
Yarn流程、Yarn与MapReduce 1相比
分类：
其他好文 时间：
2018-07-19 22:58:01
阅读次数：
196
