1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
一、SparkContext原理1、图解二、SparkContext源码1、TaskScheduler创建###SparkContext.scala// Create and start the scheduler private[spark] var (schedulerBackend, task... ...
分类：
其他好文 时间：
2019-07-17 15:26:23
阅读次数：
125
Spark-on-YARN 1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2 ...
分类：
其他好文 时间：
2019-07-17 00:18:54
阅读次数：
98
大数据作为当前前景广阔、薪资优渥的新兴行业，很多零基础者也萌生了想要学习大数据的想法，随之而来的，就会产生诸如我不是计算机专业到底能不能学大数据？我到底适不适合学大数据技术？大数据到底要学什么？等等一系列问题。下面我们就从零基础学习大数据的角度，来说一说学习前需要考虑的问题。首先说一下学习大数据的基本要求，学历需要在大专及以上，因为这是企业用人时需求的最低学历要求，学习者年龄最好在20-32岁比较
分类：
其他好文 时间：
2019-07-16 15:24:49
阅读次数：
117
一、首先进行安装babel-polyfill，如果你用yarn安装babel-polyfill的话需要yarn add babel-polyfill进行安装 二、在babel.config.js中加入 三、在ie浏览器中找到报错的文件，然后将文件加入其中 ...
分类：
其他好文 时间：
2019-07-16 10:33:31
阅读次数：
212
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： 查看yarn日志，一样也是空指针异常，还有个提示是No plan file found: hdfs://... 查看hive源码，发现gWork为null，导致空指针异常 接着查看Util ...
分类：
编程语言 时间：
2019-07-15 17:36:26
阅读次数：
545
1. 确保本机电脑安装了yarn和node： 2. 在需要安装的文件夹目录下输入：create-react-app +（项目名称）: PS：上图使用的软件为webStorm 3. 此时一个简单的react项目就已经创建好了， react 项目目录下的文件的意思： ①. public: 文件夹中是 i ...
分类：
其他好文 时间：
2019-07-14 13:12:51
阅读次数：
91
学习vue等前端开发需要安装node.js。它是js包的管理工具，个人理解相当于java的maven。 在开发之前需要安装node.js和yarm.关于什么npm和yarn之间的区别，请网上找资料。有了管理包的管理工具，还需要安装代码编辑工具，我的是vs code. yarn安装 + 先下载node ...
分类：
Web程序 时间：
2019-07-10 18:52:32
阅读次数：
291
1.Hadoop a.概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构 b.组成：Hadoop = HDFS (文件系统) + Mapreduce (数据处理) 2.安装 a.配置Java运行环境 b.从官网下载 Hadoop 并解压，地址：http://hadoop.apac ...
分类：
其他好文 时间：
2019-07-05 10:57:52
阅读次数：
106
