Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
部分摘自：https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 ...
分类：
其他好文 时间：
2019-02-22 23:19:24
阅读次数：
187
1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， ...
分类：
其他好文 时间：
2019-02-19 21:17:52
阅读次数：
228
2019/2/19星期二yarn任务调度--capacityscheduler（容量调度）/fairscheduler（公平调度）由于集群资源有限，当无法满足众多application的资源请求时，yarn需要适当的策略对application的资源请求进行调度；Scheduler概述Yarn中实现的调度策略有三种：FIFO/Capacity/FairSchedulers（1）FIFOSchedu
分类：
其他好文 时间：
2019-02-19 16:24:07
阅读次数：
211
2019/2/18星期一yarn知识体系总结Yarn产生的原因（1）MapreduceV1中，jobtracker存在瓶颈：集群上运行的所有mr程序都有jobtracker来调度SPOF单点故障职责划分不清晰（2）将jobtracker的职责划分成两个部分：?资源调度与管理：由统一的资源调度平台（集群）来实现（yarn）?任务监控与管理：A、每一个application运行时拥有一个自己的任务监控
分类：
其他好文 时间：
2019-02-19 11:54:33
阅读次数：
193
HIVE-如何查看执行日志 HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程 2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程 ...
分类：
其他好文 时间：
2019-02-17 23:57:37
阅读次数：
394
React项目的初始化、webpack的安装、如何使用jsx和less。 一、初始 React 项目 react项目的初始化比较简单，我用的就是react的脚手架。三种方式： 1、NPM 2、NPX 3、Yarn my-app 是项目的名字，运行命令时会在当前目录下自动创建一个名字叫作 my-app ...
分类：
Web程序 时间：
2019-02-14 00:19:46
阅读次数：
830
【From】 https://www.cnblogs.com/weiweifeng/p/8073553.html#undefined spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark ...
分类：
其他好文 时间：
2019-02-11 19:50:48
阅读次数：
197
一般我们都是使用nodejs 自身的npm 或者yarn进行 npm 包的开发（包括构建），但是随着强类型的开发模式 在实际web 的开发中越来越重要，大家一般都会选择使用typescript 等js 的超集语言进行web 开发。 pack 就是一款方便我们进行npm 包构建同时帮助我们生成type ...
分类：
其他好文 时间：
2019-02-08 15:54:01
阅读次数：
1804
pipenv 将 composer、bundler、npm、yarn、cargo 等比较方便的包管理工具添加到了python 语言中，可以 帮助我们自动的管理virtualenv ，同时可以方便的从pipefile 中添加或者移除包 pipenv 解决的问题 我们不用在独立的使用pip 以及viru ...
分类：
编程语言 时间：
2019-02-04 19:43:12
阅读次数：
250
