背景：React使用create-react-app脚手架创建，然后yarn run eject暴露了配置之后修改less配置， 需求：实现antd组件按需加载与修改主题。 一开始是按照webpack.config.dev.js文件中的配置进行less的配置。 可以看到脚手架创建的config文件为 ...
分类：
其他好文 时间：
2018-10-18 11:44:50
阅读次数：
655
1.spark主要有四种运行模式：Loca 、standalone、yarn、mesos。 1）Local模式：在一台机器上，一般用于开发测试 2）standalone模式：完全独立的spark集群，不依赖其他集群，分为Master和work。 客户端向Master注册应用，Master向work发 ...
分类：
其他好文 时间：
2018-10-17 10:58:29
阅读次数：
232
spark-on-yarn-with-kubernetes 该例子仅用来说明具体的步骤划分和复杂性，在生产环境应用还有待验证，请谨慎使用。 过程中可能用到的概念和术语初步整理如下： 整个迁移过程分为如下几个步骤： 1. 将原有应用拆解为服务 我们不是一上来就开始做镜像，写配置，而是应该先梳理下要迁移 ...
分类：
Web程序 时间：
2018-10-14 11:22:02
阅读次数：
242
0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ] 启动 master + worker 进程 [ mesos ] -- [ Yarn ] -- 2. Spark ...
分类：
其他好文 时间：
2018-10-13 16:53:19
阅读次数：
118
Mapreduce的运算过程为两个阶段： 第一个阶段的map task相互独立，完全并行； 第二个阶段的reduce task也是相互独立，但依赖于上一阶段所有map task并发实例的输出； 这些task任务分布在多台机器运行，它的运行管理是有一个master负责，这个master由yarn负责启 ...
分类：
其他好文 时间：
2018-10-11 19:39:53
阅读次数：
176
Spark on YARN YARN概述 YARN是什么 Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用 ...
分类：
其他好文 时间：
2018-10-10 12:15:59
阅读次数：
149
一. Flink的下载 安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载 Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 二. Local模式 ...
分类：
其他好文 时间：
2018-10-09 18:11:10
阅读次数：
1484
namenode节点上配置Map/Reduce计算引擎跑在yarn这个资源调度平台上；<property><name>mapreduce.framework.name</name><value>yarn</value></property>namenode配置yarn-site.xml文件指定resourcemanager在m
分类：
其他好文 时间：
2018-10-09 17:06:08
阅读次数：
283
Spark on Yarn with Hive实战案例与常见问题解决
分类：
其他好文 时间：
2018-10-09 11:39:41
阅读次数：
208
