############################模块############################ 查看模块列表——module salt ‘minion’ sys.list_modules 查看指定module的function用法 salt ‘minion’ sys.list_ ...
分类：
其他好文 时间：
2019-12-17 18:50:25
阅读次数：
210
介绍： 守护进程(daemon)是一类在后台运行的特殊进程，用于执行特定的系统任务。很多守护进程在系统引导的时候启动，并且一直运行直到系统关闭。另一些只在需要的时候才启动，完成任务后就自动结束。 守护进程是一个在后台运行并且不受任何终端控制的进程。Unix操作系统有很多典型的守护进程(其数目根据需要 ...
分类：
系统相关 时间：
2019-12-17 18:17:30
阅读次数：
84
如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下： 会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Com ...
1.1 本地运行器进行本地测试 写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。 1.1.1 本地任务执行器定义 package Temperature; im ...
分类：
其他好文 时间：
2019-12-15 12:37:28
阅读次数：
83
由于job每次被执行时都会创建一个新的实例， jobDetail实例时，要进行数据存储或者，特殊字段操作，需要每次schedul执行job时保留之前的数据， 那么就需要job在有状态下保持之前的数据信息，从而避免每次scheduler从新创建新的实例的无状态、 JobDetail jobDetail ...
分类：
其他好文 时间：
2019-12-14 17:30:08
阅读次数：
102
Hive的优化策略大致分为：配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数据倾斜解决方案。 回答的时候需要，需要准确的说出具体的配置参数，准确的说出具体的配置参数，这是一个深刻的教训。 配置优化 1-Fetch抓取配置 Fetch抓取是指，Hive中对某些情况 ...
分类：
其他好文 时间：
2019-12-14 15:44:09
阅读次数：
109
1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
updateImgList() { const reg = /\.(\w+)$/ const __arrPromise__ = [] const self = this for (let i = 0; i < self.totalPicture[self.pageNum].length; i++) ...
分类：
其他好文 时间：
2019-12-13 13:38:48
阅读次数：
103
多表查询 BONUS表 ENAME JOB SAL COMM DEPT表 DEPTNO DNAME LOC 1 10 ACCOUNTING NEW YORK 2 20 RESEARCH DALLAS 3 30 SALES CHICAGO 4 40 OPERATIONS BOSTON EMP表 EMP ...
分类：
数据库 时间：
2019-12-12 23:50:37
阅读次数：
117
PS：在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark ...
分类：
其他好文 时间：
2019-12-12 15:18:31
阅读次数：
132
