一、常见资源对象 常见的资源对象：（包括但不仅限于） l Workload: Pod，ReplicaSet，Deployment，StatefulSet，DaemonSet，Job，Cronjob l 服务发现及均衡：Service，Ingress…… l 配置与存储：Volume，CSI（扩展第三 ...
分类：
其他好文 时间：
2019-12-20 12:16:35
阅读次数：
109
flink on yarn模式下两种提交job方式 https://juejin.im/post/5bf8dd7a51882507e94b8b15 https://www.cnblogs.com/asker009/p/11327533.html https://ci.apache.org/proje ...
分类：
其他好文 时间：
2019-12-19 13:04:44
阅读次数：
167
1.基本用法apiVersion:v1kind:Pod#创建的资源类型可以是，Deployment、Job、Ingress、Service等metadata:#包含Pod的一些meta信息，比如名称、namespace、标签等信息name:ng1#Podnamelabels:#标签app:webspec:containers:-name:ng1#容器nameimage:hub.c.163.com/
分类：
Web程序 时间：
2019-12-18 09:31:33
阅读次数：
122
错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 解决办法： 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类：
其他好文 时间：
2019-12-18 00:03:59
阅读次数：
915
User scenario An example from sap "help" For a car, the interior, the engine capacity, and the exterior paint color can vary, for example. When the cu ...
分类：
其他好文 时间：
2019-12-17 20:14:53
阅读次数：
70
############################模块############################ 查看模块列表——module salt ‘minion’ sys.list_modules 查看指定module的function用法 salt ‘minion’ sys.list_ ...
分类：
其他好文 时间：
2019-12-17 18:50:25
阅读次数：
210
如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下： 会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Com ...
1.1 本地运行器进行本地测试 写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。 1.1.1 本地任务执行器定义 package Temperature; im ...
分类：
其他好文 时间：
2019-12-15 12:37:28
阅读次数：
83
由于job每次被执行时都会创建一个新的实例， jobDetail实例时，要进行数据存储或者，特殊字段操作，需要每次schedul执行job时保留之前的数据， 那么就需要job在有状态下保持之前的数据信息，从而避免每次scheduler从新创建新的实例的无状态、 JobDetail jobDetail ...
分类：
其他好文 时间：
2019-12-14 17:30:08
阅读次数：
102
Hive的优化策略大致分为：配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数据倾斜解决方案。 回答的时候需要，需要准确的说出具体的配置参数，准确的说出具体的配置参数，这是一个深刻的教训。 配置优化 1-Fetch抓取配置 Fetch抓取是指，Hive中对某些情况 ...
分类：
其他好文 时间：
2019-12-14 15:44:09
阅读次数：
109
