Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 ...
分类：
其他好文 时间：
2019-02-23 10:48:52
阅读次数：
205
第6章 Hadoop企业优化（重中之重）6.1 MapReduce 跑的慢的原因6.2 MapReduce优化方法6.2.1 数据输入6.2.2 Map阶段6.2.3 Reduce阶段6.2.4 I/O传输6.2.5 数据倾斜问题6.2.6 常用的调优参数6.3 HDFS小文件优化方法6.3.1 H ...
分类：
其他好文 时间：
2019-02-21 00:11:15
阅读次数：
172
1. select * from emp; 2. select empno, ename, job from emp; 3. select empno 编号, ename 姓名, job 工作 from emp; 4. select job from emp; 5. select distinct ...
分类：
数据库 时间：
2019-02-20 20:09:50
阅读次数：
239
最近在熟悉gitlab + gitlab-ci + slack，实现可持续集成，对开发流程实现自动化。1. Ubuntu 16.04搭建GitLab服务器 参考：https://www.linuxidc.com/Linux/2018-01/150319.htm 2. This job is stuc... ...
分类：
其他好文 时间：
2019-02-20 19:58:42
阅读次数：
267
代码#AuthorKangclassPerson(object):#类的定义，object固定写法def__init__(self,name,age,job):#类的构造函数，即类的初始化self.Name=nameself.Age=ageself.Job=jobdefintroduce(self):#类的方法message=‘‘‘----------Information---------Nam
分类：
编程语言 时间：
2019-02-20 17:15:29
阅读次数：
145
2019/2/19星期二MapReduce计算框架高级特性程序运行并发度所谓的并发度，就是在MapReduce执行程序的过程中有多少个maptask进程和reducetask进程，来一起完成程序的处理。MapReduce就是把业务处理逻辑变成分布式来处理。reducetask数量的决定机制//全局的聚合操作由业务场景决定1、业务逻辑需要2、数据量大小设置方法：job.setNumReduceTas
分类：
其他好文 时间：
2019-02-19 15:14:40
阅读次数：
198
报错：ERROR!thistask‘cron‘hasextraparams,whichisonlyallowedinthefollowingmodules:command,win_command,shell,win_shell,script,include,include_vars,add_host,group_by,set_fact,raw,meta解决：这个需要在job上加引号
分类：
其他好文 时间：
2019-02-19 15:13:41
阅读次数：
261
(1).Linux前台进程与后台进程的区别 前台进程：是在终端中运行的命令，那么该终端就为进程的控制终端，一旦这个终端关闭，这个进程也随之消失。 后台进程：也叫守护进程（Daemon），是运行在后台的一种特殊进程，不受终端控制，它不需要终端的交互；Linux的大多数服务器就是使用守护进程实现的。比如 ...
分类：
系统相关 时间：
2019-02-18 14:38:52
阅读次数：
158
第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin ...
分类：
其他好文 时间：
2019-02-16 00:07:17
阅读次数：
204
http://www.quartz-scheduler.org/ 项目中导入quartz包 新建2个job类 spring xml配置 启动运行项目即可看到每隔一段时间执行了方法。 ...
分类：
其他好文 时间：
2019-02-15 21:18:55
阅读次数：
214
