1.Join Plugin功能介绍：这是一个触发job的插件，亮点在于它触发job的条件是等待当前job的所有下游job都完成才会发生.例：假如A同时触发B1和B2两个下游job，然后配置这个插件又触发C，这时C就会等B1和B2完成后再执行位置：位于构建后操作项中2.Copy Artifact Pl...
分类：
其他好文 时间：
2015-06-15 12:55:45
阅读次数：
119
1.Hive
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。
本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。...
分类：
其他好文 时间：
2015-06-15 00:18:25
阅读次数：
98
create table emp(empno number(4),ename varchar2(10),job varchar2(9),mgr number(4),hiredate date,sal number(7,2),comm number(7,2),deptno number(2))sel....
分类：
数据库 时间：
2015-06-14 21:23:44
阅读次数：
201
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true? spark.eventLog.dir hdfs://master:8020/var/log/spark? spark.eventLog.compress true spark-env.sh 增加如下内容 expo...
分类：
其他好文 时间：
2015-06-11 19:38:55
阅读次数：
180
SPARK_HOME/conf 下:spark-defaults.conf 增加如下内容spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress truespark-env.sh 增加如下内容export SPARK_HISTORY_OPTS=”-...
分类：
其他好文 时间：
2015-06-11 19:30:53
阅读次数：
147
Docker Daemon是Docker架构中运行在后台的守护进程，大致可以分为Docker Server、Engine和Job三部分。Docker Daemon可以认为是通过Docker Server模块接受Docker Client的请求，并在Engine中处理请求，然后根据请求类型，创建出指定...
分类：
其他好文 时间：
2015-06-11 18:43:30
阅读次数：
130
关于Kettle的事务和转换内步骤的顺序执行 近来有项目中遇到Kettle事务处理和转换内步骤顺序执行的问题。为此进行了研究，找到了一个解决办法。在Kettle中，一个Job内的转换，缺省是顺序执行的；一个转换内的步骤，缺省是并行执行的。但是，社区版不支持job内的事务处理，只支持转换内的事务。因此...
分类：
其他好文 时间：
2015-06-11 18:34:28
阅读次数：
715
Docker Daemon是Docker架构中运行在后台的守护进程，大致可以分为Docker Server、Engine和Job三部分。Docker Daemon可以认为是通过Docker Server模块接受Docker Client的请求，并在Engine中处理请求，然后根据请求类型，创建出指定的Job并运行，运行过程的作用有以下几种可能：向Docker
Registry获取镜像，通过gr...
分类：
其他好文 时间：
2015-06-11 16:55:01
阅读次数：
134
定义一个job：ranJob，设置每秒执行一次，设置不允许覆盖并发执行 java 代码public void execut...
分类：
编程语言 时间：
2015-06-11 16:27:53
阅读次数：
235
