近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
概述了解Quartz体系结构Quartz对任务调度的领域问题进行了高度的抽象，提出了调度器、任务和触发器这3个核心的概念，并在org.quartz通过接口和类对重要的这些核心概念进行描述：●Job：是一个接口，只有一个方法void execute(JobExecutionContext contex...
分类：
其他好文 时间：
2014-08-17 15:31:22
阅读次数：
221
一次性计划任务 at /etc/init.d/atd[root@localhost ~]# at 22:18at> /bin/ls /etc |wc -l > /tmp/yimiao_demo.txt #ctrl+d提交计划任务,执行的命令用绝对路径，避免产生错误，可用which查看at> job ...
分类：
系统相关 时间：
2014-08-17 15:28:22
阅读次数：
279
一. 业务需求:
实际工作中我们通常会遇到这样的需求: 使用Ajax技术每隔几秒从缓存或数据库中读取一些数据, 然后再显示在页面上, 目前有一个比较好的定时调度框架: quartz可以满足我们的需求.
二. 核心类:
Job: 一个接口只有一个方法void execute(),我们需要执行任务就需要实现这个接口，在execute中实现我们要做的事情。
JobDe...
分类：
其他好文 时间：
2014-08-17 14:22:52
阅读次数：
200
Problem Description
Weiwei is a software engineer of ShiningSoft. He has just excellently fulfilled a software project with his fellow workers. His boss is so satisfied with their job that he decid...
分类：
其他好文 时间：
2014-08-17 11:50:02
阅读次数：
338
上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr...
分类：
其他好文 时间：
2014-08-17 03:45:51
阅读次数：
383
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
数据库同步是一种比较常用的功能。以下结合我自己的体会整理的，如果有理解不完全或者有误的地方望大牛不理赐教。下面介绍的就是数据库同步的两种方式： 1、SQL JOB的方式 sql Job的方式同步数据库就是通过SQL语句，将一个数据源中的数据同步到目标数据库中。特点是它可以灵活的通过SQL的方...
分类：
数据库 时间：
2014-08-17 02:16:01
阅读次数：
318
一. 核心类
1. Job: 表示一个工作, 具体的业务处理都在这里.
2. JobDetail: 表示一个具体的可执行的调度程序.
3. Trigger: 用于调度参数的配置(什么时候去调用Job).
4. Scheduler: 表示一个调度容器, 容器中有一个线程池, 用来并行调度执行每个作业, 一个调度容器中可以注册多个JobDetail和Trigger....
分类：
编程语言 时间：
2014-08-16 23:50:21
阅读次数：
292
最近碰到了一个众所周知的32bit的 SSIS 包在64bit的SQL Server环境的执行问题. 我看了一些解决方案,比如修改在SSDT里面修改 debug 选项(Run64BitRuntime = false) 或者建立一个job执行的时候强制以32bit方式运行. 不过我发现这些方式并不合适...
分类：
其他好文 时间：
2014-08-15 15:58:18
阅读次数：
230
