此系列博客皆为学习Spring Batch时的一些笔记;Spring Batch的架构一个Batch Job是指一系列有序的Step的集合,它们作为预定义流程的一部分而被执行;Step代表一个自定义的工作单元,它是Job的主要构件块;每一个Step由三部分组成:ItemReader、ItemProc...
分类:
编程语言 时间:
2014-06-19 00:47:33
阅读次数:
472
hadoop 1.0 mapreduce过程主要问题:JobTracker 是 Map-reduce 的集中处理点,存在单点故障。JobTracker 完成了太多的任务,造成了过多的资源消耗,当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracke...
分类:
其他好文 时间:
2014-06-18 20:00:19
阅读次数:
377
bg和fgLinux/Unix 区别于微软平台最大的优点就是真正的多用户,多任务。因此在任务管理上也有别具特色的管理思想。我们知道,在 Windows 上面,我们要么让一个程序作为服务在后台一直运行,要么停止这个服务。而不能让程序在前台后台之间切换。而 Linux 提供了 fg 和 bg 命令,让你...
分类:
系统相关 时间:
2014-06-18 17:55:06
阅读次数:
226
/*--以下代码是对emp表进行显示宽度设置col empno for 9999;col ename for a10;col job for a10;col mgr for 9999; col hiredate for a12;col sal for 9999;col comm for 9999.....
分类:
数据库 时间:
2014-06-18 14:48:50
阅读次数:
242
/*以下代码是对emp表/dept表/salgrade表进行显示宽度设置 */col empno for 9999;col ename for a10;col job for a10;col mgr for 9999;col hiredate for a12;col sal for 9999;col...
分类:
数据库 时间:
2014-06-17 14:43:28
阅读次数:
416
測试版本号:CDH5.0,(Hadoop2.3)在使用windows调用Hadoop yarn平台的时候,一般都会遇到例如以下的错误:2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类:
其他好文 时间:
2014-06-17 00:51:07
阅读次数:
1853
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类:
其他好文 时间:
2014-06-16 21:24:47
阅读次数:
228
SQL> var loc varchar2(30)SQL> exec :loc:='South San Francisco'PL/SQL procedure successfully completed.SQL> SELECT 2 emp.last_name,emp.first_name,j.job_title,d.department_name,l.city,l.state_province,l...
分类:
其他好文 时间:
2014-06-15 13:23:58
阅读次数:
263
You are self-motivated.As a small business owner,you won't hava a boss to tell you when to get to work.If that's a problem,keep your day job.
You can work with number.You will spend a fair amount of time keeping track of money expenses,revenues,taxs...
分类:
其他好文 时间:
2014-06-14 12:10:26
阅读次数:
253
1、pig安装 1)解压,重命名、设置环境变量,同hadoop 2)编辑文件$PIG_HOME/conf/pig.properties,增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类:
其他好文 时间:
2014-06-14 11:40:40
阅读次数:
205