此系列博客皆为学习Spring Batch时的一些笔记；Spring Batch的架构一个Batch Job是指一系列有序的Step的集合，它们作为预定义流程的一部分而被执行；Step代表一个自定义的工作单元，它是Job的主要构件块；每一个Step由三部分组成：ItemReader、ItemProc...
分类：
编程语言 时间：
2014-06-19 00:47:33
阅读次数：
472
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
这个需求是公司有个文控中心，如果有用增删改了文件信息希望可以发邮件通知到有权限的人。当然方式很多。这里是用数据库作业来完成JOB+Com，这里用的com组件是Jmail当然你需要把com组件放到system32下面下面是实现方式CREATE
PROC dbo.dcc_Send_EmailASBEGI...
分类：
数据库 时间：
2014-06-16 06:42:34
阅读次数：
386
SQL> var loc varchar2(30)SQL> exec :loc:='South San Francisco'PL/SQL procedure successfully completed.SQL> SELECT 2 emp.last_name,emp.first_name,j.job_title,d.department_name,l.city,l.state_province,l...
分类：
其他好文 时间：
2014-06-15 13:23:58
阅读次数：
263
GraphLab是一个面向大规模机器学习/图计算的分布式内存计算框架，由CMU在2009年开始做，这里的内容是基于论文Low, Yucheng, et al. "Distributed GraphLab: A Framework for Machine Learning in the Cloud" ...
分类：
其他好文 时间：
2014-06-15 00:09:58
阅读次数：
326
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
Petuum是一个分布式机器学习专用计算框架，本文介绍其架构，并基于文章 More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server，NIPS 2013 重点探讨其核心内容SSP协议。主要思想Para...
分类：
其他好文 时间：
2014-06-14 20:39:34
阅读次数：
261
You are self-motivated.As a small business owner,you won't hava a boss to tell you when to get to work.If that's a problem,keep your day job.
You can work with number.You will spend a fair amount of time keeping track of money expenses,revenues,taxs...
分类：
其他好文 时间：
2014-06-14 12:10:26
阅读次数：
253
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
