1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf...
分类：
数据库 时间：
2014-06-29 00:17:54
阅读次数：
415
EAM系统开发流程主要包括三个阶段： EAM系统分析 主要是通过规范EAM系统内的信息，进一步把它们整合成一个完整的EAM原型。具体的工作是定义EAM系统中的词汇和建立一组用来生成具有可重用和可配置的概念模型的规范。这些对实施具体系统有指导作用，并且是其基础，类似施工手册。例如，对于资产可以定义为一...
分类：
其他好文 时间：
2014-06-18 09:11:32
阅读次数：
193
要把struts2的action交给spring管理，这样spring才能帮struts2注入需要的的bean(一开始action是由struts初始化，所以想注入spring里面的bean是注入不了的)
struts2 的filter生成action的时候由spring管理
struts2向spring要action
struts2是主导（struts2有个插件，要action的时候向这个...
分类：
编程语言 时间：
2014-06-18 08:07:13
阅读次数：
196
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark
history serve...
分类：
其他好文 时间：
2014-06-18 07:45:40
阅读次数：
250
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
要在一个Flume Agent中定义数据流，你需要通过一个Channel将Source和Sink连接起来。你需要列出给定Agent的Source、Sink和Channel。一个Source可以指定多个Channel，但是一个Sink只能指定一个Channel。...
分类：
其他好文 时间：
2014-06-18 06:30:34
阅读次数：
306
应用需求：
网盘开发工作逐步进入各部分的整合阶段，当用户在客户端修改或新增加一个文件时，该文件要同步上传到服务器端对应的用户目录下，因此针对数据传输（即：上传、下载）这一块现在既定了三种传输方式，即：Ftp传输、HTTP传输以及基于UDT的传输。且这三种数据传输方式是可配的，可以通过不同的接口调用。相比这三种方式，基于UDT的大量文件传输是比较值得研究与创新的地方，它在底层是基于...
分类：
其他好文 时间：
2014-06-18 00:53:30
阅读次数：
390
本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。组成cluster的不同节点，启动时有没有固定的顺序，为什么是这样的顺序，针对这些问题，本文会做一个详尽的分析。
分类：
其他好文 时间：
2014-06-18 00:10:53
阅读次数：
253
1、Oracle中的SQL select count(1)from a_V_PWYZL_CUSTACCT_PSMIS t where not exists (select 1 from tb_show_multi_question q WHERE q.dqmp_rule_code = '仅比对系统有...
分类：
数据库 时间：
2014-06-17 23:29:32
阅读次数：
309
