xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init(event)">
import mx.core.IVisualElement;
import mx.core.IVisualElementContai...
分类：
其他好文 时间：
2014-07-22 23:05:55
阅读次数：
338
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
上一篇的项目只有一个单独的模板页面，加入了相应的controller，filter，使得页面上的数据能够动态的变化。现在我们开始建立并整合多个模板，加入购物车模块和结账checkout模块。一、在页面中处理Ajax的错误在storesSport.js中我们已经有了在申请Ajax请求错误时候的处理代码...
分类：
Web程序 时间：
2014-05-05 23:38:30
阅读次数：
559
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
站在客户视角，一个系统，包括业务配置（是否启用某某功能，设置该功能的参数），包括业务数据（对业务运营过程产生的数据的分析和统计，用来反应系统的实际价值），包括硬件设备的外观和物理接口（开关、指示灯、输入输出端口，各子设备端口之间的连接线）。站在开发者视角，一个系统，包括各个业务，每个业务涉及的硬件设...
分类：
其他好文 时间：
2014-05-04 12:24:39
阅读次数：
272
标记有（*）要着重了解：
（1）alias（别名拦截器）：允许参数在跨越多个请求时使用不同别名，该拦截器可将多个Action采用不同名字链接起来，然后用于处理同一信息。
（2）autowiring（自动装配拦截器）：主要用于当Struts2和Spring整合时，Struts2可以使用自动装配的方.....
分类：
其他好文 时间：
2014-05-03 22:16:48
阅读次数：
272
如果使用hiberante作为dao层，常用的方式是：定义一个dao层接口包（com.dao.service）然后在定义一个dao层接口实现包（com.dao.service.impl），这样定义结构清晰，方便维护和开发工作。如果使用mybatis作为dao层，我们就可以省略到dao实现包，直接将sql实现在xml配置文件中编写，这样维护起来更方便了！
首先将mybatis整合到spring中：...
分类：
其他好文 时间：
2014-05-03 16:31:42
阅读次数：
318
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
学习一个框架，个人觉得不是从什么start开始，而是从官方的demo开始，先将demo跑起来，了解到这个框架做了什么，可以实现那些功能、对框架有了一个整合的宏观概念！
demo看得差不多后再看官方wend，这样的效率会高很多，少走一些弯路！
mybatis官网中有个demo：jpetstore-6-mybatis-jpetstore-*，该demo主要是一个宠物网站的应用，实现了常用的功能如：...
分类：
其他好文 时间：
2014-05-03 15:46:17
阅读次数：
296
很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。
目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。
Github...
分类：
其他好文 时间：
2014-04-30 22:15:39
阅读次数：
360
