本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
本篇文章中，我们将一起学习OpenCV中边缘检测的各种算子和滤波器——Canny算子,Sobel算子,Laplace算子以及Scharr滤波器。文章中包含了五个浅墨为大家准备的详细注释的博文配套源代码。在介绍四块知识点的时候分别一个，以及最后的综合示例中的一个。
依然是是放出一些程序运行截图吧： 效果图看完，我们来唠唠嗑。
首先，需要说明的是，浅墨这篇文章最后的示例代码是采用两周前刚刚发布的2.4.9来书写的。里面的lib都已经改成了2.4.9版本的。如果大家需要运行的话，要么配置好2.4.9.要么把浅墨...
分类：
其他好文 时间：
2014-05-13 05:26:03
阅读次数：
471
收入囊中
拉普拉斯算子LOG算子（高斯拉普拉斯算子）OpenCV Laplacian函数构建自己的拉普拉斯算子利用拉普拉斯算子进行图像的锐化
葵花宝典
在OpenCV2马拉松第14圈——边缘检测(Sobel,prewitt,roberts) 我们已经认识了3个一阶差分算子
拉普拉斯算子是二阶差分算子，为什么要加入二阶的算子呢？试想一下，如果图像中有噪声，噪声在一阶...
分类：
其他好文 时间：
2014-05-13 00:29:13
阅读次数：
630
收入囊中
差分在边缘检测的角色Sobel算子OpenCV sobel函数OpenCV Scharr函数prewitt算子Roberts算子
葵花宝典
差分在边缘检测到底有什么用呢？先看下面的图片
作为人，我们可以很容易发现图中红圈有边界，边界处肯定是非常明显，变化陡峭的，在数学中，什么可以表示变化的快慢，自然就是导数，微分了。
想像有如下的一维图片。
红圈处...
分类：
其他好文 时间：
2014-05-11 22:00:16
阅读次数：
569
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类：
其他好文 时间：
2014-05-11 02:06:21
阅读次数：
368
