图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些常见图算法在Spark上的并行化实现，同时提供了丰富的API接口。本...
分类：
其他好文 时间：
2014-06-12 21:33:34
阅读次数：
427
主要包含4个章节：1. Java 领域的即时通信的解决方案2. 搭建 Openfire
服务器3. 使用客户端测试我们搭建的 Openfire 服务器4. Smack 和 ASmack一、Java领域的即时通信的解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smac...
分类：
其他好文 时间：
2014-06-12 14:58:35
阅读次数：
405
1：引入的jar包1.X版本有hadoop-core包；而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib
+hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar
+\share\hadoo...
分类：
其他好文 时间：
2014-06-12 13:59:33
阅读次数：
255
实例描述：现有两个文件，dedu1.txt和dedu2.txt，数据文件中的每一行都是一个数据，现要对这两个文件进行去重，两个文件内容分别为（同颜色的表示重复的数据）：dedu1.txt：dedu2.txt：2012-3-1a2012-3-1b2012-3-2b2012-3-2a2012-3-3c2012-3-3b2012-3-4d2012-3-4d2012-3-5a2012..
分类：
其他好文 时间：
2014-06-10 22:21:15
阅读次数：
208
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建，在这里我使用了两台服务器，一台作为master即namenode主机，另一台作为slave即datanode主机，增加更多的slave只需重复slave部分的内容即可。系统版本：master：Ubuntu
12....
分类：
其他好文 时间：
2014-06-10 22:01:07
阅读次数：
423
1.准备工作jdk：eclipse：Maven：libprotoc
：https://developers.google.com/protocol-buffers/hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/添加开源中国mave...
分类：
系统相关 时间：
2014-06-10 17:07:37
阅读次数：
356
1：Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置：
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，...
分类：
其他好文 时间：
2014-06-10 14:47:43
阅读次数：
280
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Name...
分类：
其他好文 时间：
2014-06-10 12:40:13
阅读次数：
275
