非阻塞的程序 应该保障的一些特性 : 等待无关性wait-free:能确保每次的调用在有限的步数之内完成,不管其他调用的步骤有多少。杀掉几个线程 锁无关性lock-free:执行这段程序的某些线程会被延迟,但必须确保至少...
分类:
其他好文 时间:
2014-07-22 09:10:35
阅读次数:
374
1.1 Spark交互式分析
运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。
./bin/pysp...
分类:
其他好文 时间:
2014-07-22 00:29:38
阅读次数:
239
?一、下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz? ?下载地址:spark1.0.0 scala-2.10.4.tgz ? ?下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址:hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类:
其他好文 时间:
2014-07-21 23:30:01
阅读次数:
525
1、上传所有同版本的包(Server、HighAvailability、LoadBalancer、ResilientStorage)到服务器任意路径/media2、删除所有原来系统默认安装的yum包括yum-metadata-parser-1.1.2-14.1.el6.x86_64、yum-3.2.27-14.el6.noarch、yum-utils-1.1.26-11.el6.noarch、yum-rhn-plugin-0.9...
分类:
其他好文 时间:
2014-07-21 12:17:35
阅读次数:
204
Asterisk PBX 有一套自定义的配置文件格式,通过一个内置的配置文件解析器(Parser)进行配置文件的读写操作。从 Asterisk 1.2 版本以后,配置文件的格式有了一些改进,增加了配置模板(template configuration)的支...
分类:
其他好文 时间:
2014-07-21 10:32:39
阅读次数:
308
介绍略 集群安装: 一.准备工作: 1.版本介绍: 目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择) 2.环境准备: 安装JDK6,目前使用版本为1.6,并配置JAV...
分类:
其他好文 时间:
2014-07-21 10:25:51
阅读次数:
173
jQuery插件之-jQuery URL ParserjQuery插件Query URL Parser用于解析URLs字符串。通过它我们可以方便地获取协议、主机、端口、查询参数、文件名、路径等等。在一些静态页面需要根据参数来调整一些内容的时候这个插件还是挺有用的。官方下载(托管在github):ht...
分类:
Web程序 时间:
2014-07-19 18:08:38
阅读次数:
323
这是一个神奇的语言。安装环境就够折腾了,居然还挑eclipse,最新的4.4居然不支持,要用4.3.2第一张都是些简单的概念介绍,但是通过第一张可以看出scala和其他语言的语法上存在较大的区别(当然根据我的知识范围也就是指的c#,Java)关键点:1.Scala中,我们不需要包装类型。 读到这里时...
分类:
其他好文 时间:
2014-07-19 14:16:06
阅读次数:
223
Gson是一种对象的解析json,很好用,介绍一个网站http://json.parser.online.fr/可以帮我们看一个字符串是不是Json
对于Json文件
{
"id" : "3232",
"data" : {
"data1" : {
"name" : "xiaoming",
"age" : "12"
}
}
}
如果...
分类:
其他好文 时间:
2014-07-18 22:37:26
阅读次数:
288
程序功能:收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类:
其他好文 时间:
2014-07-16 16:34:28
阅读次数:
299