介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
这是一个神奇的语言。安装环境就够折腾了，居然还挑eclipse，最新的4.4居然不支持，要用4.3.2第一张都是些简单的概念介绍，但是通过第一张可以看出scala和其他语言的语法上存在较大的区别（当然根据我的知识范围也就是指的c#，Java）关键点：1.Scala中，我们不需要包装类型。 读到这里时...
分类：
其他好文 时间：
2014-07-19 14:16:06
阅读次数：
223
1. map函数map(函数A,字符串或者列表)map函数的意思是将函数A依次作用到字符串的每个字符或者列表的每个元素.例如:map(lambda x: x*x,[1,2])[1, 4]这里lambda是匿名函数,匿名函数的作用就是不用定义函数名.格式:lambda 参数: exp关于map函数,其...
分类：
编程语言 时间：
2014-07-18 08:13:48
阅读次数：
297
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
因为Spark的缘故，我们来看看另外一门语言——Scala，为什么要看这门语言呢？唉~其实你不看也没关系，只不过spark的内核就是用Scala写的，spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址：http://www.scala-lang.org/download/2.11.1.html
下载安装即可，这没什么好说的，如果不会，那我建议你也不要做开发了，回家...
分类：
系统相关 时间：
2014-07-16 17:36:24
阅读次数：
263
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
通常，一个类对应一个伴生对象，其方法就跟Java中的静态方法一样，举例：BigInt类的BigInt伴生对象有一个生成指定位数的随机素数的方法probablePrime，在REPL中运行下列代码：
object HelloWorld{
def main(args:Array[String]){
for( i
println(BigInt.probab...
分类：
其他好文 时间：
2014-07-11 00:58:23
阅读次数：
286
