本文介绍安装spark单机环境的方法,可用于测试及开发。主要分成以下4部分:
(1)环境准备
(2)安装scala
(3)安装spark
(4)验证安装情况
1、环境准备
(1)配套软件版本要求:Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You wil...
分类:
其他好文 时间:
2015-04-27 15:14:49
阅读次数:
132
版权声明:本文由本人撰写并发表于2015年3月下半月的《程序员》杂志,原文题目《从字面量发现函数式编程》,本文版权归《程序员》杂志所有,未经许可不得转载。
引言
我相信很多像我一样初次接触函数式编程的程序员来说,对于“函数字面量”这个概念会感到迷惑和不解。伴随着深入地学习,在清晰地理解了这个概念之后,我进行了一些梳理和回溯,作为函数式编程思想延伸到最基层的语言元素,我深刻地觉得“函数字面量”这...
分类:
其他好文 时间:
2015-04-27 13:19:29
阅读次数:
136
一、背景 实习的时候做了一段时间php + web前端,然后入职的时候开始做基础运维(python)以及web前端,顺便写了一两个structs页面的后台代码(java),现在准备专职做spark相关业务(scala)。这些经历现在回想起来,真是乱如麻,当初是怎么扛下来的。 目前手上有10多台机.....
分类:
其他好文 时间:
2015-04-27 00:12:54
阅读次数:
168
本文叙述Collections里最常见的三种操作map, flatMap, filter,与For表达式的关系。List对三种方法的实现map在List的实现:abstract class List[+T] {
def map[U](f: T => U): List[U] = this match {
case x :: xs => f(x) :: xs.map(f)
case...
分类:
其他好文 时间:
2015-04-26 21:17:09
阅读次数:
530
这是一个挺能展现Scala编程方式的例子,对正在熟悉Scala这门语言的开发者很有帮助。Representing JSON用Scala来表达JSON(Java Script Object Notation)结构,{
"firstname" : "John",
"lastname" : "Smith",
"address" : {
"street" : "21 2nd Street...
分类:
Web程序 时间:
2015-04-26 19:48:43
阅读次数:
201
1. <fred/>(0) 得到什么?<fred/>(0)(0)呢?为什么? 回答:<fred/>(0) 得到一个scala.xml.Node,<fred/>(0)(0)也是得到scala.xml.Node。 因为scala.xml.Node 实现了方法?def apply(i: Int): Node,所以支持串接...
分类:
其他好文 时间:
2015-04-26 13:56:38
阅读次数:
290
package com.hengheng.scalaabstract class Animal { def walk(speed : Int) def breathe() = { println("Aninamal breathes.") }}trait Flyable { def...
分类:
其他好文 时间:
2015-04-26 13:48:05
阅读次数:
118
package com.hengheng.scalaclass Point(val x : Int, val y : Int) { val isOriginal : Boolean = { x == 0 && y == 0 }}class TalkPoint(x : Int, y : Int) .....
分类:
其他好文 时间:
2015-04-26 13:40:21
阅读次数:
112
package com.hengheng.scalaimport scala.util.control.Breaks._import scala.util.Randomobject Application{ def main(args : Array[String]) { println("...
分类:
其他好文 时间:
2015-04-26 12:21:47
阅读次数:
166
这个又让我想起来了PYTHON当中的CALL和APPLY,,真的是世界大同?传说中的运行时反射呢?:)package com.hengheng.scalaclass UsageOfApply {}class ApplyTest{ def apply() = "This is in Class." ....
分类:
移动开发 时间:
2015-04-26 10:46:43
阅读次数:
128