scala真是个非常灵活的语言，这里还是总结下函数定义的几种情况吧。...
分类：
其他好文 时间：
2015-03-05 16:56:01
阅读次数：
107
Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可以是Parquet文件，...
分类：
数据库 时间：
2015-03-05 16:11:41
阅读次数：
268
为spark编写UDFcache：作业介绍https://github.com/cs186-spring15/course/tree/master/hw2我花了点时间做了下，觉得是学习sparksql和scala的好材料。现在把我写的作业记录如下：Task#1:ImplementingDiskPartitionandGeneralDiskHashedRelationTask#2:ImplementingobjectDiskHa..
分类：
其他好文 时间：
2015-03-05 15:01:48
阅读次数：
306
无参方法 功能：将方法的定义转换为属性字段的定义； 作用范围：方法中没有参数，并且方法仅能通过读取所包含的对象属性去访问可变状态，而不改变可变状态，就可使用无参方法； 例子： abstract class Element{ def texts:String } class Sub1Element(t...
分类：
其他好文 时间：
2015-03-03 11:24:00
阅读次数：
457
一天一段scala代码（九）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
import scala.io.Source
object Example9 extends App {
val source = Source.fromF...
分类：
其他好文 时间：
2015-02-27 20:18:13
阅读次数：
243
一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的..
分类：
其他好文 时间：
2015-02-27 18:34:20
阅读次数：
205
变量
获取变量的值是一个耗时的工作时，可以考虑使用lazy var.
lazy val forLater = someTimeConsumingOperation()
scala> val first :: rest = List(1, 2, 3)
first: Int = 1
rest: List[Int] = List(2, 3)
函数定义
“=”并不只是...
分类：
其他好文 时间：
2015-02-27 10:11:20
阅读次数：
163
昨天在Debian环境下安装了Scala，使用apt-get方式安装的，版本只到2.9.2，而网站上的版本却是2.11，不过用apt-get安装的比较方便，也就认了。 ? ? ? ?同时还安装了ANT（1.8.2），准备手动方式安装...
分类：
其他好文 时间：
2015-02-24 15:12:26
阅读次数：
131
####定长数组 ``` val n = new Array[Int](10) val s = new Array[String](10) val a = new Array("hello", "world") ``` ####变长数组 ``` import scala.collection.mutable.ArrayBuffer val b = new ArrayBuffe...
分类：
编程语言 时间：
2015-02-22 06:49:53
阅读次数：
224
