一天一段scala代码(十三)
为了更好的驾驭spark,最近在学习scala语言特性,主要看《快学scala》,顺便把一些自己认为有用的代码记下来。
package examples
object Example13 extends App{
//可变集合和不可变集合
val iMap = scala.collectio...
分类:
其他好文 时间:
2015-04-03 21:07:19
阅读次数:
147
一天一段scala代码(十二)
为了更好的驾驭spark,最近在学习scala语言特性,主要看《快学scala》,顺便把一些自己认为有用的代码记下来。
package examples
object Example12 extends App{
def mulBy1(factor:Double)=(x:Double)=>factor*x...
分类:
其他好文 时间:
2015-04-03 19:28:17
阅读次数:
124
摘要:DataFrame API的引入一改RDD API高冷的FP姿态,令Spark变得更加平易近人。外部数据源API体现出的则是兼容并蓄,Spark SQL多元一体的结构化数据处理能力正在逐渐释放。
关于作者:连城,Databricks工程师,Spark committer,Spark SQL主要开发者之一。在4月18日召开的 2015 Spark技术峰会 上,连城将做名为“四两拨千斤...
分类:
数据库 时间:
2015-04-03 19:26:28
阅读次数:
322
Tachyon是什么? Tachyon是一个高性能、高容错、基于内存的开源分布式存储系统,并具有类Java的文件API、插件式的底层文件系统、兼容Hadoop MapReduce和Apache Spark等特征。Tachyon能够为集群框架(如Spark、MapReduce等)提供内存级速度的跨集...
分类:
其他好文 时间:
2015-04-03 15:15:09
阅读次数:
196
一天一段scala代码(十一)
为了更好的驾驭spark,最近在学习scala语言特性,主要看《快学scala》,顺便把一些自己认为有用的代码记下来。
package examples
class Fraction(n:Int,d:Int)
{
private val num =n
private val den=d
def *...
分类:
其他好文 时间:
2015-04-02 22:40:34
阅读次数:
181
大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读本文章:.....
分类:
其他好文 时间:
2015-04-02 22:20:20
阅读次数:
201
准备转型做点spark相关的事情,开始学习scala,对于初学者来讲,用eclipse开发scala有点太重了,因此用上sublime text1)参考资料:http://developer.51cto.com/art/201401/426592.htmhttp://heipark.iteye.co...
分类:
其他好文 时间:
2015-04-02 20:27:58
阅读次数:
267
一、 安装openfire1. 到官方站点下载openfire , 网站地址:http://www.igniterealtime.org/downloads/index.jsp#openfire这里有包含jre的版本和不包含jre的版本,建议下载不包含jre的版本,因为如果机器上安装了jdk,再下载...
分类:
其他好文 时间:
2015-04-02 18:48:18
阅读次数:
171
1、使用sort()对数组进行排序sort()函数可以对字母进行排序,如:$products=array('Tires','Oil','Spark Plugs');sort($products);现在,该数组所包含元素的顺序是:Oil、Spark Plugs、Tires。还可以按数字顺序进行排序。如...
分类:
编程语言 时间:
2015-04-02 16:21:41
阅读次数:
124
安装环境:集群中包括3个节点,1个master,2个slave,节点之间通过局域网连接,可以相互ping通,并可以互相ssh免密码登陆。节点IP地址分布如下:192.168.25.140 master192.168.25.141 slave1192.168.25.142 slave2软件版本:JDK...
分类:
其他好文 时间:
2015-04-02 14:58:08
阅读次数:
258