码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
2014.8.12-AKKA和Actor model 分布式开发环境学习小结
学习使用AKKA 断断续续有一年了。目前还是习惯用java来写akka下面的程序。对于原生的scala还是没有时间和兴趣去学习它。 毕竟学习一门语言需要兴趣和时间的。  AKKA学习资源还是不算丰富。 看过最多的就是官方的编程手册,还有就是AKKA Essentials 这两本。  自己动手写的程序还不算多,也放在github上面。 另外,在akka编译配置、升级版本上,以及部署多台服务...
分类:其他好文   时间:2014-08-13 03:36:35    阅读次数:246
Spark1.0.x入门指南
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类:其他好文   时间:2014-08-12 17:45:25    阅读次数:278
Spark教程-构建Spark集群-运行Ubuntu系统(1)
为了简化权限等问题,下面我们以root用户的身份登录和使用Ubuntu系统,而Ubuntu在默认情况下并没有开启root用户,这需要我们做如下设置:sudo -s进入 root用户权限模式vim/etc/lightdm/lightdm.conf[SeatDefaults]greeter-sessio...
分类:其他好文   时间:2014-08-12 12:52:14    阅读次数:230
MapReduce介绍
13年初整理的一个关于MapReduce的简单介绍和总结,希望对大家有所帮助,同学欢迎交流JVM、Spark、Hadoop等技术。...
分类:其他好文   时间:2014-08-11 21:29:42    阅读次数:251
Apache Spark技术实战之2 -- PackratParsers实例
通过一个简明的Demo程序来说明如何使用scala中的PackratParsers
分类:其他好文   时间:2014-08-11 14:50:32    阅读次数:214
Spark学习体系
底理解Spark,能够分为以下几个层次。1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中,理解其基本操作步骤。 安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 ...
分类:其他好文   时间:2014-08-11 14:38:42    阅读次数:247
Python基础篇(七)
加上两个下划线变量或者方法变为私有。 >>> class Bird: ... __song = "spark" ... def sing(self): ... return self.__song ... >>> b = Bird() >>> b.sing() 'spark' ...
分类:编程语言   时间:2014-08-10 18:12:40    阅读次数:284
mac环境下使用emacs开发scala
好多人都会问 scala 的编辑工具...
分类:其他好文   时间:2014-08-10 15:49:10    阅读次数:254
Spark&Spark性能调优实战
Spark特别适用于多次操作特定的数据,分mem-only和mem & disk。其中mem-only:效率高,但占用大量的内存,成本很高;mem & disk:内存用完后,会自动向磁盘迁移,解决了内存不足的问题,却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析: 1、场景:精确客户群 对一个容量为300g的客...
分类:其他好文   时间:2014-08-09 23:19:39    阅读次数:301
Swift中的类似scala的foldleft方法的实现
extensionArray{ funcfoldLeft(a:T,action:(T,T)->T)->T{ varret:T=a forb:Tinself{ ret=action(ret,b) } returnret } }把这个放到项目当中任何一个swift文件当中,即可全局访问。示例:求最小值vart=[1,3,5,4,9,100,6,-2] letb=t.foldLeft(t[0],action:{a,binifa<b{r..
分类:其他好文   时间:2014-08-08 09:45:16    阅读次数:223
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!