码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
MapReduce 编程 系列十二 用Hadoop Streaming技术集成newLISP脚本
本文环境和之前的Hadoop 1.x不同,是在Hadoop 2.x环境下测试。newLISP脚本,在stdin中读取数...
分类:其他好文   时间:2014-10-04 22:24:07    阅读次数:183
CH round #55 Streaming #6
T^T Saffah大神照样刷我这样诚心诚意想做一套NOIP模拟题的蒟蒻.第一题 九九归一好diao的名字...题意就是给定一队$n,q$,求在模$n$意义下一个数$x$自乘的循环节长度.当$x=0$时候输出$0$是吧............................................
分类:其他好文   时间:2014-10-04 22:09:57    阅读次数:343
CH Round #54 - Streaming #5 (NOIP模拟赛Day1)解题报告
最近参加了很多CH上的比赛呢~Rating--了。。题目各种跪烂。各种膜拜大神OTZZZT1珠描述萌蛋有n颗珠子,每一颗珠子都写有一个数字。萌蛋把它们用线串成了环。我们称一个数字串是有趣的,当且仅当它的第1位是2,且除了第1位以外的每一位都是3。例如,2,233,2333333都是有趣的数字串。现在...
分类:其他好文   时间:2014-10-04 20:32:17    阅读次数:484
Spark视频第2期:Shark、SparkSQL
Spark视频第2期:Shark、SparkSQL地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965王家林老师(邮箱:18610086859@126.com QQ: 17404...
分类:数据库   时间:2014-10-04 01:05:45    阅读次数:266
Spark视频第5期:Spark SQL架构和案例深入实战
Spark SQL架构和案例深入实战 视频地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱:18610086859@126.com QQ: 174041554...
分类:数据库   时间:2014-10-04 00:18:35    阅读次数:359
spark+hadoop+sqoop+hive平台bug解决方法
bug集锦1. hadoop平台datanode无法启动:原因: 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一,通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类:其他好文   时间:2014-10-02 23:55:33    阅读次数:205
Spark系列(二) Spark Shell各种操作及详细说明
并行化scala集合(Parallelize)//加载数据1~10val num=sc.parallelize(1 to 10)//每个数据项乘以2,注意 _*2记为一个函数(fun) val doublenum = num.map(_*2) //内存缓存数据doublenum.cache() //...
分类:其他好文   时间:2014-10-02 22:54:43    阅读次数:266
Spark1.0.0源码编译及安装
最近想对自己学的东西做些回顾,想到写博客是个不错的方式,方便他人也有利自己,刚开始写不足之处大家多担待。 编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile): Spark编译有提供了两种方式: Maven 在 /etc/profi...
分类:其他好文   时间:2014-10-02 21:24:03    阅读次数:412
Spark SQL 源码分析之 In-Memory Columnar Storage 之 in-memory query
Spark SQL源码分析之如何查询cache后的table...
分类:数据库   时间:2014-10-02 14:51:33    阅读次数:491
Spark技术内幕之任务调度:从SparkContext开始
SparkContext是开发Spark应用的入口,它负责和整个集群的交互,包括创建RDD,accumulators and broadcast variables。理解Spark的架构,需要从这个入口开始。...
分类:其他好文   时间:2014-10-01 22:56:01    阅读次数:276
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!