码迷,mamicode.com
首页 >  
搜索关键字:spark streaming jobscheduler    ( 7564个结果
在linux中部署java项目
http://172.18.2.150/svn/svnroot/project/X3/dbmanager mvn clean compile 是在pom.xml同级目录下输入这个命令是吧 mvn install:install-file -Dfile="E:\gridgain\gridgain-streaming-1.1-win\distro\gridgain-streami...
分类:编程语言   时间:2015-01-16 14:45:01    阅读次数:288
Flex【原创】首尾相连的循环文本滚动简单实现
思路比较简单,准备一个主文本的副本用于辅助滚动,当主文本滚动出界时辅助文本开始滚动。不废话,上代码。 1 2 7 8 9 @namespace s "library://ns.adobe.com/flex/spark"; 10 @na...
分类:其他好文   时间:2015-01-16 14:32:05    阅读次数:237
搭建Spark分布式集群
搭建Spark分布式集群...
分类:其他好文   时间:2015-01-15 20:28:07    阅读次数:374
大数据的实时技术
目前实时或者是准实时的大数据模型越来越多,技术是否先进并非流行的首要原因,社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎,将sql翻译为Map-Reduce任务;Shark- 基于spark计算框架,与Hi...
分类:其他好文   时间:2015-01-15 20:08:35    阅读次数:256
搭建nginx流媒体服务器(支持HLS)
环境搭建(一)下载源代码nginx,地址:http://nginx.org/可以选择需要的版本下载nginx_mod_h264_streaming-2.2.7.tar.gz ,支持MP4流,具体的说明在下面的这个网页http://h264.code-shop.com/trac/wiki/Mod-H2...
分类:其他好文   时间:2015-01-15 19:59:29    阅读次数:812
XMPP(一)-openfire服务端的安装和搭建
XMPP全称:可扩展通讯和表示协议 简介:可扩展通讯和表示协议 (XMPP) 可用于服务类实时通讯、表示和需求响应服务中的XML数据元流式传输。XMPP以Jabber协议为基础,而Jabber是即时通讯中常用的开放式协议。XMPP is the IETF's formalization of the base XML streaming protocols for instant mes...
分类:其他好文   时间:2015-01-15 12:55:40    阅读次数:277
Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
准备工作:1、笔记本4G内存 ,操作系统WIN72、工具VMware Workstation3、虚拟机:CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件,进行实验测试)实验环境:Hadoop HA集群:Iphostnamerole192.168.249.13...
分类:其他好文   时间:2015-01-15 12:38:41    阅读次数:237
Scala first trial
scala是一种将面向对象和函数式编程相结合的语言,在spark中大显身手,在大数据时代下,不会scala都不敢说自己是搞大数据的。前段时间参加BDTC2014大数据会议时,spark的贡献者,陈超老师也极力推荐scala,看来scala在今后的大数据中,将扮演越来越重要的角色。尤其是现在,spar...
分类:其他好文   时间:2015-01-15 12:26:17    阅读次数:246
linux logrotate 日志文件roll up
log rotatevi /etc/logrotate.d/spark :/apps/svr/spark-1.1.1-bin-cdh4/logs/mercury-spark-span.log{ notifempty daily rotate 5 compress olddir /apps/svr/s...
分类:系统相关   时间:2015-01-14 21:13:49    阅读次数:304
SparkStreaming找不到reduceByKey的解决方法
今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:packagecom.company.scala.lk importorg.apache.spark.streaming._ /** *Createdbykaion15/1/14. */ objectSparkStreamingTest{ defloadFile():Unit={ valssc=newStrea..
分类:其他好文   时间:2015-01-14 18:21:00    阅读次数:256
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!