码迷,mamicode.com
首页 >  
搜索关键字:spark streaming updatestatebykey    ( 7560个结果
Spark教程-构建Spark集群-运行Ubuntu系统(1)
为了简化权限等问题,下面我们以root用户的身份登录和使用Ubuntu系统,而Ubuntu在默认情况下并没有开启root用户,这需要我们做如下设置:sudo -s进入 root用户权限模式vim/etc/lightdm/lightdm.conf[SeatDefaults]greeter-sessio...
分类:其他好文   时间:2014-08-12 12:52:14    阅读次数:230
MapReduce介绍
13年初整理的一个关于MapReduce的简单介绍和总结,希望对大家有所帮助,同学欢迎交流JVM、Spark、Hadoop等技术。...
分类:其他好文   时间:2014-08-11 21:29:42    阅读次数:251
RTP与RTCP协议详解
1.流媒体( Streaming Media) 1.1流媒体概念 流媒体技术是网络技术和多媒体技术发展到一定阶段的产物。术语流媒体既可以指在网上传输连续时基媒体的流式技术,也可以指使用流式技术的连续时基媒体本身。在网上传输...
分类:其他好文   时间:2014-08-11 18:21:43    阅读次数:234
Apache Spark技术实战之2 -- PackratParsers实例
通过一个简明的Demo程序来说明如何使用scala中的PackratParsers
分类:其他好文   时间:2014-08-11 14:50:32    阅读次数:214
Spark学习体系
底理解Spark,能够分为以下几个层次。1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中,理解其基本操作步骤。 安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 ...
分类:其他好文   时间:2014-08-11 14:38:42    阅读次数:247
使用Tomcat实现基于iframe streaming的Comet聊天室
这是一个基于Comet实现的聊天室Demo,功能类似于QQ群聊。聊天过程中如果有新想消息,那么就需要服务器推送消息到浏览器,所以这里可以使用Comet技术。 Comet一般有两种实现方式:长轮询(long-polling)、流(streaming)。而本文中的这个Demo的实现方式是基于流(streaming),前端使用了一个隐藏的iframe,这也是比较常用的一种方式。不过由于使用iframe流,导致浏览器上面的进度一直在转,这是因为iframe一直在加载的原因,先不要在意这些细节。 Tomcat提供了C...
分类:其他好文   时间:2014-08-11 10:09:52    阅读次数:213
Python基础篇(七)
加上两个下划线变量或者方法变为私有。 >>> class Bird: ... __song = "spark" ... def sing(self): ... return self.__song ... >>> b = Bird() >>> b.sing() 'spark' ...
分类:编程语言   时间:2014-08-10 18:12:40    阅读次数:284
Spark&Spark性能调优实战
Spark特别适用于多次操作特定的数据,分mem-only和mem & disk。其中mem-only:效率高,但占用大量的内存,成本很高;mem & disk:内存用完后,会自动向磁盘迁移,解决了内存不足的问题,却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析: 1、场景:精确客户群 对一个容量为300g的客...
分类:其他好文   时间:2014-08-09 23:19:39    阅读次数:301
Jackson 概述
原文地址 本文内容 JSON 的三种方式 示例 Full Data Binding (POJO) 示例 "Raw" Data Binding 示例 用泛型数据绑定 Tree Model 示例 Streaming API 示例 Streaming API 示例 2: 数组 ...
分类:其他好文   时间:2014-08-08 01:30:45    阅读次数:400
Hive Python Streaming的原理及写法
在Hive中,需要实现Hive中的函数无法实现的功能时,就可以用Streaming来实现。其原理可以理解成:用HQL语句之外的语言,如Python、Shell来实现这些功能,同时配合HQL语句,以实现特殊的功能。 比如,我有一张不同网站访问的日志表,其中有两个列是url和ref,分别代表当前访问的网址和来源地址,我想要查看用户的来源,即看用户都是从那些网站跳到这些网站上去的,这里有些网站可能域名...
分类:编程语言   时间:2014-08-07 23:21:44    阅读次数:448
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!