码迷,mamicode.com
首页 >  
搜索关键字:spark streaming updatestatebykey    ( 7560个结果
使用 jackson 解析 json 示例
首先需要下载3个包,下载地址在Github ,这三个核心模块分别是: Streaming ("jackson-core") defines low-level streaming API, and includes JSON-specific implementations Annotations ("jackson-annotations") contains standard Jack...
分类:Web程序   时间:2014-06-19 10:02:33    阅读次数:291
Hadoop Streaming 编程
1、概述Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer)$HADOOP_HOME/bi...
分类:其他好文   时间:2014-06-19 06:10:13    阅读次数:345
Spark 1.0.0版本号公布
前言今天Spark最终跨出了里程碑的一步,1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性,而且提供了更好的API支持。Spark SQL作为一个新的组件增加,支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类:其他好文   时间:2014-06-18 15:29:22    阅读次数:208
Spark1.0.0 的监控方式
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控: Spark应用程序的WebUI或者Spark Standalone的集群监控指标,然后通过支持指标收集的集群监控系统,如ganglia进行监控辅助监控工具 1:WebUI       Spark应用程序提交后,driver和Executor之间不断的交换运行信息,可以通过driver的4...
分类:其他好文   时间:2014-06-16 20:12:51    阅读次数:325
Hadoop、Spark、HBase与Redis的适用性讨论(全文)
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Re..
分类:其他好文   时间:2014-06-16 17:07:55    阅读次数:402
rfc all download
http://www.rfc-editor.org/download.htmlabout RTSPhttp://en.wikipedia.org/wiki/Real_Time_Streaming_ProtocolRTSP was developed by RealNetworks, Netscape...
分类:其他好文   时间:2014-06-16 00:00:39    阅读次数:549
十分钟了解分布式计算:Spark
Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD,及其在内存上的容错,内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类:其他好文   时间:2014-06-14 20:42:37    阅读次数:326
Spark:大数据的电花火石!
Apache Spark?is a fast and general engine for large-scale data processing: 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么,那么我们需要知道它解决了什么问题,还有是怎么解决这些问题的。 本文将带领你进入Spark的世界,首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出:通用,易用,高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式,交互式,实时查询,迭代...
分类:其他好文   时间:2014-06-14 11:57:03    阅读次数:288
(转)基于即时通信和LBS技术的位置感知服务(三):搭建Openfire服务器+测试2款IM客户端
主要包含4个章节:1. Java 领域的即时通信的解决方案2. 搭建 Openfire 服务器3. 使用客户端测试我们搭建的 Openfire 服务器4. Smack 和 ASmack一、Java领域的即时通信的解决方案 Java领域的即时通信的解决方案可以考虑openfire+spark+smac...
分类:其他好文   时间:2014-06-12 14:58:35    阅读次数:405
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!