首先需要下载3个包,下载地址在Github ,这三个核心模块分别是:
Streaming ("jackson-core") defines low-level streaming API, and includes JSON-specific implementations
Annotations ("jackson-annotations") contains standard Jack...
分类:
Web程序 时间:
2014-06-19 10:02:33
阅读次数:
291
1、概述Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer)$HADOOP_HOME/bi...
分类:
其他好文 时间:
2014-06-19 06:10:13
阅读次数:
345
前言今天Spark最终跨出了里程碑的一步,1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性,而且提供了更好的API支持。Spark SQL作为一个新的组件增加,支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类:
其他好文 时间:
2014-06-18 15:29:22
阅读次数:
208
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控:
Spark应用程序的WebUI或者Spark Standalone的集群监控指标,然后通过支持指标收集的集群监控系统,如ganglia进行监控辅助监控工具
1:WebUI
Spark应用程序提交后,driver和Executor之间不断的交换运行信息,可以通过driver的4...
分类:
其他好文 时间:
2014-06-16 20:12:51
阅读次数:
325
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Re..
分类:
其他好文 时间:
2014-06-16 17:07:55
阅读次数:
402
http://www.rfc-editor.org/download.htmlabout RTSPhttp://en.wikipedia.org/wiki/Real_Time_Streaming_ProtocolRTSP was developed by RealNetworks, Netscape...
分类:
其他好文 时间:
2014-06-16 00:00:39
阅读次数:
549
Spark是一个通用的分布式内存计算框架,本文主要研讨Spark的核心数据结构RDD,及其在内存上的容错,内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类:
其他好文 时间:
2014-06-14 20:42:37
阅读次数:
326
Apache Spark?is a fast and general engine for large-scale data processing: 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么,那么我们需要知道它解决了什么问题,还有是怎么解决这些问题的。
本文将带领你进入Spark的世界,首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出:通用,易用,高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式,交互式,实时查询,迭代...
分类:
其他好文 时间:
2014-06-14 11:57:03
阅读次数:
288
主要包含4个章节:1. Java 领域的即时通信的解决方案2. 搭建 Openfire
服务器3. 使用客户端测试我们搭建的 Openfire 服务器4. Smack 和 ASmack一、Java领域的即时通信的解决方案
Java领域的即时通信的解决方案可以考虑openfire+spark+smac...
分类:
其他好文 时间:
2014-06-12 14:58:35
阅读次数:
405