Overview Spark Streaming为用户提供了一套与batch jobs十分相似的API，以编写streaming应用 与Spark的基本概念RDDs类似，Spark Streaming提供了被称为DStreams/discretized streams的抽象。 DStream is ...
分类：
其他好文 时间：
2017-05-14 13:45:05
阅读次数：
188
FreeSWITCH使用了大量的第三方库，本文档主要介绍关联相关库的信息： 音频相关库的信息介绍参考：http://www.cnblogs.com/yoyotl/p/5486753.html 视频相关库的信息介绍参考：http://www.cnblogs.com/yoyotl/p/5488890.h ...
分类：
其他好文 时间：
2017-05-12 19:12:24
阅读次数：
248
Overview Flume：一个分布式的，可靠的，可用的服务，用于有效地收集、聚合、移动大规模日志数据 我们搭建一个flume + Spark Streaming的平台来从Flume获取数据，并处理它。 有两种方法实现：使用flume-style的push-based方法，或者使用自定义的sink ...
分类：
Web程序 时间：
2017-05-09 12:32:54
阅读次数：
218
HDFS Architecture HDFS Architecture（HDFS 架构） Introduction（简介） Assumptions and Goals（假设和目标） Hardware Failure（硬件失效是常态） Streaming Data Access（支持流式访问） Lar ...
分类：
其他好文 时间：
2017-05-08 14:13:04
阅读次数：
175
本节内容 1.Kafka基础概念 1.1 出世背景 1.2 基本原理 1.2.1.前置知识 1.2.2.架构和原理 1.2.3.基本概念 1.2.4.kafka特点 2.Kafka初体验 2.1 环境准备 2.2 Kafka小试牛刀 2.2.1单个broker初体验 2.2.2 多个broker初体 ...
分类：
其他好文 时间：
2017-05-07 23:20:02
阅读次数：
275
一、Spark Streaming的介绍??Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kin...
分类：
其他好文 时间：
2017-05-05 01:05:21
阅读次数：
348
The people using PostgreSQL and the Streaming Replication feature seem to ask many of the same questions: 1. How best to monitor Streaming Replication ...
分类：
其他好文 时间：
2017-05-02 13:39:01
阅读次数：
218
python代码： 执行SparkStreaming： spark/bin/spark-submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar ReadFromKafkaStreaming.py 其中spark-streamin ...
分类：
编程语言 时间：
2017-05-01 20:54:28
阅读次数：
326
一、任务执行及通信的单元 Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt） 1、 一个worker进程执行的是一个Topology的子集（不会出现一个worker进程为多个Topology服务），一个worker进程会启动一个 ...
分类：
其他好文 时间：
2017-04-29 14:23:43
阅读次数：
176
对于从Kafka、Flume以及Kinesis这类数据源提取数据的流式应用来说，还需要额外增加相应的依赖项，下表列出了各种数据源对应的额外依赖项： ...
分类：
其他好文 时间：
2017-04-28 23:39:23
阅读次数：
192
