本文测试的Spark版本是1.3.1Spark Streaming编程模型：第一步：
需要一个StreamingContext对象，该对象是Spark Streaming操作的入口 ，而构建一个StreamingContext对象需要两个参数：
1、SparkConf对象：该对象是配置Spark 程序设置的，例如集群的Master节点，程序名等信息
2、Seconds对象：该对象设置了Str...
基本环境说明：os:FreeBSD 9.3postgresql version:9.3.6master:192.168.56.101standby:192.168.56.102安装过程略，基于pkg包1.配置master端# psql -U pgsql -d postgres -c "CREATE ...
分类：
数据库 时间：
2015-05-25 18:21:03
阅读次数：
753
从现有的CEP（Complex Event Processing）框架，像强大得Esper，我们学到很多工作完全可以通过写sql来完成的，不需要编写任何的代码。所以对于流处理我认为也需要这样的类似sql查询语言。目前像Storm这样的流处理平台框架强迫使用者去实现像silding window，一些query pattern的操作。我认为并不是每一个案例开发者都喜欢重写这些东西。所以我们需要high...
分类：
数据库 时间：
2015-05-25 13:05:31
阅读次数：
200
最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookee...
分类：
其他好文 时间：
2015-05-22 13:07:36
阅读次数：
187
（1）Apache Oozie是什么？
Oozie在英语中的释义指的是：驯象人，驭象者（多指缅甸那边的俗称），这个比喻相对与它的功能来说，还是很恰当的。
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，是基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce...
分类：
Web程序 时间：
2015-05-19 16:39:04
阅读次数：
140
使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：Maximum rate (number of records per second) at which each receiver will receive data. Effective...
分类：
其他好文 时间：
2015-05-19 12:36:22
阅读次数：
226
GPU的硬件结构，也不是具体的硬件结构，就是与CUDA相关的几个概念：thread，block，grid，warp，sp，sm。 sp: 最基本的处理单元，streaming processor 最后具体的指令和任务都是在sp上处理的。GPU进行并行计算，也就是很多个sp同时做处理 sm:多个sp加...
分类：
其他好文 时间：
2015-05-16 20:32:54
阅读次数：
291
一、HLS简介 ????HLS（HTTP Live Streaming） 是Appale公司在2009年发布的，可以通过普通的web服务器进行分发的新型流媒体协议。 HLS协议文件：http://tools.ietf.org/html/draft-pantos-http-live-streaming...
分类：
其他好文 时间：
2015-05-15 01:31:23
阅读次数：
7320
val numStreams = 5val kafkaStreams = (1 to numStreams).map { i => KafkaUtils.createStream(...) }val unifiedStream = streamingContext.union(kafkaStream...
分类：
其他好文 时间：
2015-05-14 11:39:28
阅读次数：
154
官方是这么说的：Cluster resources can be under-utilized if the number of parallel tasks used in any stage of the computation is not high enough. For example, ...
分类：
其他好文 时间：
2015-05-14 11:36:56
阅读次数：
359
