背景：前一段时间帮助一个朋友研究了下流媒体播放方面的知识，感觉挺好玩的。现在把浅薄的尝试和总结分享给大家。 一.HLS流媒体点播系统概述 HTTP?Live? Streaming最初是苹果公司针对其iPhone、iPod、iTouch和i...
分类：
其他好文 时间：
2015-05-28 16:31:45
阅读次数：
286
JACKSON框架用法基本
之前参与的一个手机项目中和服务器进行交互的数据格式就是JSON，在手机端用JACKSON进行数据和java bean之间的转换。这次专业课的结课作业需要手机应用和服务器交互，我就想用JSON传递数据，用JACKSON来进行解析，特此总结一下。
简介JACKSON是一个多用途的java库，来解析JSON格式的数据，用途很广。解析JSON的三种方式
Streaming A...
分类：
其他好文 时间：
2015-05-26 18:55:59
阅读次数：
226
http://www.cnblogs.com/shenh062326/p/3946341.html 其实流程是从这里转载下来的，我只是在流程叙述中做了一下的标注。 当然为了自己能记住的更清楚，我没有直接copy而是打出来的。1、客户端提交作业后，启动Driver，Driver是Spark作业的Mas...
分类：
其他好文 时间：
2015-05-26 06:48:49
阅读次数：
185
本文测试的Spark版本是1.3.1Spark Streaming编程模型：第一步：
需要一个StreamingContext对象，该对象是Spark Streaming操作的入口 ，而构建一个StreamingContext对象需要两个参数：
1、SparkConf对象：该对象是配置Spark 程序设置的，例如集群的Master节点，程序名等信息
2、Seconds对象：该对象设置了Str...
基本环境说明：os:FreeBSD 9.3postgresql version:9.3.6master:192.168.56.101standby:192.168.56.102安装过程略，基于pkg包1.配置master端# psql -U pgsql -d postgres -c "CREATE ...
分类：
数据库 时间：
2015-05-25 18:21:03
阅读次数：
753
从现有的CEP（Complex Event Processing）框架，像强大得Esper，我们学到很多工作完全可以通过写sql来完成的，不需要编写任何的代码。所以对于流处理我认为也需要这样的类似sql查询语言。目前像Storm这样的流处理平台框架强迫使用者去实现像silding window，一些query pattern的操作。我认为并不是每一个案例开发者都喜欢重写这些东西。所以我们需要high...
分类：
数据库 时间：
2015-05-25 13:05:31
阅读次数：
200
最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookee...
分类：
其他好文 时间：
2015-05-22 13:07:36
阅读次数：
187
（1）Apache Oozie是什么？
Oozie在英语中的释义指的是：驯象人，驭象者（多指缅甸那边的俗称），这个比喻相对与它的功能来说，还是很恰当的。
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，是基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce...
分类：
Web程序 时间：
2015-05-19 16:39:04
阅读次数：
140
使用spark.streaming.receiver.maxRate这个属性限制每秒的最大吞吐。官方文档如下：Maximum rate (number of records per second) at which each receiver will receive data. Effective...
分类：
其他好文 时间：
2015-05-19 12:36:22
阅读次数：
226
GPU的硬件结构，也不是具体的硬件结构，就是与CUDA相关的几个概念：thread，block，grid，warp，sp，sm。 sp: 最基本的处理单元，streaming processor 最后具体的指令和任务都是在sp上处理的。GPU进行并行计算，也就是很多个sp同时做处理 sm:多个sp加...
分类：
其他好文 时间：
2015-05-16 20:32:54
阅读次数：
291
