https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101 https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102 这篇文章，首先要说清的一个问题是...
分类：
其他好文 时间：
2016-02-23 20:53:54
阅读次数：
545
Hadoop提供的对其HDFS上的数据的处理方式，有以下几种， 1 批处理，mapreduce 2 实时处理：apache storm, spark streaming , ibm streams 3 交互式: 如pig , spark shell 都可以提供交互式地数据处理 4 sql: hive...
分类：
其他好文 时间：
2016-02-22 19:00:09
阅读次数：
156
1 Flash流媒体服务器 Red52 Darwin Streaming Server3 流媒体服务器 Open Streaming Server4 MPEG4IP5 开源流媒体平台 FreeCast6 流媒体服务器 Yass7 开源流媒体平台 Stream-2-Stream8 Flumotion
分类：
其他好文 时间：
2016-02-21 18:37:54
阅读次数：
359
3.1 数据预处理 数据质量的三个要素：准确性、完整性和一致性。 3.1.2 数据预处理的主要任务 数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。 数据集成： 数据归约: 3.2 数据清理 3.2.1 缺失值 1.忽略元组 2.人工填写缺失值 3.使用一个全局
分类：
其他好文 时间：
2016-02-14 22:10:12
阅读次数：
288
发表于：《程序员》杂志2016年2月刊。链接：http://geek.csdn.net/news/detail/54500 作者：徐鑫，董西成 在流式计算领域，Spark Streaming和Storm时下应用最广泛的两个计算引擎。其中，Spark Streaming是Spark生态系统中的重要组成
分类：
其他好文 时间：
2016-02-05 01:17:19
阅读次数：
228
实现spark streaming demo时，代码： 1 public static void main (String[] args) { 2 3 4 SparkConf conf = new SparkConf().setAppName("Spark_Streaming").setMaster
分类：
其他好文 时间：
2016-02-02 17:53:56
阅读次数：
173
那如果我要更高速的处理呢？ 如果我是一个类似微博的公司，我希望显示不是24小时热博，我想看一个不断变化的热播榜，更新延迟在一分钟之内，上面的手段都将无法胜任。于是又一种计算模型被开发出来，这就是Streaming（流）计算。 Storm是最流行的流计算平台。流计算的思路是...
分类：
其他好文 时间：
2016-01-26 18:37:10
阅读次数：
146
最近使用公司内部的一个框架写map reduce发现没有封装hadoop streaming这些东西，查了下pipeline相关的东西Hadoop Pipeline详解20. Aug/hadoop/1 Comment一、说明Hadoop 2.x相比较于1.x有了较大的改变，像MapReduce层面架...
分类：
其他好文 时间：
2016-01-26 15:15:28
阅读次数：
254
java.lang.NoClassDefFoundError:org/apache/spark/streaming/flume/sink/SparkFlumeProtocol$Callback atorg.apache.spark.streaming.flume.FlumePollingReceiver$$anonfun$onStart$1.apply(FlumePollingInputDStream.scala:84) atorg.apache.spark.streaming.flume.FlumePoll..
分类：
Web程序 时间：
2016-01-22 03:24:39
阅读次数：
1344
HLS（HTTP Live Streaming）是Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件，TS媒体分片文件和key加密串文件。 HLS的关键其实是生成m3u8索引文件和TS媒体分片，下面我将通过以下几个步骤讲述m3u8及TS媒体...
分类：
Web程序 时间：
2016-01-20 12:36:34
阅读次数：
7766
