前些日子，也是项目需要，花了一些时间研究了HTTP Live Streaming（HLS）技术，并实现了一个HLS编码器HLSLiveEncoder，当然，C++写的。其功能是采集摄像头与麦克风，实时进行H.264视频编码和AAC音频编码，并按照HLS的协议规范，生成分段的标准TS文件以及m3u.....
分类：
移动开发 时间：
2015-08-11 13:38:09
阅读次数：
372
近期也有开始研究使用spark streaming来实现流式处理。本文以流式计算word count为例，简单描述如何进行spark streaming编程。1. 依赖的jar包参考《分别用Eclipse和IDEA搭建Scala+Spark开发环境》一文，pom.xml中指定依赖库spark-str...
分类：
其他好文 时间：
2015-08-08 01:16:50
阅读次数：
152
Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、Spark...
分类：
其他好文 时间：
2015-08-07 13:35:39
阅读次数：
171
首先SXSSFSheet来自于org.apache.poi.xssf.streaming.SXSSFSheet，其官方文档请看：https://poi.apache.org/apidocs/org/apache/poi/xssf/streaming/SXSSFSheet.html
使用时需要导入如下jar包：
先看代码片段SXSSFSheet sheet = (SXSSFSheet) wor...
分类：
其他好文 时间：
2015-08-05 20:23:47
阅读次数：
938
Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。...
分类：
其他好文 时间：
2015-08-05 12:55:28
阅读次数：
250
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi...
分类：
其他好文 时间：
2015-08-03 18:23:27
阅读次数：
170
1、典型的数据分析过程可以总结为一下图形： 注意，在模型建立和验证的过程中，可能需要重新进行数据清理和模型建立。 2、R语言一般用 也可以。 3、 age <- c(1,3,5,2,11,9,3,9,12,3) weight <- c(4.4,5.3,7.2,5.2,8.5,7.3,6.0,10.4...
分类：
编程语言 时间：
2015-07-31 21:36:55
阅读次数：
209
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
在POI3.8中SXSSF仅仅支持excel2007格式是对XSSF的一种流的扩展。目的在生成excel时候，需要生成大量的数据的时候，通过刷新的方式将excel内存信息刷新到硬盘的方式，提供写入数据的效率。官方原文如下：SXSSF (Streaming Usermodel API)Note SXS...
分类：
其他好文 时间：
2015-07-30 14:48:28
阅读次数：
377
