前端组件库搭建web app常用的样式/组件等收集列表(移动优先)0. 前端自动化(Workflow)前端构建工具Yeoman – a set of tools for automating development workflowgulp – The streaming build systemg...
分类：
其他好文 时间：
2015-08-14 13:14:51
阅读次数：
224
最近 有网友看我的“整合Kafka到Spark Streaming——代码示例和挑战”文章，
讲 kafka对象 放到 pool 并通过broadcast广播出去：
然后 在开发测试阶段 报错如下：
然后就找我，说“代码都跟你的差不多呀，为什么就报这个错呢？”
其实 对于广播操作，spark 肯定要序列号的，还有尽量不要把大对象广播出去，
后来 把代码要过来看了下，发现 creat...
分类：
编程语言 时间：
2015-08-11 16:14:24
阅读次数：
173
1、为何要使用HTTP Live Streaming可以参考wikipediaHTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体 网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HT...
分类：
Web程序 时间：
2015-08-11 14:02:46
阅读次数：
280
前些日子，也是项目需要，花了一些时间研究了HTTP Live Streaming（HLS）技术，并实现了一个HLS编码器HLSLiveEncoder，当然，C++写的。其功能是采集摄像头与麦克风，实时进行H.264视频编码和AAC音频编码，并按照HLS的协议规范，生成分段的标准TS文件以及m3u.....
分类：
移动开发 时间：
2015-08-11 13:38:09
阅读次数：
372
近期也有开始研究使用spark streaming来实现流式处理。本文以流式计算word count为例，简单描述如何进行spark streaming编程。1. 依赖的jar包参考《分别用Eclipse和IDEA搭建Scala+Spark开发环境》一文，pom.xml中指定依赖库spark-str...
分类：
其他好文 时间：
2015-08-08 01:16:50
阅读次数：
152
Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、Spark...
分类：
其他好文 时间：
2015-08-07 13:35:39
阅读次数：
171
首先SXSSFSheet来自于org.apache.poi.xssf.streaming.SXSSFSheet，其官方文档请看：https://poi.apache.org/apidocs/org/apache/poi/xssf/streaming/SXSSFSheet.html
使用时需要导入如下jar包：
先看代码片段SXSSFSheet sheet = (SXSSFSheet) wor...
分类：
其他好文 时间：
2015-08-05 20:23:47
阅读次数：
938
Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。...
分类：
其他好文 时间：
2015-08-05 12:55:28
阅读次数：
250
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi...
分类：
其他好文 时间：
2015-08-03 18:23:27
阅读次数：
170
