Sparkstreaming和Storm比较，一图胜千言
分类：
其他好文 时间：
2016-11-19 18:19:52
阅读次数：
118
1、HLS（HTTP Live Streaming）协议 简单讲就是把整个流分成一个个小的，基于HTTP的文件下载下来，每次只下载一些，前面提到的用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。 2、CDN的全称是Content Delivery ...
分类：
其他好文 时间：
2016-11-18 12:09:31
阅读次数：
168
需求分析 使用Everyplay(2121-1540版本)录屏，在升级SDK之后，遇到个问题，调用安卓原生的mediaplay进行播放音乐，在录屏时无法录制到声音，所以想到的解决办法是在Unity中播放音乐文件。 大概解释： 当在手机上选择一首歌(手机上的其它音乐文件)之后，直接在Unity中进行播 ...
分类：
移动开发 时间：
2016-11-15 13:26:07
阅读次数：
383
SparkStreaming性能调优大全！一、日志已满：spark.executor.logs.rolling.maxSize下面三个日志rolling参数记得设置：spark.executor.logs.rolling.strategysizespark.executor.logs.rolling.maxSize134217728#defaultbytespark.executor.logs.rolling.maxRetainedFiles二、Spa..
分类：
其他好文 时间：
2016-11-12 02:41:38
阅读次数：
347
一：Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的...
分类：
其他好文 时间：
2016-11-06 23:02:51
阅读次数：
475
转载：http://blog.csdn.net/ligt0610/article/details/47311771 由于目前每天需要从kafka中消费20亿条左右的消息，集群压力有点大，会导致job不同程度的异常退出。原来使用spark1.1.0版本中的createStream函数，但是在数据处理速 ...
用SSH管理linux服务器时经常需要远程与本地之间交互文件.而直接用SecureCRT自带的上传下载功能无疑是最方便的，SecureCRT下的文件传输协议有ASCII、Xmodem、Zmodem。 文件传输协议： 文件传输是数据交换的主要形式。在进行文件传输时，为使文件能被正确识别和传送，我们需要 ...
分类：
Web程序 时间：
2016-11-04 13:24:40
阅读次数：
198
spark streaming 对接kafka 有两种方式： 参考： http://group.jobbole.com/15559/ http://blog.csdn.net/kwu_ganymede/article/details/50314901 Approach 1: Receiver-bas ...
分类：
其他好文 时间：
2016-10-27 19:09:49
阅读次数：
183
一、Spark Streaming 1. 什么是Spark Shuffle Wide Dependencies *ByKey： groupByKey,reduceByKey 关联操作：join，cogroup 窄依赖： 父RDD的每个分区的数据，仅仅只会给子RDD的一个分区。 Spark性能优化： ...
分类：
其他好文 时间：
2016-10-22 14:31:48
阅读次数：
270
本文基于Spark Streaming Programming Guide原文翻译， 加上一些自己的理解和小实验的结果。
一、概述 Spark Streaming是基于Core Spark A...
分类：
其他好文 时间：
2016-10-22 00:46:52
阅读次数：
246
