就是将视频文件转码（H264+ACC）、分片（n个.ts文件）、生成列表（.m3u8） 方便网站提供视频播放服务，提升加载速度，节省流量。 1、准备好源视频文件。 2、下载 ffmpeg（http://ffmpeg.org/download.html），软件为绿色版，解压即可使用，找到其中的 ffm ...
分类：
Web程序 时间：
2017-12-16 11:14:39
阅读次数：
194
总的来说，需要考虑以下两点： 1. 有效地运用集群资源去减少每个批次处理的时间 2. 正确的设置batch size，以使得处理速度能跟上接收速度 一. 为了减少处理时间，主要有以下几个优化点： 1. 接收数据的并行度。 每个InputDStream只创建一个Receiver用于接收数据，如果接收数 ...
分类：
其他好文 时间：
2017-12-14 17:56:48
阅读次数：
1020
在前面一篇讨论里我们介绍了通过http进行文件的交换。因为文件内容是以一堆bytes来表示的，而http消息的数据部分也是byte类型的，所以我们可以直接用Source[ByteString,_]来读取文件然后放进HttpEntity中。我们还提到：如果需要进行数据库数据交换的话，可以用Source ...
分类：
数据库 时间：
2017-12-12 13:35:48
阅读次数：
291
所谓文件交换指的是Http协议中服务端和客户端之间文件的上传和下载。Akka-http作为一种系统集成工具应该具备高效率的数据交换方式包括文件交换和数据库表行的上传下载。Akka-http的数据交换模式支持流式操作：代表交换数据可以是一种无限长度流的元素。这种模式首先解决了纯Http大数据通过Mul ...
分类：
Web程序 时间：
2017-12-02 14:08:52
阅读次数：
288
课程大纲:需求分析1、项目背景2、总体业务要求3、难点分析 数据收集1、数据采集阶段技术对比2、项目中数据采集技术Kafka3、Kafka安装及基本操作4、Kafka的API操作及项目中应用 数据流处理1、数据实时处理阶段技术拓展Storm2、Spark Streaming实用项目解决方案3、Spa ...
分类：
其他好文 时间：
2017-12-01 18:39:32
阅读次数：
459
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Spark streaming集成... ...
分类：
其他好文 时间：
2017-11-26 16:54:55
阅读次数：
233
1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
Tape streaming is not happening while performing RMAN tape backup. On investigation, you find that it is not because of the incremental backup or the ...
分类：
其他好文 时间：
2017-11-16 14:42:05
阅读次数：
120
跟着视频学习使用Fiddler，视频地址 http://www.imooc.com/learn/37 第1章 Fiddler工具简介 Fiddler工作环境 Fiddler工作原理 通过修改浏览器的代理服务器地址，Fiddler截获所有浏览器发出的请求。 代理模式： 1. 流模式（streaming ...
分类：
其他好文 时间：
2017-11-15 21:56:39
阅读次数：
126
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
Web程序 时间：
2017-11-12 12:36:55
阅读次数：
252
